Transformer
- 自然言語処理タスクにおける革新的なモデルアーキテクチャであり、従来のリカレントニューラルネットワーク（RNN）や畳み込みニューラルネットワーク（CNN）に代わるものとして注目された。
- シーケンスからシーケンスへの変換（例: 機械翻訳）、文章の生成、質問応答などのさまざまな自然言語処理タスクで成功を収めました。
Attention Is All You Need
- 2017年にGoogleの研究者によって提案された論文。
- Transformer と呼ばれるニューラルネットワークアーキテクチャを導入した。
- LLM
LSTM | Long Short-Term Memory
- リカレントニューラルネットワーク（RNN）の一種。
- 長期的な依存関係を学習するのに適したアーキテクチャ。
- 通常、自然言語処理や時系列データなどのシーケンスデータのモデリングに使用される。
トークン化 | Tokenization
- ある文章を、単語、句読点、数字、記号などに分割すること。
- 文章を数理モデルで扱える形式に変換するために行う。
