AI Engineering Notes
LLMとは
LLMを、生成AI、Transformer、トークン、推論、学習済みモデルの関係から実務目線で整理します。
LLMは何をしているのか
LLMはLarge Language Modelの略で、大量のテキストから言語のパターンを学習したモデルです。実務では「文章を作るAI」とだけ見るより、入力された文脈から次に続くトークンを確率的に選ぶ仕組みとして捉える方が設計しやすくなります。
チャットUIでは自然に会話しているように見えますが、アプリ側では次のような部品が関係します。
| 部品 | 見る観点 |
|---|---|
| モデル | どの程度の推論、長文、構造化出力が必要か |
| コンテキスト | ユーザー入力、システム指示、検索結果、ツール結果 |
| トークン | 入力と出力の単位。コストと上限に影響する |
| 推論 | 入力から出力を生成する実行時の処理 |
生成AIとの関係
生成AIはテキスト、画像、音声、コードなどを生成するAIの総称です。LLMはその中でもテキストやコードの生成・理解を主に担います。
AIアプリを作るときは、LLM単体ではなく、検索、ツール呼び出し、評価、ログ、権限管理と組み合わせることが多くなります。つまりLLMはアプリ全体の一部です。
Transformerと注意機構
現在の多くのLLMはTransformer系の構造を使います。重要なのは、入力中のどの部分を重視するかを計算できる点です。
実装者にとってのポイントは、モデルが「入力に含めた情報」を強く参照することです。RAGで検索結果を入れる、Tool callingでツール結果を戻す、システム指示で制約を置く、といった設計はこの前提に乗っています。
学習済みモデルとアプリ固有知識
学習済みモデルは広い知識を持ちますが、あなたの社内文書、最新の仕様、ユーザーごとの状態を最初から知っているわけではありません。
そのため、アプリでは次の選択をします。
- プロンプトへ文脈を入れる。
- RAGで関連文書を検索して入れる。
- ツールを呼び出して最新状態を取得する。
- 必要ならfine-tuningで振る舞いを寄せる。
実務での判断
LLMを選ぶときは、賢さだけでなく、レイテンシ、コスト、コンテキスト長、構造化出力、ツール呼び出し、ログ設計をまとめて見ます。
最初のMVPでは、複雑なモデル選定よりも「入力、根拠、出力形式、失敗時の扱い」を明確にする方が効果的です。