用語解説
コンテキストウィンドウとは、LLMが一度の処理で参照できるテキストの最大量をトークン数で表した制限値です。ウィンドウを超えた情報は処理対象から外れます。
主要モデルのコンテキストウィンドウは急速に拡張されています。
- GPT-3.5：4,096トークン（初期）→ 16K
- GPT-4o：128,000トークン
- Claude 3.7：200,000トークン（約15万語相当）
- Gemini 1.5 Pro：1,000,000トークン
この拡張により、長文の契約書・コードベース全体・長時間の会話履歴などを一度に処理できるようになりました。ただし大きなウィンドウほどAPIコストが高くなる点に注意が必要です。
どんな場面で活用するか
- 長文書の全文分析：数万字に及ぶ契約書・法律文書を丸ごと処理して要点を抽出。
- 長期カスタマーサポート：会話履歴全体を維持した継続的なチャット対応。
- 大規模コードレビュー：複数ファイルにまたがるコードの分析・デバッグ。
- 大量フィードバック分析：数千件の顧客レビューを一括で傾向分析。
よくある誤解
❌ 誤解1：大きなウィンドウほど常に良い
大量の情報を詰め込むと中央部分の情報が見落とされやすい「lost in the middle」問題があります。必要な情報に絞って入力する設計の方が、精度・コストの両面で優れることがあります。
❌ 誤解2：コンテキストウィンドウ＝長期記憶
LLMはコンテキストウィンドウ内の情報しか参照できず、会話セッションをまたいだ記憶は持ちません。長期的な情報保持にはエージェントメモリやデータベースとの統合が必要です。
判断のヒント
コンテキストウィンドウの管理を設計に組み込む必要があるサインは以下の通りです。
- 処理する文書が数万字以上になる
- ユーザーとの会話が長期間にわたる（チャット履歴の蓄積）
- 複数のドキュメントを横断して参照させたい
実際の業務データのトークン数を測定し、RAGとウィンドウ直接利用のどちらが適切かを判断することを推奨します。
