用語解説
トークンとは、LLMがテキストを処理する際の基本単位です。単語や文字そのものではなく、テキストを細かく分割した「かたまり」で、英語では平均4文字程度、日本語では1〜3文字程度が1トークンに相当することが多いです。
トークンはLLMの処理コストと直接連動しています。APIを使ってLLMを呼び出す場合、料金は入力トークン数＋出力トークン数の合計に基づいて計算されます。また「コンテキストウィンドウ」と呼ばれる一度に処理できる上限もトークン数で定義されています。
業務でLLMを活用する際にトークンを意識することは非常に重要です。
- 不必要に長いプロンプトを使うとコストが膨らむ
- コンテキストウィンドウの上限に達すると情報が切り捨てられる
- 日本語は英語に比べて同じ情報量でも多くのトークンを消費しやすい
どんな場面で活用するか
- APIコスト試算：LLMを大量呼び出しするシステムを構築する際の月間費用見積もり。
- 長文処理の管理：長い契約書・レポートを要約・分析する際のコンテキスト管理。
- プロンプト最適化：冗長な文言を削除してコストと処理速度を改善。
- サービス料金体系の設計：LLMを使ったサービスの採算計算に必須。
月間数百万トークンを消費するシステムでは、トークン効率を10%改善するだけで年間コストが大きく変わります。
よくある誤解
❌ 誤解1：トークンと単語数は同じ
日本語では特に乖離が大きく、漢字・カタカナ・ひらがなの組み合わせによってトークン効率が変わります。コスト試算時は実際のトークン数を測定することが重要です。
❌ 誤解2：コンテキストウィンドウが大きければ問題ない
長大な文書全体を詰め込むと、重要な情報が中央部分に埋もれて認識精度が落ちる「lost in the middle」問題が知られています。重要情報は冒頭や末尾に配置する設計が推奨されます。
判断のヒント
トークン管理を本格的に取り組むべきサインは以下の通りです。
- 月間API費用が5万円を超えている
- LLMを使ったサービスの原価率が高く採算が取れていない
- 処理速度（レイテンシ）が遅くユーザー体験を損ねている
ダッシュボードでトークン消費の推移をモニタリングし、最も消費量の多いユースケースから最適化を始めることを推奨します。
