用語解説
モデル評価（LLM）とは、大規模言語モデルの回答品質・安全性・コスト効率・業務適合性を定量的・定性的に測定するフレームワークおよびプロセスです。
評価手法には人手評価・LLM-as-a-judge（別モデルによる自動評価）・ベンチマーク評価があり、忠実性・関連性・有害性・レイテンシ・コストの5指標を組み合わせて包括的に判断します。EleutherAI Harnessや独自評価セットを整備することで、モデルアップデート時の品質退行を自動検知できます。
どんな場面で活用するか
- RAGシステムのRetrieval精度とGeneration品質を分離して評価し改善箇所を特定する
- 新モデルリリース時に既存テストセットで回帰テストを実施し品質劣化がないか確認する
- 社内チャットボットの回答を月次でサンプリングし人手評価スコアをKPIとして追跡する
よくある誤解
「一般ベンチマークスコアが高ければ自社用途でも高品質」は誤りです。正しくは汎用ベンチマークと業務特化タスクでは評価結果が大きく異なるため、自社データを用いた独自評価セットの構築が不可欠です。
判断のヒント
評価設計の基本まず「何を正解とするか」の評価基準を明文化し、ゴールデンデータセット（正解付きテストケース）を50〜100件用意してから自動評価パイプラインを構築すると効果的です。
