定義
GSM8Kとは、小学校高学年レベルの算数文章題を8,500問収録した、大規模言語モデルの多段階推論能力を測定するベンチマークのこと。
GSM8K (算数推論ベンチ)とは（詳しく解説）
GSM8Kは、OpenAIが2021年に公開した算数文章題データセットで、小学校高学年程度の四則演算・多段階推論を問う8,500問(訓練用7,500問・テスト用1,000問)から構成される。LLMの基礎的な数理推論力を測る指標として広く採用されており、モデル発表時のベンチマーク一覧に定番で登場する。ただし2026年時点の実運用では、GSM8K単体のスコアが高くても、桁数の大きい計算や複数ステップにまたがる実務的な数値処理(見積の按分や在庫の再配分など)では精度が落ちるケースがあるとされ、ベンチマークに最適化された過学習の懸念も指摘されている。現場でモデルを選定する際は、GSM8Kのスコアだけで判断せず、より難易度の高い推論ベンチと併用し、実際の業務データに近いプロンプトで検証するのが実務的とされる。APIのコストと精度のバランスを見る参考指標の一つとして位置づけるのが妥当と言える。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「GSM8K (算数推論ベンチ)とは」 https://aipicks.jp/glossary/gsm8k
GSM8K (算数推論ベンチ)の使用例
- 問題例:「りんごが23個あり、5人で均等に分けた後3個余った。1人分は何個か」のような多段階の文章題が出題される。
- モデル比較時は「このモデルのGSM8Kスコアは何%か」を他の推論ベンチのスコアと併記して確認するのが一般的。
