AIF基盤モデルのアプリケーション
あるデータアナリストが、Amazon BedrockのLLM(大規模言語モデル)を使って複雑な文章題形式の数学問題を解かせたところ、正答率が低いことに気づきました。モデルのサイズや設定を変えずに、段階的な推論プロセスを踏ませることで正確性を高めるために最も効果的なプロンプトエンジニアリング手法はどれですか?
AChain-of-Thought(CoT:思考の連鎖)プロンプティング ― 推論過程を段階的に出力するようモデルに指示し、正確性を高める手法
✓ 正解
Chain-of-Thoughtは「ステップバイステップで考えてください」という指示で、LLMに中間推論ステップを明示させます。数学・論理問題で正答率が大幅向上し、複雑推論タスクの改善に実績があります。
BZero-shot(ゼロショット)プロンプティング ― 例を一切示さずに問題文のみを与え、モデルの汎化能力に任せる
例を一切示さないZero-shotは汎化性能に頼るため、複雑問題では低い精度になりやすいです。CoTと比べて推論品質が劣ります。
CTemperatureパラメータを最大値(1.0以上)に設定して、モデル出力のランダム性と多様性を最大化する
ランダム性と多様性の増加は創造性を高めますが、正確性は低下します。数学問題は決定的な答え要件のためTemperature上昇は不適切です。
Dシステムプロンプトで「常に簡潔に1行で回答せよ」と指示し、モデルが生成する応答を短く制限する
「1行で回答」という制約は推論過程を省略させるため、複雑な数学問題では逆効果です。CoTの中間ステップ明示の価値を損ないます。
解説
選択肢A(正解)の Chain-of-Thought(CoT)プロンプティングは、「ステップバイステップで考えてください(Let's think step by step)」などの指示を加えることで、LLMが中間的な推論ステップを明示しながら回答を導く手法です。数学的推論・論理問題・複数ステップが必要な問題で正答率が大幅に向上することが研究で示されています。
選択肢BのZero-shotプロンプティングは例題を示さずモデルの汎化能力に依存する手法で、複数ステップの数学的推論では推論プロセスが誘導されないため正確性の向上効果は限定的です。
選択肢CのTemperatureを上げると出力の多様性は増しますが正確性は低下するため、数学問題の正答率向上には逆効果です。
選択肢Dの簡潔回答指示は推論過程を省略させるため、段階的な推論が必要な数学問題では逆効果となります。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →