AIP基盤モデルの統合、データ管理、コンプライアンス
Eラーニングプラットフォームが Amazon Bedrock の Claude モデルを使用して 2 つのサービスを運用しています。
■ クイズ生成サービス(教科書の章から選択問題を自動生成)
現在の設定:temperature=0.9、top_p=0.95
観察された問題:事実誤りを含む問題が散発的に生成される・類似した問題が繰り返し出題される
■ 小論文フィードバックサービス(学生の小論文に詳細フィードバックを生成)
現在の設定:temperature=0.1、top_p=0.2
観察された問題:技術的には正確だが、異なる学生へのフィードバックが画一的・定型文的になっている
ソリューションアーキテクトが両サービスの推論パラメータを最適化します。両方の問題を最も効果的に解決する設定変更はどれですか?
Aクイズ生成:temperature=0.2、top_p=0.9 に変更 / 小論文フィードバック:temperature=0.7、top_p=0.8 に変更
✓ 正解
temperature はモデル出力のランダム性を制御する最重要パラメータです。クイズ生成の temperature=0.9 は高すぎるため確率分布が平坦化され、低確率(不正確)なトークンが選ばれやすくなり事実誤りや重複が増加します。temperature=0.2 に下げることで高確率(正確)なトークンが優先されます。小論文フィードバックの temperature=0.1 は低すぎて貪欲デコーディングに近く、常に同じ最高確率トークンが選択されるため画一的な出力になります。temperature=0.7 に上げることで多様性が生まれます。
Bクイズ生成:temperature=0.9 を維持したまま top_p=0.1 に変更 / 小論文フィードバック:temperature=0.1 を維持したまま top_p=0.9 に変更
「top_p(核サンプリング)のみを変更」は、temperature が高いままではクイズの事実誤りは解消されません。temperature による確率分布の歪みが根本原因であり、top_p の調整だけでは不十分です。
Cクイズ生成:max_tokens=100 に削減して簡潔な問題生成を強制する / 小論文フィードバック:max_tokens=2000 に拡大して詳細なフィードバックを生成する
max_tokensは、出力の最大トークン数を制限するパラメータです。内容の正確性・多様性とは無関係であり、どちらの問題も解決しません。
Dクイズ生成:top_k=10 に設定して決定論的な問題選択を実現する / 小論文フィードバック:top_k=500 に設定して多様なフィードバックを生成する
Top_kは、候補トークン数を固定数に制限するパラメータです。top_k=10 は語彙を過度に制限して不自然な出力を招く恐れがあり、temperature を調整しないと事実誤りの根本原因は解消されません。
解説
temperature はモデル出力のランダム性を制御する最重要パラメータです。クイズ生成の temperature=0.9 は高すぎるため確率分布が平坦化され、低確率(不正確)なトークンが選ばれやすくなり事実誤りや重複が増加します。temperature=0.2 に下げることで高確率(正確)なトークンが優先されます。小論文フィードバックの temperature=0.1 は低すぎて貪欲デコーディングに近く、常に同じ最高確率トークンが選択されるため画一的な出力になります。temperature=0.7 に上げることで多様性が生まれます。
選択肢Bの「top_p(核サンプリング)のみを変更」は、temperature が高いままではクイズの事実誤りは解消されません。temperature による確率分布の歪みが根本原因であり、top_p の調整だけでは不十分です。
選択肢Cのmax_tokensは、出力の最大トークン数を制限するパラメータです。内容の正確性・多様性とは無関係であり、どちらの問題も解決しません。
選択肢DのTop_kは、候補トークン数を固定数に制限するパラメータです。top_k=10 は語彙を過度に制限して不自然な出力を招く恐れがあり、temperature を調整しないと事実誤りの根本原因は解消されません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →