AIPテスト、検証、トラブルシューティング
ある製造業企業が、Amazon Bedrock Knowledge Bases（埋め込みはTitan Text Embeddings V2、ベクターストアはOpenSearch Serverless、生成はClaude）で技術マニュアルQAを運用しています。ユーザーから「型番を含む具体的な質問では正しい回答が出るが、『〇〇の手順を教えて』のような概念的・抽象的な質問だと関連性の低い文書が取得され回答が的外れになる」という報告が増えています。RAGASで測定するとAnswer Relevancyは高いがContext Recallが低く、リランキング後も改善が限定的でした。この症状の根本原因として最も妥当な対策はどれですか。
Aセマンティック検索のみのクエリを、キーワード検索とベクトル検索を組み合わせたハイブリッド検索に切り替え、語彙的一致と意味的一致の両方で候補を取得する
✓ 正解
Context Recallの低下は取得漏れを示し、抽象クエリで弱いベクトル検索に語彙一致を加えるハイブリッド検索が取得網羅性を高めるため、症状の根本原因に直接対処できる。
Bチャンクサイズを現状の300トークンから1500トークンに拡大し、各チャンクが含む文脈量を増やして取得漏れを減らす
チャンクを大きくしても誤った文書がヒットする取得段階の問題は解決せず、むしろ無関係な情報が増えてContext Precisionを下げる恐れがあり、Recall低下の根治にならない。
C生成モデルのtemperatureを0に下げ、top_pを狭めて出力のばらつきを抑制し回答の的外れを防ぐ
temperatureやtop_pは生成の多様性制御で、既に高いAnswer Relevancyに作用しても取得層のContext Recall低下には無関係なため、的外れ取得の原因を解消できない。
DKnowledge Basesのプロンプトテンプレートにチェーンオブソート指示を追加し、モデルに段階的推論をさせて回答精度を上げる
チェーンオブソートは生成段階の推論を強化するが、取得された文脈自体が的外れな状態では正しい回答を作れず、Context Recall低下という根本原因に対処できない。
解説
Context Recallが低い＝必要な文書が取得段階で漏れている問題であり、リトリーバル戦略の見直しが根本対策となる。
Bedrock Knowledge Basesはセマンティック検索に加えハイブリッド検索（キーワード＋ベクトル）をサポートする。抽象的なクエリは埋め込み空間で広く分散しやすく純粋なベクトル検索だけでは取りこぼしが起きるが、ハイブリッド検索で語彙的一致も併用すると取得網羅性（Recall）が向上する。
選択肢Bのチャンク拡大は1チャンクの情報量を増やすが、検索ヒット自体が外れている問題（Recall低下）の根治にはならず、ノイズ増でPrecisionを悪化させうる。
選択肢Cのtemperature調整は生成のばらつき制御であり、Answer Relevancyは既に高く取得層の問題には無関係。
選択肢Dのチェーンオブソートは生成段階の推論強化で、取得文脈が誤っていれば回答は改善しない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →