AIPテスト、検証、トラブルシューティング
ある企業が Amazon Bedrock Knowledge Bases ベースの社内QAをリリース後、特定カテゴリの質問でのみ「関連文書はインデックスにあるのに、回答が『情報が見つからない』となる」事象が再現します。埋め込みモデルはリリース時から変更しておらず、該当カテゴリの文書はチャンクサイズが他カテゴリより大きく、見出しと本文が1チャンクに混在しています。ベクター検索のスコア上位に該当文書が入っていないことも確認できました。この精度劣化の根本原因として最も妥当で、かつ最小の構成変更で改善できる対策はどれですか。
Aチャンキング戦略を見直し、該当カテゴリの文書を意味的な単位に分割（小さめの固定長またはセマンティックチャンキング）して再インデックスする
✓ 正解
見出しと本文が混在した過大チャンクは埋め込みが平均化され特定クエリとの類似度が低下し検索上位に入らない。意味的単位への再分割と再インデックスで取得精度を回復でき、最小変更で根本原因に対処できる。
B基盤モデルを上位のコンテキストウィンドウが大きいモデルに切り替え、プロンプトに全文書を投入する
コンテキストウィンドウ拡大や全文投入は取得段階の不全を解決しない。検索上位に入らない文書はそもそもプロンプトに渡らず、根本原因であるチャンク設計に触れていないため改善しない。
COpenSearch Serverless のシャード数を増やし、ベクターインデックスのスループットを引き上げる
シャード増設はベクターインデックスのスループットや並列性を上げるだけで、類似度スコアが低くて上位取得されないという本件の原因とは無関係であり精度は改善しない。
DGuardrails の拒否トピックを緩和し、『情報が見つからない』という応答が出ないようにする
Guardrails の拒否トピック緩和は応答文言を変えるだけで、関連文書が取得されないという根本原因を放置し、誤った『見つからない』回答が正しい回答に変わるわけではない。
解説
大きすぎるチャンクに見出しと本文など複数トピックが混在すると、埋め込みベクターが平均化されて特定クエリとの類似度が下がり、検索スコア上位に入らなくなります。これが「文書はあるのに取得されない」典型原因です。該当カテゴリを意味的単位（小さめの固定長やセマンティックチャンキング）に分割して再インデックスすれば、最小の変更で取得精度を回復できます。
選択肢Bのモデル変更・全文投入は取得段階の問題を解決せず、取得されない文書はそもそもプロンプトに入らない。
選択肢Cのシャード増設はスループットの話で、類似度スコアが低い根本原因には無関係。
選択肢Dの Guardrails 緩和は症状（応答文言）を隠すだけで、誤った『見つからない』回答の根本を直さない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →