AIPテスト、検証、トラブルシューティング
ある製造業の企業が Amazon Bedrock Knowledge Bases（ベクターストアは OpenSearch Serverless）で部品マニュアル検索を提供しています。「ベアリング型番 6204ZZ の交換手順」のように型番や略語を含むクエリで、意味は近いが型番が一致しない別部品の文脈が上位に返り、回答が誤ることが頻発します。一般的な自然文クエリの精度は良好です。コード改修を抑えつつこの症状を改善する最も効果的な対策はどれですか。
A埋め込みモデルをより大きなコンテキストウィンドウのモデルに変更し、チャンクサイズを2倍に拡大して情報量を増やす
チャンクサイズの拡大は1チャンクに多様な情報が混在して埋め込みベクトルが希釈され、型番のような細粒度の一致がかえって埋もれるため、型番不一致の取り違え症状の改善には逆効果になりがちです。
BKnowledge Bases の検索タイプをセマンティック検索からハイブリッド検索（セマンティック＋キーワード）に変更する
✓ 正解
ハイブリッド検索は意味的なベクトル類似度に加えキーワードの字句一致を組み合わせるため、型番や略語のような完全一致が重要なトークンを尊重でき、意味は近いが型番の異なる別部品の混入を抑えつつ自然文クエリの精度も維持できます。
CKnowledge Bases の生成設定で temperature を上げ、モデルが複数の候補文脈を統合して回答するようにする
temperatureは生成時のランダム性を制御するパラメータで検索結果の選定には影響せず、上げると回答のばらつきが増えるだけで、誤った文脈が取得される根本原因である検索の取り違えを是正できません。
DGuardrails の単語フィルターに型番パターンを登録し、型番不一致の回答をブロックする
Guardrailsの単語フィルターは指定語句を含む入出力をブロックする安全機構であり、検索の関連性ランキングを改善する機能ではないため、正しい文脈を取得させるという目的には合致しません。
解説
型番・略語など完全一致が重要なトークンを含むクエリでは、純粋なセマンティック検索だけだと意味が近い別部品が上位化しやすくなります。Knowledge Bases のハイブリッド検索はベクトル類似度（意味）とキーワード一致（字句）を組み合わせるため、「6204ZZ」のような厳密一致トークンを尊重しつつ意味検索の利点も保てます。設定変更で済むためコード改修も最小です。
選択肢Aのチャンク拡大はむしろ埋め込みを希釈し、型番一致の精度を改善しません。
選択肢Cのtemperature上昇は出力のばらつきを増やすだけで検索の取り違えを直しません。
選択肢DのGuardrails単語フィルターは特定語のブロック用で、検索の関連性を改善する機能ではありません。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →