AIPテスト、検証、トラブルシューティング
SaaS企業がAmazon Bedrock Knowledge BasesとOpenSearch Serverlessを使ったカスタマーサポートチャットボットを運用しています。ユーザーから「製品型番や技術的略語を含む質問への回答精度が低い」との報告が相次いでいます。対象ドキュメントはすべてインデックスに登録済みで、埋め込みモデルにはAmazon Titan Embeddings v1を使用しています。この問題を最も効果的に解決する方法はどれですか。
A埋め込みモデルをCohere Embed Multilingualに変更し、技術用語・製品型番のベクトル表現を改善してすべてのドキュメントを再インデックス化する
埋め込みモデルを変更してもセマンティック検索の仕組み自体は変わらないため、技術略語のキーワード完全一致という問題は解決しない。再インデックス化のコストと時間がかかるが、根本的な改善効果が見込めない。
BBedrock Knowledge BasesのHybrid Searchを有効化し、密ベクトル検索とBM25スパースキーワード検索を組み合わせて専門用語・製品型番の完全一致取得を実現する
✓ 正解
Hybrid Searchは密ベクトル（意味的類似度）とBM25スパース（キーワード一致）を組み合わせることで、製品番号・技術略語のような完全一致が重要なクエリを適切に処理できる。Bedrock Knowledge Basesでネイティブにサポートされており、追加インフラなしで有効化できる最適な解決策である。
Cチャンキング戦略のチャンクサイズを100トークンに縮小し、技術用語が単一チャンク内に収まるよう分割粒度を調整して検索の精度を改善する
チャンクサイズを縮小するとコンテキストが断片化し、情報の欠落を招く。技術用語を孤立させることで一致精度が向上する保証はなく、むしろRAGの回答品質全体が低下するリスクがある。
D検索設定のnumberOfResultsを20に増加させ、Lambda上でCross-Encoderを用いた二次リランキングを実装して上位候補の取得精度を段階的に改善する
numberOfResultsを増やしても、セマンティック検索で正しいドキュメントが候補に挙がらない根本的な問題は解決しない。リランキングは候補の順位調整には有効だが、候補自体が誤っている場合には効果がない。
解説
製品型番や技術略語は意味的に一意ではないため、純粋なセマンティック（密ベクトル）検索では関連ドキュメントを取得できないケースが多い。Bedrock Knowledge BasesのHybrid Search機能を有効にすると、密ベクトル検索（意味的類似度）とBM25スパースキーワード検索（完全一致）を組み合わせ、製品番号・略語・固有名詞などの正確なキーワードマッチが必要なクエリでも適切にドキュメントを取得できる。この組み合わせはRAGシステムにおける代表的なトラブルシューティング手法であり、技術ドキュメント検索に特に有効である。
選択肢Aの埋め込みモデル変更はベクトル表現の質を変えるが、技術略語のキーワード完全一致という根本的な問題はセマンティック検索の枠内では解決しない。
選択肢Cのチャンクサイズ縮小はコンテキストの断片化を招き、技術用語の孤立化によって検索精度が向上する保証はなく、RAG品質全体が低下するリスクがある。
選択肢DのnumberOfResults増加とリランキングは補助的手法だが、そもそも正しいドキュメントが候補に挙がらない問題の根本解決にならない。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →