AIP生成AIアプリケーションの運用効率と最適化複数選択
電子商取引企業がAmazon Bedrock Knowledge Basesを使用したRAGシステムを構築しており、Amazon Titan Embeddings V2で商品カタログの検索を実装しています。しかし業界固有の製品仕様用語（例：「HEPA-13フィルター」「IP68防水規格」）を含むクエリに対して検索精度が低く、Recall@5（上位5件内に正解を含む割合）が38%にとどまっています。最もコスト効率よく検索精度を改善できる方法を2つ選んでください。
AAmazon SageMakerでTitan Embeddingsをドメイン固有の製品用語の陽性・陰性ペアを使ってファインチューニングし、Bedrock Knowledge Basesのカスタム埋め込みエンドポイントとして設定する
SageMakerでTitan Embeddingsをファインチューニングすることは有効ですが、導入コスト・工数が高く、Amazon Titan Embeddings V2はBedrock Custom Models経由でのファインチューニングはサポートされていません。
BAmazon OpenSearch Serverlessのハイブリッド検索（ベクトル類似度スコア＋BM25キーワード検索スコアの組み合わせ）を有効にすることで、型番・規格名などの専門用語の完全一致マッチングも活用する
✓ 正解
OpenSearch Serverlessのハイブリッド検索は、BM25キーワードマッチングにより「IP68」「HEPA-13」などの型番・規格名の完全一致に強く、ベクトル類似度スコアとRRFで統合することで検索精度が大幅に向上します。設定変更のみで実装可能です。
Cチャンクサイズを現在の256トークンから1024トークンに増やして各チャンクにより多くのコンテキストを含める
✓ 正解
チャンクサイズを256トークンから1024トークンに拡大することで、製品名・規格名・仕様詳細が同一チャンクに収まる確率が増加し、クエリとの関連チャンクをより確実に取得できます。コストが低い改善です。
DAmazon SageMakerでカスタム埋め込みモデルをゼロからトレーニングし、Bedrock Knowledge Basesのカスタムエンドポイントとして登録する
SageMakerでカスタム埋め込みモデルをゼロからトレーニングするのは、最もコスト・工数が増大し、データセット準備・学習・検証に多くの時間を要します。非効率です。
解説
業界固有の製品仕様用語への検索精度低下に対して最もコスト効率の高い2つのアプローチです。(1)ハイブリッド検索（B）：BM25によるキーワードマッチングは「IP68」「HEPA-13」などの型番・規格名の完全一致に強く、ベクトル類似度スコアとRRF（Reciprocal Rank Fusion：複数の検索スコアを統合する手法）で組み合わせることでRecall@5が大幅に向上します。OpenSearch Serverlessの設定変更のみで導入可能です。(2)チャンクサイズの拡大（C）：256トークンのチャンクでは製品仕様が複数チャンクに分断され、型番と仕様詳細が別チャンクに収まる可能性があります。1024トークンに拡大することで製品名・規格名・仕様詳細が同一チャンクに収まり、クエリとの関連チャンクをより確実に取得できます。SageMakerでの埋め込みモデルファインチューニング（A）は有効ですが導入コスト・工数が高く、Amazon Titan Embeddings V2はBedrock Custom Models経由のファインチューニングは未サポートです。SageMakerでのゼロからのカスタムモデルトレーニング（D）は最もコスト・工数が増大します。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →