グローバル人材サービス企業が Amazon Bedrock Knowledge Bases を使用して、求人票・職務経歴書・スキルシートを対象とした多言語 RAG システムを構築しています。対応言語は日本語・英語・中国語

Question

グローバル人材サービス企業が Amazon Bedrock Knowledge Bases を使用して、求人票・職務経歴書・スキルシートを対象とした多言語 RAG システムを構築しています。対応言語は日本語・英語・中国語・韓国語・ポルトガル語など 12 言語で、英語クエリで日本語職務経歴書を検索するようなクロスリンガル検索が主要ユースケースです。文書数は 80 万件で、埋め込み生成コストとクロスリンガル検索精度のバランスを最優先とします。Bedrock Knowledge Bases で使用する埋め込みモデルとして最も適切なものはどれですか。

Accepted Answer

正解: Cohere Embed Multilingual v3 を使用する。100 以上の言語を同一の埋め込み空間でエンコードするクロスリンガル埋め込みに特化しており、英語クエリで日本語文書を検索する用途で高精度を発揮しコストと精度のバランスに優れる。Cohere Embed Multilingual v3 は 100 以上の言語を同一の埋め込み空間でエンコードすることを主目的に設計されており、英語クエリで日本語文書を検索するようなクロスリンガルタスクで高い精度を発揮します。Amazon Bedrock 上でネイティブに利用可能で Knowledge Bases への統合も容易なため、80 万件規模のクロスリンガル RAG においてコストと精度のバランスを最も自然に満たします。

選択肢Bの Amazon Titan Embeddings V2 は多言語テキストを処理でき次元削減（256/512/1024）にも対応しますが、クロスリンガル埋め込みへの最適化は Cohere Embed Multilingual v3 に比べて限定的であり、12 言語横断の検索精度が主要ユースケース要件を下回る可能性があります。

選択肢Cの Amazon Titan Embeddings G1 – Text は英語に最適化されており、日本語・中国語・韓国語・ポルトガル語など 12 言語のクロスリンガル検索要件を根本的に満たしません。

選択肢Dのカスタムファインチューニングモデルは高精度を達成できる可能性がありますが、80 万件規模の訓練データ準備・ラベリング・SageMaker 学習・継続的なモデル更新コストが膨大であり、コストと精度のバランスを最優先とする要件に反します。

Answer

Amazon Titan Embeddings V2（amazon.titan-embed-text-v2:0）を使用する。多言語対応と次元削減（256/512/1024）を備え、Bedrock ネイティブで追加設定なしに利用できコストを抑えられる — Titan Embeddings V2 は多言語テキストを処理でき次元削減にも対応するが、クロスリンガル検索に特化した設計ではなく 12 言語横断の精度は Cohere Embed Multilingual v3 に劣る。英語クエリで日本語文書を検索する主要ユースケースには最適ではない。

Answer

Amazon Titan Embeddings G1 – Text を使用する。英語に最適化された軽量モデルでスループットが高く、80 万件の大規模インデクシングを低コストで高速処理できる — Titan Embeddings G1 – Text は英語最適化モデルであり、日本語・中国語・韓国語・ポルトガル語など多言語のクロスリンガル検索要件を根本的に満たさない。英語単一言語の RAG には有効だが本ユースケースには不適切である。

Answer

社内人材データで SageMaker を用いてファインチューニングした多言語埋め込みモデルをカスタムモデルインポートで Bedrock に登録して使用する — カスタムファインチューニングは人材ドメイン特化の精度を実現できるが、80 万件の訓練データ準備・ラベリング・SageMaker 学習・継続的なモデル更新コストが膨大で「コストと精度のバランスを最優先」とする要件に反する。

解説

解説