AIP実装と統合
大手製薬会社が Amazon Bedrock Custom Models を使用して社内 AI アシスタントを改善しようとしています。要件は次の2つです:
①社内研究用の専門的な化合物命名規則・造語など固有の専門用語(数千語)を理解させる(未ラベルの社内研究論文 100GB が利用可能)、
②規制当局向け提出書類を社内テンプレートに沿った特定の形式・文体で生成させる(テンプレートベースの質問・回答ペア 5,000 件が利用可能)。最も効果的なアプローチはどれですか?
A研究論文とQ&Aペアを1つのデータセットに統合し、単一の指示ファインチューニング(IFT)ジョブとして両要件を一括で学習させる
単一のIFTジョブは、未ラベルの研究論文をIFTのトレーニングデータとして直接使用できないため誤りです。
B研究論文で継続事前学習(CPT)を実施後、出力カスタムモデルをベースにQ&Aペアで指示ファインチューニング(IFT)を行う2段階アプローチを採用する
✓ 正解
CPT(継続事前学習)は未ラベルの大量テキストからドメイン固有の用語・知識をモデルに習得させるのに最適で、IFT(指示ファインチューニング)はラベル付きQ&Aペアで特定タスクの出力形式・文体を学習させるのに適しています。2段階アプローチ(CPT→IFT)はドメイン適応とタスク特化の両方を実現するAWS推奨パターンです。
CQ&Aペアのみで IFT を実行し、研究論文はすべて Bedrock Knowledge Bases に格納してRAG(検索拡張生成)でモデルに参照させる
IFT+RAGのみは、RAGが外部知識の検索参照には有効ですが、モデル自体の語彙・概念理解は向上しないため専門用語の深い習得には不十分です。
D研究論文のみで CPT を実施し、規制書類テンプレートの形式・文体への準拠はシステムプロンプトのエンジニアリングのみで対応する
CPTのみ+プロンプトエンジニアリングは、テンプレートに沿った特定形式・文体への高い準拠性をシステムプロンプトだけで実現するのは困難であり、IFTによるタスク特化が必要です。
解説
CPT(継続事前学習)は未ラベルの大量テキストからドメイン固有の用語・知識をモデルに習得させるのに最適で、IFT(指示ファインチューニング)はラベル付きQ&Aペアで特定タスクの出力形式・文体を学習させるのに適しています。2段階アプローチ(CPT→IFT)はドメイン適応とタスク特化の両方を実現するAWS推奨パターンです。
選択肢Aは、未ラベルの研究論文をIFTのトレーニングデータとして直接使用できないため、単一のIFTジョブでは専門用語の習得を実現できません。
選択肢Bは、CPTで専門用語・知識をモデルに習得させた後、IFTで出力形式・文体を学習させる2段階アプローチが両要件を最も効果的に実現します。
選択肢Cは、RAGが外部知識の検索参照には有効ですが、モデル自体の語彙・概念理解は向上しないため専門用語の深い習得には不十分です。
選択肢Dは、テンプレートに沿った特定形式・文体への高い準拠性をシステムプロンプトだけで実現するのは困難であり、IFTによるタスク特化が必要です。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →