AIP実装と統合
あるリーガルテック企業が、法律文書の要約タスク向けにAmazon Bedrock Custom Modelsでファインチューニングを実施しようとしています。候補として(1) Cohere Command R、(2) Amazon Titan Text G1 - Express、(3) Meta Llama 3 8Bを検討しています。チームはトークン単価・コンテキストウィンドウ・ベンダーサポートを比較していますが、基盤モデル選択において「最も重要な」考慮事項はどれですか?
A基盤モデルのトークン単価。ファインチューニング後のカスタムモデルはProvisioned Throughputで課金されるため、基盤モデルのオンデマンド価格は選択の主軸にならない
ファインチューニングのコスト面での議論ですが、基盤モデル選択時の優先事項ではありません。Provisioned Throughputの課金形態は選択基準の後位要素です。
B基盤モデルがすでに必要なタスク能力(長文要約・法律文書理解・構造化出力生成)を持っているか。ファインチューニングは既存能力を強化するものであり、存在しない能力を新たに付与できないため
✓ 正解
ファインチューニングの根本原則として、モデルが持っていない能力を新たに付与することはできません。法律文書要約には要約・長文理解・法律語彙への対応能力が前提として必要です。
C基盤モデルのコンテキストウィンドウサイズ。法律文書は長いため入力全体を一度に処理できるモデルが必要だが、タスク適合性(既存能力)の確認より優先されるべき要件ではない
コンテキストウィンドウサイズも重要ですが、タスク適合性(既存能力)が基盤モデル選択の最優先事項です。能力なしでは長文対応も無意味です。
D基盤モデルがAmazon独自サービスかどうか。Amazon TitanはBedrockとの統合が最適化されているが、他社モデルと比べてファインチューニング後の精度が高いという事実はない
Titanが他モデルより優れているという根拠がなく、Amazon独自サービスであることがファインチューニング精度を保証しません。
解説
ファインチューニングの根本原則として、モデルが持っていない能力を新たに付与することはできません。法律文書要約には要約・長文理解・法律語彙への対応能力が前提として必要であり、これを既に持つ基盤モデルを選ぶことが最重要事項です。
選択肢Aのトークン単価は重要なコスト観点ですが、ファインチューニング後はProvisioned Throughputで課金されるため基盤モデルのオンデマンド価格は直接関係せず、最優先事項にはなりません。
選択肢Bが正解です。タスクに必要な前提能力の有無が基盤モデル選択で最も重要な基準となります。コストやコンテキストウィンドウも考慮事項ですが、能力の確認が優先されます。
選択肢Cのコンテキストウィンドウサイズは長文法律文書を扱う上で重要ですが、タスク適合能力がなければ大きなウィンドウも意味がなく、能力の確認が先決です。
選択肢DはAmazon Titanが他社モデルよりファインチューニング後の精度が高いという事実はありません。BedrockはCohere・Metaなどのサードパーティモデルも同等にサポートしています。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →