AIF生成AIの基礎
ある法律部門が、1件あたり約8万トークンに及ぶ長文契約書を、章ごとに分割せず一度の推論で全文を読み込ませたうえで要約させたいと考えています。Amazon Bedrockで利用する基盤モデルを選定する際、この要件を満たすうえで最も重視すべきモデルの特性はどれですか。
Aモデルが一度の推論で処理できる入力トークン数の上限であるコンテキストウィンドウのサイズ
✓ 正解
コンテキストウィンドウは1回の推論で処理できるトークン数の上限を表し、8万トークンの全文を分割せず投入するにはこれが十分大きいモデルが必須となる。長文一括入力の可否を直接左右するため最重視すべき特性。
B出力のランダム性・多様性を制御するtemperatureパラメータの設定可能な範囲
temperatureは出力のランダム性・創造性を調整する推論パラメータであり、入力として受け付けられる文書の長さやトークン上限には一切関与しないため、長文を一括入力する要件とは無関係。
Cモデルが内部で生成する埋め込みベクトルの次元数（ディメンション）
埋め込みベクトルの次元数は、テキストを意味ベクトルに変換する際の表現の細かさに関する指標であり、一度に入力できる文書のトークン量を決める要素ではないため不適切。
Dモデルの事前学習データに含まれる知識の鮮度（学習データのカットオフ日）
学習データのカットオフ日は、モデルが保持する知識がどの時点まで新しいかを示す特性であり、長文を分割せず一括で読み込めるかどうかとは別問題で、本要件の決め手にはならない。
解説
コンテキストウィンドウは、基盤モデルが1回の推論で扱える入力＋出力トークンの最大数を指します。約8万トークンの契約書を分割せず全文を一度に読み込ませるには、この上限が8万トークン超のモデルを選ぶ必要があります。コンテキストウィンドウが不足すると入力が切り詰められ、全文を踏まえた要約ができません。
選択肢Bのtemperatureは出力の多様性を制御するパラメータで、入力できる文書の長さには影響しない。
選択肢Cの埋め込みベクトルの次元数は、テキストをベクトル化する際の表現次元であり、長文を一括入力できるかとは無関係。
選択肢Dの学習データのカットオフ日は、モデルが持つ知識の新しさに関わる特性で、入力可能なトークン量とは別の概念。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →