AIFAIとMLの基礎

大規模言語モデル(LLM)がテキストを処理する際、入力された文字列をモデルが理解できる最小の単位に分割します。この処理単位を何と呼びますか?

A
パラメータ (Parameter)
モデルが学習によって獲得する内部の重みやバイアスの数値であり、テキストを処理可能な最小単位に分割するという概念とは異なります。パラメータ数はモデルの規模を示す指標で、大規模モデルでは数千億規模に達します。
B
エポック (Epoch)
モデルのトレーニング中にデータセット全体を通して1回学習することを1エポックと呼び、学習の進行度を管理するための単位です。テキストを分割して処理する最小単位とは全く異なる概念です。
C
トークン (Token)
✓ 正解
LLMがテキストを処理する最小単位。単語・文字・サブワードなどに分割され、数値化されてモデルに入力されます。Amazon BedrockなどのAWSサービスはAPIの課金基準としてトークン数を採用しています。
D
テンソル (Tensor)
機械学習でデータを表現するための多次元配列のデータ構造であり、テキストの分割単位そのものではありません。トークン化された後のデータはテンソル形式でモデルに入力されますが、概念として別物です。

解説

正解はCのトークンです。LLMにおいてテキストは、単語・文字・サブワードなどの単位である「トークン」に分割されてから数値(埋め込み)に変換され、処理されます。AWSの生成AIサービスにおける課金体系も多くの場合トークン数に基づきます。 選択肢Aのパラメータは、モデルが学習を通じて獲得する内部の重みやバイアスのことです。 選択肢Bのエポックは、モデルのトレーニング中にデータセット全体を何回学習したかを示す単位です。 選択肢Dのテンソルは、機械学習でデータを表現するための多次元配列のデータ構造であり、テキストの分割単位そのものではありません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
AIF の問題一覧に戻る