AIF生成AIの基礎
Amazon Bedrockで大規模言語モデル(LLM)を利用する際、API呼び出しのコストは入力・出力の「トークン数」に基づいて課金されます。LLMにおける「トークン」の説明として最も適切なものはどれですか?
ALLMへのAPIアクセスを認証するためにAWSが発行するセキュリティキー(JWTやAPIキーに相当するもの)
JWTやAPIキーに相当するセキュリティキーはAWS認証の文脈で使われる「トークン」であり、LLMがテキストを処理する際の最小単位(テキストの断片)とは全く異なる概念です。
Bテキストを処理する際の最小単位で、単語・部分単語・記号などに分割されたテキストの断片
✓ 正解
LLMのトークンはテキストを分割した処理の最小単位です。英語で約4文字・日本語で1〜2文字程度に相当し、Amazon Bedrockのコストはこのトークン数に基づいて計算されます。
Cモデルのパラメータ数を表す単位で、値が大きいほど高性能なモデルであることを示す指標
パラメータ数はLLMの規模を示す指標(例:7Bは70億パラメータ)であり、テキストを処理する際の最小単位を指すトークンとは異なる概念です。
DAmazon BedrockユーザーがIAMポリシーで管理するリソースアクセス制御用の一時的な認証情報
IAMの一時的な認証情報はAWS STSが発行するセキュリティトークンであり、LLMがテキストを分割して処理する際の単位である「トークン」とは全く別の概念です。
解説
LLMにおける「トークン」とは、テキストを処理・生成する際の最小単位です。入力テキストはトークナイザーによって単語・部分単語・記号などの断片(トークン)に分割されてからモデルに入力されます。英語では約4文字が1トークン、日本語では1文字が1〜2トークン程度が目安です。
Amazon Bedrockでは入力トークン数と出力トークン数の合計でコストが決まります。コンテキストウィンドウの上限もトークン数で定義されるため、長いドキュメントを処理する際のコスト試算や入力設計においてトークンの概念を理解することは重要です。
選択肢AのJWTやAPIキーに相当するセキュリティキーはAWS認証の文脈で使われる「トークン」であり、LLMのテキスト処理単位とは全く別の概念です。
選択肢CはLLMのパラメータ数(例:7Bは70億パラメータ)の説明であり、テキスト処理の最小単位であるトークンとは異なります。
選択肢DのIAM一時的認証情報はAWS STS(Security Token Service)が発行するものであり、LLMのテキストトークンとは別物です。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIFを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →