無限ノック › AIP 練習問題一覧 › 問題
AIPAIの安全性、セキュリティ、ガバナンス

大手ECサイトが、Amazon Bedrockを使用して商品説明文を自動生成するシステムを本番デプロイしました。3ヶ月後、公平性監査チームから「モデルが特定の人口統計グループ(性別・年齢層)に対して偏った表現を用いている可能性がある」という報告を受けました。次回のモデル更新前に定量的な公平性評価を実施し、かつ本番環境での継続的なバイアス監視を両立させる最も包括的なアプローチはどれですか?

A
Bedrock GuardrailsのコンテンツフィルターでHATE_SPEECHとHARASSMENTのフィルターをHIGH設定にして差別的コンテンツを自動ブロックし、バイアス問題を解消する
Bedrock GuardrailsのコンテンツフィルターはHATE_SPEECHやHARASSMENTなど露骨な有害表現のブロックには有効ですが、特定の人口統計グループへの微妙な偏りを定量評価・検出する仕組みではなく、公平性監査と継続監視の要件を満たせません。
B
Bedrock Model Evaluationを使用して多様な人口統計プロファイルを含むテストデータセットで人間評価者(Human Evaluators)による公平性評価を実施し、Amazon SageMaker Clarifyで生成テキストの統計的バイアス指標(Demographic Parityなど)を定量化する。本番環境ではModel Invocation LoggingとCloudWatch Dashboardで継続監視する
✓ 正解
Bedrock Model Evaluationの人間評価者による定性的な公平性評価と、SageMaker ClarifyによるDemographic Parityなどの統計的バイアス指標の定量化を組み合わせ、さらにModel Invocation LoggingとCloudWatch Dashboardで本番を継続監視する、最も包括的なアプローチです。
C
Amazon Comprehendのエンティティ認識と感情分析を全モデル出力に適用し、性別・年齢エンティティと感情スコアの相関を分析してバイアスを検出するパイプラインを構築する
Amazon Comprehendのエンティティ認識・感情分析は文章の感情傾向把握には使えますが、Demographic Parityなどの統計的公平性指標を測る専用機能はなく、グループ間バイアスを体系的に定量評価する用途には不十分です。
D
モデルのシステムプロンプトに「すべての人口統計グループを公平に扱うこと」という指示を追加し、その効果をBedrock PlaygroundでA/Bテストして確認する
システムプロンプトへの指示追加は手軽ですが効果が不確実で、Bedrock PlaygroundのA/Bテストでは定量的な公平性指標を測定できません。継続的な本番監視の仕組みもなく、包括的な公平性評価の要件を満たせません。

解説

責任あるAIの実践では定性的評価と定量的評価の組み合わせが不可欠です。Bedrock Model Evaluationの人間評価者機能で多様な評価者が定性的に公平性をチェックし、SageMaker ClarifyでDemographic Parity(保護属性に関わらず予測結果が均等であること)などの統計指標を定量化します。本番ではModel Invocation LoggingとCloudWatch Dashboardで継続監視します。 選択肢AのBedrock Guardrailsは露骨な有害コンテンツのブロック向けで、微妙な表現のバイアスは検出できません。 選択肢CのAmazon Comprehendは感情分析・エンティティ認識ツールであり、公平性指標の定量評価には不十分です。 選択肢Dのプロンプト指示は効果が不確実で、定量評価や継続監視の仕組みがありません。

ドメイン別正答率・予想スコアでリアルタイムに実力把握

無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。

無料で演習を始める →
← AIP の問題一覧に戻る