大手ECサイトが、Amazon Bedrockを使用して商品説明文を自動生成するシステムを本番デプロイしました。3ヶ月後、公平性監査チームから「モデルが特定の人口統計グループ(性別・年齢層)に対して偏った表現を用いている可能性がある」という報告を受けました。次回のモデル更新前に定量的な公平性評価を実施し、かつ本番環境での継続的なバイアス監視を両立させる最も包括的なアプローチはどれですか?
責任あるAIの実践では定性的評価と定量的評価の組み合わせが不可欠です。Bedrock Model Evaluationの人間評価者機能で多様な評価者が定性的に公平性をチェックし、SageMaker ClarifyでDemographic Parity(保護属性に関わらず予測結果が均等であること)などの統計指標を定量化します。本番ではModel Invocation LoggingとCloudWatch Dashboardで継続監視します。 選択肢AのBedrock Guardrailsは露骨な有害コンテンツのブロック向けで、微妙な表現のバイアスは検出できません。 選択肢CのAmazon Comprehendは感情分析・エンティティ認識ツールであり、公平性指標の定量評価には不十分です。 選択肢Dのプロンプト指示は効果が不確実で、定量評価や継続監視の仕組みがありません。