HR Tech企業がAmazon Bedrockを使用した採用候補者評価システムを開発しています。法務部門から2つの要件が出ています。
①性別・民族・年齢などの保護属性に基づく不当な差別がないことを継続的に証明する監査文

Question

HR Tech企業がAmazon Bedrockを使用した採用候補者評価システムを開発しています。法務部門から2つの要件が出ています。
①性別・民族・年齢などの保護属性に基づく不当な差別がないことを継続的に証明する監査文書を作成すること、
②本番環境での差別的コンテンツ生成をリアルタイムに防ぐこと。これら両方の要件を最も包括的に満たすAWSサービスの組み合わせはどれですか？（2つ選択）

Accepted Answer

正解: Amazon Bedrock Model Evaluationを使用して、保護属性（性別・民族・年齢等）で多様化したテストデータセットを作成し、グループ間のDisparate Impact（不均等な影響：属性グループによって結果に不当な差が生じること）を定期的に評価・記録することで監査証跡を作成する / Amazon Bedrock Guardrailsを設定し、性別・民族・年齢に関連する差別的・偏見的コンテンツの生成を本番環境でリアルタイムにフィルタリングする。正解：
Amazon Bedrock Model Evaluationを使用して、保護属性（性別・民族・年齢等）で多様化したテストデータセットを作成し、グループ間のDisparate Impact（不均等な影響：属性グループによって結果に不当な差が生じること）を定期的に評価・記録することで監査証跡を作成する、Amazon Bedrock Guardrailsを設定し、性別・民族・年齢に関連する差別的・偏見的コンテンツの生成を本番環境でリアルタイムにフィルタリングする。

責任あるAIの法的要件には事前評価と継続的ガードの両方が必要です。Bedrock Model Evaluationで多様なテストデータセットによるDisparate Impact分析を定期実施・記録することで法的証跡を作成でき、Bedrock Guardrailsで本番環境のリアルタイムフィルタリングを実現できます。

選択肢Bは、システムプロンプトの指示は技術的保証にならず法的証跡として不十分です。
選択肢Dは、SageMaker Clarifyは有効なバイアス検出ツールですが、Bedrock統合のModel EvaluationとGuardrailsの組み合わせが本シナリオの両要件を最も効率的に満たします。

Answer

システムプロンプトに「すべての候補者を公平かつ差別なく評価すること」と明示し、この指示内容と設定日時をコンプライアンス証跡として法務部門に提出する — システムプロンプトの指示は技術的保証にならず法的証跡として不十分です。

Answer

Amazon SageMaker Clarifyを使用して候補者評価データセットの統計的バイアス指標を月次で計算し、保護属性グループ間でスコア分布に10%以上の乖離がある場合にAmazon SNSでアラートを発報する — SageMaker Clarifyは有効なバイアス検出ツールですが、Bedrock統合のModel EvaluationとGuardrailsの組み合わせが本シナリオの両要件を最も効率的に満たします。

Answer

Amazon Bedrock の呼び出しログ（Invocation Logging）を有効化して全リクエストとレスポンスをS3に保存し、法務担当者が定期的にログをサンプリングして差別的コンテンツがないことを確認する — 呼び出しログの人手サンプリングは網羅的な差別証明にならず、リアルタイムフィルタリングも実現しないため、①監査証跡と②リアルタイム防止の両要件を満たしません。

解説

解説