大手保険会社が Amazon SageMaker でファインチューニングした基盤モデルを使った保険料算出支援ツールを開発している。規制当局から「性別・年齢・居住地域という保護属性によるモデル出力の偏りを定量的に評価して本

Question

大手保険会社が Amazon SageMaker でファインチューニングした基盤モデルを使った保険料算出支援ツールを開発している。規制当局から「性別・年齢・居住地域という保護属性によるモデル出力の偏りを定量的に評価して本番稼働前に証跡として提出すること」と「本番稼働後も継続的にバイアス監視を行うこと」が求められた。追加開発を最小化しながら両要件を満たす最も適切なアーキテクチャはどれか。

Accepted Answer

正解: Amazon SageMaker Clarifyを使って学習データと推論結果のバイアスレポートを生成し、SageMaker Pipelinesで定期評価ジョブをスケジュールして継続的なバイアス監視を実現する。SageMaker ClarifyはDPL・KLダイバージェンスなど標準バイアス指標で保護属性別の偏りを定量測定でき、事前・事後学習バイアスレポートで規制証跡を生成する。SageMaker Pipelinesで本番後の継続監視も自動化できる。

Answer

Bedrock Model Evaluationの自動評価ジョブでBYODデータセットを使い、カスタム評価プロンプトで属性別の出力差を測定して結果をS3に保存し、CloudWatchダッシュボードで継続監視する — Bedrock Model EvaluationはLLMの品質・毒性評価向けであり、DPL・CIなど保護属性別の統計的バイアス指標の計算には設計されていない。

Answer

Bedrock Guardrailsの「除外トピック」ポリシーに性別・年齢・居住地域を追加し、保護属性に関する質問をブロックすることでモデルの差別的出力リスクを排除する — Bedrock Guardrailsの除外トピックは特定テーマの入出力をブロックする機能であり、バイアスの定量測定・規制当局への証跡提出という要件を満たせない。

Answer

AWS Lake FormationとAmazon Macieでトレーニングデータのセンシティブ属性を検出・マスキングしてから再学習し、保護属性を含まないデータセットで公平性を担保する — Macieはデータ湖のPII検出向けであり、MLバイアス評価には対応していない。保護属性のマスキングも代理変数による間接差別を排除できないため公平性の担保にならない。

解説