大手保険会社のMLガバナンスチームが、規制当局および内部リスク管理委員会の要件として、本番運用する全モデルについて以下を構造化文書として維持することを義務付けられています：
①モデルの意図された使用目的と使用制限、
②ト

Question

大手保険会社のMLガバナンスチームが、規制当局および内部リスク管理委員会の要件として、本番運用する全モデルについて以下を構造化文書として維持することを義務付けられています：
①モデルの意図された使用目的と使用制限、
②トレーニングデータの説明（収集期間・データ規模・既知のバイアス）、
③評価メトリクス（精度・公平性指標）、
④既知のリスクと軽減策、
⑤モデルオーナーと承認者の記録。SageMakerでこの要件に最も直接的に対応する機能はどれですか？

Accepted Answer

正解: SageMaker Model Cardsを作成し、モデルの概要・意図された用途・リスク評価・評価結果・公平性情報を構造化フォームで文書化してガバナンスレポートを生成する。SageMaker Model Cardsは、モデルの設計意図・想定ユーザー・使用制限・トレーニングデータの説明・評価結果・公平性指標・既知のリスクと軽減策・モデルオーナー情報を構造化フォームで文書化し、PDFレポートとしてエクスポートできる専用機能です。規制・ガバナンス対応を目的として設計されています。
選択肢Aはバージョン管理・承認ワークフローに優れますが、定性的なリスク記述や使用制限の構造化文書化はModel Cardsほど充実していません。
選択肢Cはバイアス・公平性分析の実行ツールであり、Model Cardsに組み込むことはできますが、単体では総合的なガバナンス文書は作成できません。
選択肢Dはメトリクス追跡と承認記録には有用ですが、定性的ガバナンス文書としての構造化フォーマットを提供する機能ではありません。

Answer

SageMaker Model Registryを使用して、各モデルバージョンのメタデータフィールドに上記情報をJSON形式で記録し、承認ワークフローで管理する — バージョン管理・承認ワークフローに優れますが、定性的なリスク記述や使用制限の構造化文書化はModel Cardsほど充実していません。

Answer

SageMaker Clarifyのバイアス分析レポートを生成し、評価結果と公平性分析をS3に保存してIAMアクセス管理する — バイアス・公平性分析の実行ツールであり、Model Cardsに組み込むことはできますが、単体では総合的なガバナンス文書は作成できません。

Answer

SageMaker Experimentsでモデルの評価メトリクスを追跡し、SageMaker Pipelinesの承認ステップでモデルオーナーの承認を記録する — メトリクス追跡と承認記録には有用ですが、定性的ガバナンス文書としての構造化フォーマットを提供する機能ではありません。

解説

解説