医療画像診断AIシステムで、モデルの信頼度スコアが設定した閾値を下回る予測結果を自動的に人間のレビュープロセスへ送信するワークフローを構築したい。このヒューマンインザループ（Human-in-the-Loop）の仕組みを

Question

医療画像診断AIシステムで、モデルの信頼度スコアが設定した閾値を下回る予測結果を自動的に人間のレビュープロセスへ送信するワークフローを構築したい。このヒューマンインザループ（Human-in-the-Loop）の仕組みを実装するのに最も適したAWSサービスはどれですか？

Accepted Answer

正解: Amazon Augmented AI (A2I)。Amazon Augmented AI (A2I) は、MLモデルの予測に対するヒューマンレビューワークフローをマネージドで構築できるサービス。信頼度スコアの閾値を設定し、それを下回る予測を自動的に人間のレビューキューに送信する機能を標準提供します。

選択肢B の SageMaker Model Monitorはデータドリフト・モデルドリフトの検知に使用するサービスであり目的が異なります。

選択肢C の SageMaker Clarifyはバイアス検出・モデル説明可能性に特化しており目的が異なります。

選択肢D の AWS Step FunctionsとLambdaの組み合わせでもヒューマンレビューワークフローを実装することは技術的に可能ですが、閾値ベースのルーティング・レビューキュー管理・ワーカーポータルなどの機能をすべてカスタム開発する必要があり、A2Iが提供するマネージドな仕組みと比べて実装・運用コストが大幅に高くなります。

Answer

Amazon SageMaker Model Monitor — SageMaker Model Monitorはデータドリフト・モデルドリフトの検知に使用するサービスであり目的が異なります。

Answer

Amazon SageMaker Clarify — SageMaker Clarifyはバイアス検出・モデル説明可能性に特化しており目的が異なります。

Answer

AWS Step Functions と AWS Lambda の組み合わせ — AWS Step FunctionsとLambdaの組み合わせでもヒューマンレビューワークフローを実装することは技術的に可能ですが、閾値ベースのルーティング・レビューキュー管理・ワーカーポータルなどの機能をすべてカスタム開発する必要があり、A2Iが提供するマネージドな仕組みと比べて実装・運用コストが大幅に高くなります。

解説