医療機器メーカーの ML チームが 80 万枚の胸部 X 線画像に「正常」「異常」のラベルを付与してモデルをトレーニングする計画です。
画像の 70% は視覚的に明確ですが、残り 30% は放射線科医による精査が必要です

Question

医療機器メーカーの ML チームが 80 万枚の胸部 X 線画像に「正常」「異常」のラベルを付与してモデルをトレーニングする計画です。
画像の 70% は視覚的に明確ですが、残り 30% は放射線科医による精査が必要です。
個人医療情報を含むため、データを外部クラウドワーカーに開示することはコンプライアンス上禁止されています。
コストを最小化しながら品質を確保するために最も適切なアプローチはどれですか。

Accepted Answer

正解: SageMaker Ground Truth のプライベートワークフォースと自動ラベリングを組み合わせ、高信頼度画像を自動処理し低信頼度のみ放射線科医に送信する。SageMaker Ground Truth のプライベートワークフォースは社内の従業員・専門家のみを登録できるため、個人医療情報を外部に開示せず規制要件を満たせる。さらに自動ラベリング（オートメーション）機能はアクティブラーニングを活用し、ラベリングが進むにつれてモデルを更新して高信頼度の画像を自動的に処理する。信頼度の低い画像のみを放射線科医にルーティングすることで、専門家の作業量を大幅に削減しながら品質を維持できる。

選択肢Aの Amazon Mechanical Turk のパブリックワークフォースは一般クラウドワーカーを使用するため、個人医療情報を外部に開示することになりコンプライアンス違反となる。
選択肢Cの Amazon Rekognition カスタムラベルは汎用画像認識サービスであり、教師ラベルなしに 80 万枚を高精度分類することはできず、ラベリングの代替にはならない。
選択肢Dの放射線科医による全量手動ラベリングは品質を確保できるが、自動ラベリングを活用しないため専門家への依頼コストが最大化し、コスト最小化の要件を満たさない。

Answer

Amazon Mechanical Turk のパブリックワークフォースで全画像をラベリングし、3 名のワーカー多数決でアノテーション品質を担保する — Amazon Mechanical Turk はインターネット上の不特定多数のクラウドワーカーを使用するため、個人医療情報を含む画像を外部に開示することになりコンプライアンス違反となる。プライバシー規制が厳しい医療データには適用できない。

Answer

Amazon Rekognition カスタムラベルで少量のサンプルをトレーニングし、80 万枚全体を推論で一括分類して人手アノテーションを省略する — Amazon Rekognition カスタムラベルは汎用的な画像認識サービスであり、少量サンプルで学習したモデルだけでは専門知識が必要な医療画像の高精度判定はできない。人手アノテーションの完全な代替にはならない。

Answer

放射線科医チームが独自の社内ツールで全 80 万枚をラベリングし、完了後に S3 へアップロードして SageMaker で品質検証のみ行う — 全 80 万枚を放射線科医が手動でラベリングする方法は品質を確保できるが、自動ラベリングを活用しないため専門家の工数とコストが最大化する。コスト最小化の要件に反する。

解説

解説