医療画像診断企業が10億パラメータのVision Transformerモデル（精度97%）を開発しました。病院内のエッジサーバー（CPU専用・RAM 8GB）へのデプロイが義務付けられており、元モデルの精度の90%以上

Question

医療画像診断企業が10億パラメータのVision Transformerモデル（精度97%）を開発しました。病院内のエッジサーバー（CPU専用・RAM 8GB）へのデプロイが義務付けられており、元モデルの精度の90%以上（87%以上）を維持しながらモデルサイズを大幅に削減する必要があります。この要件を満たすための最も適切な手法はどれですか。

Accepted Answer

正解: 知識蒸留（Knowledge Distillation）でTeacherモデルの出力分布を教師信号としてStudent小規模モデルをトレーニングし、精度を保ちながらモデルサイズを圧縮する。知識蒸留（Knowledge Distillation）は、大規模なTeacherモデルの出力確率分布（ソフトラベル）を教師信号として小規模なStudentモデルをトレーニングする手法です。単純なラベル学習では得られないクラス間の類似度・構造情報もStudentが学習できるため、モデルパラメータ数を10〜100分の1に削減しながら精度の大部分を保持できます。10億パラメータモデルからエッジ向けの数千万パラメータモデルへの圧縮に適しており、SageMaker Training Jobでカスタムトレーニングスクリプトとして実装できます。

選択肢BのSageMaker Pipelinesによる定期再トレーニングはドリフト対応やCI/CDのためのMLOps自動化基盤であり、モデルサイズを削減したりエッジデバイスの制約に合わせてモデルを圧縮する機能は持たない。
選択肢CのSageMaker Neoはモデルをターゲットハードウェア向けにコンパイル最適化して実行速度を向上させるサービスだが、パラメータ数やモデルサイズ自体を削減する機能はなく、10億パラメータモデルはRAM 8GBのエッジ制約を満たせない。
選択肢DのSageMaker Async Inferenceはクラウド側でオフライン推論を処理するサービスで、エッジサーバーへのモデルデプロイ要件を回避する方法だが、病院内ネットワーク分離や低遅延が必要な医療診断シナリオではオフライン処理は要件を満たさない。

Answer

SageMaker Pipelinesで本番データを使った月次再トレーニングパイプラインを構築しエッジ向けの最新モデルを継続的に生成・配布する — SageMaker Pipelinesの再トレーニングパイプラインはモデルの鮮度維持やMLOps自動化のための仕組みであり、モデルサイズ削減・エッジデバイス制約への対応という目的には全く合致しない。

Answer

SageMaker Neoで対象ハードウェア（CPU x86）向けにモデルをコンパイルしてランタイム最適化を行いRAM制約内での推論速度を改善する — SageMaker Neoはコンパイル最適化で推論速度を向上させるが、モデルのパラメータ数やメモリフットプリント自体を削減しないため、10億パラメータモデルのRAM 8GB制約を解決できない。

Answer

SageMaker Async Inferenceでクラウド側に推論処理を維持しエッジサーバーには予測結果のキャッシュのみを配置してGPU依存を回避する — SageMaker Async Inferenceはクラウド側での非同期推論サービスで、エッジデバイスへのモデル展開とは異なるアーキテクチャ。病院内ネットワーク分離・低遅延診断が求められる環境では要件を満たさない。

解説

解説