ある製造会社が、生産ラインのカメラに接続された NVIDIA Jetson デバイス上でリアルタイム不良品検出を実施したいと考えています。要件として「ネットワーク切断時もオフラインで推論可能であること」「中央からモデルを

Question

ある製造会社が、生産ラインのカメラに接続された NVIDIA Jetson デバイス上でリアルタイム不良品検出を実施したいと考えています。要件として「ネットワーク切断時もオフラインで推論可能であること」「中央からモデルを一元管理しデバイスへ配布できること」があります。この要件を最も効果的に満たす AWS サービスの組み合わせはどれですか？

Accepted Answer

正解: SageMaker Neo でモデルを Jetson ハードウェア向けにコンパイル・最適化し、AWS IoT Greengrass を使用してデバイスフリートの一元管理とモデルの OTA（Over-the-Air）配布を行う。SageMaker Neo はモデルを特定ハードウェア（NVIDIA Jetson 等）向けにコンパイルし、推論速度を大幅に向上させます。AWS IoT Greengrass は、コンパイル済みモデルのデプロイ・バージョン管理・デバイスフリート監視を中央集権的に提供し、ネットワーク切断時のオフライン推論もサポートします。なお SageMaker Edge Manager は廃止済みであり、新規構築には IoT Greengrass を使用してください。

Serverless Inference はクラウド依存のためオフライン要件を満たせず、Multi-Model Endpoint はクラウドサイドの最適化でエッジ展開には対応しません。

OTA（Over-the-Air）とは無線ネットワーク経由でソフトウェアを更新する仕組みです。

Answer

Docker コンテナを使用して Jetson デバイスに直接モデルをデプロイし、SSH 経由で手動更新する — 手動デプロイと手動更新により、複数デバイスの管理・更新に膨大な時間と人工を要します。

Answer

SageMaker Serverless Inference エンドポイントを立て、エッジデバイスからクラウド API を呼び出して推論する — クラウドAPI依存のため、ネットワーク切断時のオフライン推論要件を満たしません。

Answer

SageMaker Multi-Model Endpoint を使用し、各デバイスからのリクエストをデバイス種別ごとにルーティングする — 複数モデル・複数エンドポイント管理がクラウド側に限定され、エッジデバイス側の最適化・配布には対応しません。

解説