小売企業がAmazon Bedrockのカスタムモデルファインチューニングを計画しています。トレーニングデータはカスタマーサポートの対話履歴からエクスポートしたJSONL形式のファイル(数百万レコード)で、顧客の氏名・メールアドレス・クレジットカード番号・住所などのPII(Personally Identifiable Information:個人識別情報)が含まれている可能性があります。GDPRおよびCCPAコンプライアンスのためにトレーニング実行前にPIIを除去する必要があります。最もスケーラブルで自動化されたアプローチはどれですか?
Amazon ComprehendはPII検出・匿名化のマネージドAPIを提供し、AWS GlueのPySparkジョブから分散バッチ処理で呼び出すことで数百万レコードをスケーラブルに処理できます。GlueはサーバーレスでスケールアウトするマネージドETLサービスであり、JSONL形式の大規模ファイル処理にも適しています。 選択肢AのMacieはPIIが含まれるファイルの特定のみを行い、自動レダクション機能はありません。手動レビューが必要なため数百万レコードの処理には非効率です。 選択肢CのBedrock GuardrailsはInference(推論)時に適用されるもので、ファインチューニングのトレーニングデータ処理には対応していません。 選択肢Dの正規表現はGDPR/CCPAが要求する多様なPII形式(国際形式の電話番号・各国の住所形式など)の高精度検出が困難で、見落としリスクがあります。