AIP基盤モデルの統合、データ管理、コンプライアンス
製薬会社がAmazon Bedrockを使った臨床試験ドキュメントのRAGシステムを構築しています。研究チームからPDFとWord文書が日次でS3にアップロードされます。要件は
①新規ファイルの自動検知と即時処理
②デジタルPDFとスキャン紙資料(OCR対応必須)の両方に対応
③論文のタイトル・要旨・方法・結果セクションを意識した構造的チャンキング
④アップロードから30分以内の再インデックス完了
⑤複数ステップ処理でのエラー可視性とリトライ機能
最も要件を効果的に満たすパイプラインはどれですか?
AS3イベント通知でLambdaを起動し、Amazon TextractでOCR・テーブル抽出を実行。テキストをS3に保存後、Bedrock Knowledge BasesのStartIngestionJob APIで再インデックスをトリガーする
Lambda+TextractはOCRと即時再インデックスに対応するが、複数ステップのエラー可視性とリトライ管理が欠如しており、処理失敗時の回復が困難になる。
BS3イベント通知でGlue ETLジョブを起動し、Apache TikaでPDF・Word文書を解析してセクション別チャンキング後にS3へ保存。Bedrock Knowledge Basesの毎時定期同期スケジュールで取り込む
Apache TikaはスキャンPDFのOCRにネイティブ対応しておらず、Glue毎時定期同期ではアップロード直後のファイルが最長59分待機し、30分以内の要件を満たせない。
CEventBridgeでS3 PutObjectを検知してStep Functionsを起動し、TextractでOCR・テーブル抽出、LambdaでセクションベースのチャンキングをしてS3に保存後、StartIngestionJob APIで再インデックスをトリガーする
✓ 正解
Step FunctionsがStep単位のリトライと実行可視性を提供し、Textract・LambdaのカスタムチャンキングとStartIngestionJob APIを連携させて全要件を充足する。
DS3イベント通知でSQSキューにメッセージを送信し、LambdaでPyMuPDFによるテキスト抽出とEmbeddings APIでベクター化を実行後、OpenSearch Serverlessへ直接書き込む。Bedrock Knowledge Basesのカスタムデータソース設定で参照する
PyMuPDFはスキャン画像のOCRに非対応であり、OpenSearch Serverlessへの直接書き込みはBedrock Knowledge Basesの管理インデックス機能を迂回し整合性が損なわれる。
解説
Step FunctionsがStep単位のエラーハンドリングとリトライを提供。TextractがデジタルPDF・スキャン両対応のOCRを担い、LambdaのカスタムロジックでセクションベースのチャンキングとStartIngestionJob APIによる即時再インデックスを実現する。
ドメイン別正答率・予想スコアでリアルタイムに実力把握
無限ノックでAIPを徹底対策。全問AI生成のオリジナル問題。
無料で演習を始める →