Amazon AIF-C01: 生成AIの概念 — 学習ガイド
こちらの一部です: AWS AI Practitioner AIF-C01 — 学習ガイド. 検証済みの解答で練習: Amazon試験ハブ, または時間制限付き模擬試験に挑戦: ExamRoll.io.
基盤モデル、トークン、埋め込み、マルチモーダルの基礎
基盤モデルは、テキスト、画像、その他のモダリティにわたって強力で汎用的な機能を提供する、大規模な事前学習済みニューラルネットワークです。AWSで利用可能な例としては、Amazon Bedrockを介したTitanや他のベンダーモデルへのアクセス、カスタムモデルのトレーニングとホスティングのためのSageMaker環境などがあります。トークンは、LLMが入力と出力に使用する原子的な要素(サブワードや文字)です。トークン化は、コンテキストウィンドウの使用量、コスト、および切り捨てのリスクを決定します。埋め込みは、意味的な意味をエンコードする密な数値ベクトルであり、類似性検索、クラスタリング、および下流の検索タスクの「接着剤」として機能します。埋め込みは、BedrockモデルやSageMakerでホストされたモデルによって生成できます。マルチモーダルモデルは、テキスト、画像、音声を扱って連携させます。典型的なAWSの構成要素には、視覚的特徴抽出のためのAmazon Rekognition、スキャンされたドキュメントのためのAmazon Textract、音声からテキストへの変換のためのAmazon Transcribeが含まれ、モダリティを融合させるためにBedrockやSageMakerのモデルが使用されます。実務者が考慮すべき主要なトレードオフには、基盤モデルのファインチューニング(高コスト、長いリードタイム、タスクへの適合性が高い)と、プロンプトエンジニアリングおよびRAG(迅速、低コスト、データプライバシーの観点でより安全)の選択があります。よくある落とし穴には、プロンプト作成時にトークン制限を無視すること、埋め込みやインデックスのバージョン管理を怠ること、画像やドキュメント入力の前処理の必要性を過小評価することが含まれます。
プロンプトエンジニアリング、モデル制御、推論技術
プロンプトエンジニアリングは、信頼性の高い出力を得るために指示とコンテキストを構造化する技術です。効果的なプロンプトは、システム指示(役割、ガードレール)、ユーザーコンテンツ、そしてオプションのフューショット例を分離します。スタイル、制約、出力形式を定義するために簡潔なシステムプロンプトを使用し、意図しない変化(ドリフト)を避けるために標準的なテンプレートを保存します。BedrockやSageMakerでtemperature、top-p、max_tokensなどの推論パラメータを調整すると、創造性と決定性に影響を与えます。低いtemperatureと狭いtop-pは、創造性を犠牲にする代わりに、より一貫性のある回答を生成します。推論技術には、chain-of-thought(多段階タスクを改善するために明示的な中間的推論を行う)、self-consistency(複数の推論パスをサンプリングして集約する)、および検証ループ(モデルにソースの確認や引用を求める)などがあります。よくある落とし穴は、プロンプトインジェクション(信頼できない入力がシステムの振る舞いを変更する)、意図よりもスタイルに過剰適合してしまう脆弱なフューショット例、監査可能性のためにプロンプトのログを記録し忘れることです。技術の選択基準:透明性が重要な複雑な推論にはchain-of-thoughtを使用し、結果が現実世界に影響を与える場合は検証を追加します。再現性を確保するために、本番環境向けのUIでは決定論的な設定を優先します。
RAG (Retrieval-Augmented Generation)、ベクトルストア、エージェント、アーキテクチャ
RAGは、検索レイヤーと生成モデルを組み合わせたものです。ドキュメントをインデックス化し、埋め込みを計算し、類似性検索を実行してコンテキストを取得し、その取得した文章でLLMを条件付けします。AWS上では、ドキュメントソースは通常Amazon S3に配置され、抽出にはTextractやカスタムパイプラインが使用されます。埋め込みはBedrockやSageMakerを介して生成され、ベクトルはk-NNを備えたAmazon OpenSearch Serviceや、DynamoDBまたはOpenSearch上に構築された専用のベクトルストアに保存されます。エンタープライズ向けのセマンティック検索やコネクタが必要な場合は、Amazon Kendraを使用できます。エージェントは、ツール(検索、データベースクエリ、計算機など)をいつ呼び出すかを決定するLLMベースのコントローラーです。AWS LambdaやStep Functionsでモデル呼び出しをオーケストレーションし、ツールを安全に実行することで実装できます。アーキテクチャパターンには、チャットボット用の同期RAGや、要約ジョブ用の非同期バッチRAG(大規模なコーパスを前処理するためにAthenaやEMRを使用)などがあります。実務者の落とし穴:古いインデックス(埋め込みを更新しない)、トークンウィンドウを超える長いコンテキストを過剰に含めること、取得したコンテンツの出典リンクを含め忘れること。KendraとOpenSearchのどちらを選択するかは、コネクタ、セキュリティ、およびセマンティックランキングの必要性に基づいて決定します。
ハルシネーション、バイアス、説明可能性、モニタリング、ガバナンス
ハルシネーションは、モデルがもっともらしく聞こえるが不正確な事実を生成するときに発生します。緩和戦略は、応答のグラウンディング(RAG)、検索されたソースの明示的な引用、出力をファクトチェックする検証モデル、およびリスクの高いドメインでのヒューマンインザループによるレビューに焦点を当てます。バイアスは、偏ったトレーニングデータやラベル分布から生じます。Amazon SageMaker Clarifyを使用してデータセットのバイアスを検出し、特徴量の重要度を調査し、説明可能性アーティファクトを生成します。モデルのパフォーマンスとドリフトについては、Amazon SageMaker Model Monitorをデプロイしてデータおよび予測のドリフトを検出し、監査のために推論の入出力をCloudWatchとS3に記録し、プロンプトと検索ソースのプロビナンスを維持します。評価では、技術的メトリクス(適合率/再現率、F1スコア、検出のためのmAP、要約のためのROUGE、該当する場合はパープレキシティ)と、有用性、安全性、レイテンシーなどの人間中心のメトリクスを組み合わせる必要があります。実践的なガバナンスプラクティスには、出力のレッドチーミング、自動コンテンツフィルター、Amazon Comprehend PIIによるPIIの検出とマスキング、モデルと埋め込みのバージョニング、意図された用途と制限の文書化が含まれます。一般的な落とし穴には、合成テストのみに依存すること、コンプライアンスのためのロギングが不十分であること、規制されたコンテキストでのデプロイ前にバイアス緩和をスキップすることが含まれます。
実践的な問題:ユースケースシナリオ
シナリオ:MedData Analyticsは、生成にAmazon Bedrock、Amazon S3に保存された患者マニュアルと画像レポート、モデル実験にSageMakerトレーニングパイプラインを使用して、社内の診断アシスタントを運用しています。彼らは、臨床医のためにハルシネーションとバイアスを最小限に抑えながら、透明性があり検証可能な診断提案を提供する必要があります。
課題:信頼できるドキュメントにモデルの出力を根拠付け、説明可能性とバイアスのチェックを確保し、プロビナンスと人間の監視を維持する本番RAGパイプラインを作成すること。
推奨アプローチ:
- Amazon Textractを使用してPDFから構造化テキストを抽出し、Amazon Comprehend PIIを使用して機密フィールドをマスキングします。サニタイズされたドキュメントをAmazon S3に保存し、オブジェクトタグ付けでバージョンを追跡します。
- Amazon Bedrockの埋め込みモデル(またはSageMakerでホストされたエンコーダー)で埋め込みを生成し、Amazon OpenSearch Serviceでk-NNを使用してベクトルをインデックス化し、プロビナンスリンクのためにメタデータをDynamoDBに保存します。
- Lambda(またはStep Functions)がtop_kのパッセージを取得し、システムプロンプトテンプレートを組み立て、低いtemperatureと明示的な「ソースを引用せよ」という指示を付けてAmazon Bedrockを呼び出して生成を行うRAGオーケストレーションを構築します。
- トレーニング/ラベルデータにSageMaker Clarifyを適用してバイアスを検出し、ドリフトアラートにSageMaker Model Monitorを使用し、プロンプトと検索IDをCloudWatch/S3に記録し、リスクの高い出力をAmazon A2I経由で臨床医のレビューにルーティングします。
論理的根拠:RAGによる出力のグラウンディングと明示的なソース引用により、ハルシネーションが減少します。Clarify、Model Monitor、および人間によるレビューを組み合わせることで、実践者のベストプラクティスに沿った説明可能性、バイアス検出、および安全な運用ガバナンスが提供されます。
← AI と ML の基礎 · すべてのドメイン · AWS の AI →
これらの問題を練習する → · ExamRoll.ioで時間制限付き練習 →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
試験に合格する →