Amazon AIF-C01: Optymalizacja kosztów i wycena dla AI/ML — Przewodnik do nauki
Część AWS AI Practitioner AIF-C01 — Przewodnik do nauki. Ćwicz ze zweryfikowanymi odpowiedziami w centrum egzaminów Amazon, albo rozwiąż testy na czas na ExamRoll.io.
Czynniki kosztowe i modele cenowe w Bedrock, SageMaker i EC2
Ceny za obciążenia AI/ML dzielą się na koszty mocy obliczeniowej, pamięci masowej, sieci oraz opłaty specyficzne dla danej usługi. Dostęp do modeli fundamentalnych (foundation models) przez Amazon Bedrock jest zazwyczaj rozliczany za żądanie lub za token w przypadku obciążeń tekstowych oraz za sekundę dla strumieniowych API; SageMaker nalicza opłaty za godziny pracy instancji na potrzeby trenowania i hostingu wielodostępnego (multi-tenancy), a także za transfer danych i pamięć masową. Hosting oparty na EC2 wiąże się z surowym kosztem godzin pracy instancji, z dodatkowymi opłatami za pamięć masową EBS, EFS lub FSx oraz za ruch wychodzący z VPC (egress). Kluczowe czynniki kosztowe to rozmiar modelu (większe modele zwiększają liczbę tokenów/operacji matematycznych i zużycie pamięci), przepustowość wnioskowania (wrażliwe na opóźnienia wywołania synchroniczne kosztują więcej, gdy są przypisane do drogich GPU) oraz przesyłanie danych w architekturze RAG (retrieval-augmented generation), gdzie wyszukiwanie osadzeń (embedding lookups) i przeszukiwanie wektorowe mogą zwielokrotnić liczbę wywołań. Typowe pułapki, w które wpadają praktycy, to niedoszacowanie kosztów osadzeń (embeddings) dla systemów RAG o wysokiej liczbie zapytań na sekundę (QPS), pozostawianie wielu bezczynnych endpointów SageMaker oraz ignorowanie kosztów ruchu wychodzącego między regionami (cross-region egress) przy przechowywaniu danych osobowych (PII) w jednym regionie. Kryteria decyzyjne powinny zatem uwzględniać wolumen żądań, tolerancję na opóźnienia per żądanie, konieczność dostrajania modelu w porównaniu z użyciem gotowego modelu oraz to, czy zarządzane przez dostawcę wnioskowanie (endpointy Bedrock/SageMaker) czy samodzielnie hostowane instancje EC2/GPU zapewniają lepszy całkowity koszt posiadania (TCO) po uwzględnieniu kosztów zarządzania i skalowania.
Wybór instancji, instancje spot i wzorce optymalizacji mocy obliczeniowej
Wybór instancji wpływa zarówno na wydajność, jak i na koszty. Do trenowania używaj instancji Trainium (trn1) lub klastrów GPU (p4/p5), gdy kluczowa jest przepustowość operacji na macierzach na dużą skalę; do wnioskowania preferuj instancje Inferentia/Inf2 (inf1/inf2) lub oparte na procesorach Graviton dla mniejszych modeli, aby obniżyć koszty. Usługi zarządzane, takie jak SageMaker Managed Spot Training i SageMaker Distributed Training, integrują mechanizmy checkpointingu i automatycznie odzyskują pojemność instancji spot, co znacznie obniża koszty trenowania; jednak instancje spot są pułapką w środowiskach produkcyjnych wymagających niskich opóźnień, chyba że zostaną połączone z solidnymi mechanizmami zapasowymi (fallbacks). Wzorce architektoniczne, które redukują wydatki, obejmują asynchroniczne przetwarzanie wsadowe (batching), autoskalowanie z zabezpieczeniami przed zimnym startem (cold-start), endpointy wielomodelowe (multi-model endpoints) do konsolidacji wielu małych modeli na jednym hoście oraz użycie mieszanej precyzji (mixed-precision) i kwantyzacji w celu zmniejszenia zapotrzebowania na pamięć i zwiększenia przepustowości. Używaj frameworków takich jak DeepSpeed czy ZeRO, aby zmniejszyć zużycie pamięci podczas trenowania dużych modeli, oraz rozważ metody dostrajania oszczędne pod względem parametrów (parameter-efficient fine-tuning, np. LoRA/adaptery), aby uniknąć ponownego trenowania całego modelu. Częstym błędem jest używanie najdroższych GPU do obciążeń intensywnie wykorzystujących osadzenia (embeddings), podczas gdy instancje CPU lub Inferentia zapewniłyby znacznie lepszy stosunek ceny do wydajności.
Kompromisy przy wyborze modelu i strategie świadome kosztów
Wybór modelu to kompromis między kosztem, opóźnieniem, dokładnością a wrażliwością na dane. Modele fundamentalne w Bedrock oferują zarządzane skalowanie, narzędzia bezpieczeństwa i szybką iterację, ale generują koszty za wywołanie lub za token, które mogą dominować przy dużej skali; modele open-source hostowane na SageMaker lub EC2 mogą zmniejszyć koszt pojedynczego wnioskowania, jeśli zamortyzujesz koszty hostingu i operacyjne. Dobrze sprawdzają się architektury hybrydowe: uruchom mały, tani model dla większości zapytań i eskaluj do większego modelu w przypadku złożonych zapytań, lub użyj architektury RAG (retrieval-augmented generation), gdzie obszerny kontekst jest dostarczany przez bazę wektorową (OpenSearch, baza wektorowa oparta na Amazon QLDB lub rozwiązanie firm trzecich), a do LLM wysyłane są tylko zwięzłe prompty. Decyzje dotyczące dostrajania powinny uwzględniać metody oszczędne pod względem parametrów (LoRA, adaptery) oraz pary prompt-uzupełnienie w formacie JSONL dla zadań text-to-text, aby ograniczyć zużycie zbioru danych i mocy obliczeniowej. Typowe pułapki to niepotrzebne dostrajanie zbyt dużych modeli zamiast stosowania inżynierii promptów (prompt engineering), pomijanie inflacji długości promptów w tokenach oraz brak buforowania (caching) lub deduplikacji odpowiedzi dla często powtarzających się zapytań.
Przechowywanie, lokalizacja danych, ład i obserwowalność w celu kontroli kosztów
Wybór pamięci masowej wpływa zarówno na miesięczne koszty, jak i na zgodność z przepisami. Używaj S3 z politykami cyklu życia, Intelligent-Tiering i skompresowanymi formatami (Parquet/TFRecord) dla zbiorów danych; przechowuj aktywne dane treningowe w warstwach o wysokiej przepustowości, a surowe zasoby archiwizuj w Glacier. W przypadku PII i rezydencji danych, przechowuj zasobniki S3, klucze KMS i zasoby obliczeniowe w wymaganym regionie AWS oraz kontroluj dostęp za pomocą punktów końcowych VPC, polityk IAM i prywatnej sieci, aby zapobiec przypadkowemu ruchowi wychodzącemu poza region. Potoki pobierania dla RAG powinny współlokować wektorowe bazy danych (Amazon OpenSearch Service lub magazyn embeddingów na EC2/EBS) z warstwą wnioskowania, aby uniknąć kosztów transferu i opóźnień. Narzędzia do obserwowalności i wyjaśnialności, takie jak SageMaker Clarify, Debugger i Model Monitor, zapewniają ład i wczesne wykrywanie dryftu, ale generują dodatkowe koszty — wdrażaj monitory oparte na próbkowaniu, aby kontrolować wydatki. Minimalizuj ślad środowiskowy i rachunki, wybierając wydajne chipy (Inferentia/Trainium) i przetwarzanie wsadowe; częstym błędem jest włączanie pełnego logowania i ciągłego monitorowania modelu bez progów próbkowania, co zwiększa zarówno koszty, jak i szum, zapewniając niewielką wartość dodaną.
Problem praktyczny: Scenariusz użycia
Scenariusz: Firma Acme Retail używa stosu AI na AWS, wykorzystując Amazon Bedrock do dostępu do LLM, Amazon SageMaker do trenowania/hostowania modeli, S3 do przechowywania danych i Amazon OpenSearch do indeksowania produktów. Muszą generować tysiące opisów produktów o długości akapitu dziennie, z zachowaniem spójnego głosu marki, ścisłymi wymaganiami dotyczącymi PII w regionie i napiętym budżetem.
Wyzwanie: Dostarczanie wysokiej jakości, markowych opisów na dużą skalę, przy jednoczesnej minimalizacji kosztu za opis i zapewnieniu, że dane klientów nigdy nie opuszczą wyznaczonego regionu AWS.
Zalecane podejście:
- Użyj dwupoziomowego potoku wnioskowania: najpierw kieruj wszystkie żądania do lekkiego, lokalnie hostowanego modelu na SageMaker lub EC2 (skwantyzowanego), aby obsługiwać popularne jednostki SKU i proste opisy; eskaluj złożone przypadki lub te o niskim poziomie pewności do modelu fundamentalnego w Bedrock.
- Przechowuj embeddingi i indeksy wyszukiwania w Amazon OpenSearch w regionie; używaj zwięzłego, pobranego kontekstu, aby utrzymać niskie zużycie tokenów przez Bedrock i buforuj popularne odpowiedzi w ElastiCache.
- Dostrój mały, wyspecjalizowany model przy użyciu metod efektywnych pod względem parametrów (LoRA) na SageMaker Managed Spot Training z punktami kontrolnymi do S3, ograniczając pełne ponowne trenowanie modelu do rzadkości.
- Wymuś kontrole granic regionu: zasobniki S3 i klucze KMS w regionie, punkty końcowe VPC dla Bedrock/SageMaker oraz oparte na próbkowaniu Model Monitor + Clarify, aby ograniczyć koszty monitorowania.
Uzasadnienie: Połączenie taniego modelu bazowego z selektywną eskalacją minimalizuje koszty tokenów i instancji na opis, podczas gdy RAG i buforowanie redukują liczbę wywołań Bedrock. Managed Spot Training i dostrajanie efektywne pod względem parametrów obniżają koszty treningu i narzut na przechowywanie, a kontrole wewnątrzregionalne spełniają wymagania dotyczące PII i zgodności.
← MLOps i wdrażanie · Wszystkie domeny
Przećwicz te pytania → · Testy na czas na ExamRoll.io →
Pass the whole exam — not just this question
You found this answer. Get every verified question and explanation in one place, and save hours of prep. Free to start.
Zdaj egzamin →