ShopRight heeft een latency-gevoelig productaanbevelingseindpunt dat feature-vectoren binnen enkele milliseconden moet ophalen voor elke inkomende inferentieaanvraag. De features zijn klant-sessieattributen die frequent veranderen. Welke setup biedt het meest betrouwbare retrievalpatroon met lage latency voor real-time inferentie, terwijl het binnen beheerde SageMaker-services blijft?

De correcte optie beschrijft het optimale patroon voor het ophalen van latency-gevoelige, snel veranderende features in real-time inferentie met SageMaker Feature Store. Het inschakelen van de online store en het gebruiken van GetRecord via de Feature Store Runtime API biedt lage latency toegang tot de meest recente feature-waarden. Essentieel is dat de IAM-rol van het model de benodigde FeatureStoreRuntime:GetRecord-permissie heeft en de feature groups zich in dezelfde regio bevinden voor optimale prestaties en beveiliging. De andere opties zijn minder geschikt: Het gebruik van Athena-query's op S3 voor elke inferentieaanvraag is te traag voor milliseconden-latency. Caching in de container is niet voldoende voor snel veranderende features. Het exporteren naar DynamoDB via een Processing job en het vervolgens query'en is een omweg die de voordelen van de geïntegreerde online store van Feature Store omzeilt en extra beheer overhead creëert. Asynchrone batch-inferentie is niet geschikt voor real-time, latency-gevoelige aanbevelingen die afhankelijk zijn van snel veranderende sessieattributen.