FinCorp runt een fraudedetectie-pipeline in AWS. Je hebt meerdere SageMaker Feature Groups aangemaakt met een ingeschakelde offline store om historische feature-waarden naar S3 te persisteren. Data scientists moeten trainingsdatasets genereren die transactierecords (CSV in S3 met een transaction_timestamp) koppelen aan de juiste historische feature-waarden op basis van elk transactietijdstip met behulp van SQL in Athena. Welke configuratie en stap zullen betrouwbaar performante, correcte joins op historische feature-tijdstempels mogelijk maken voor grote trainingsexports?

De correcte optie beschrijft de aanbevolen methode voor het genereren van trainingsdatasets met historische feature-waarden uit SageMaker Feature Groups. Door de offline store in te schakelen met DataCatalogConfig, wordt een Glue-tabel gecreëerd die verwijst naar de Parquet-bestanden in S3. Dit maakt efficiënte SQL-query's mogelijk via Athena. Het configureren van recordidentifiercolumn en eventtimefeaturename is cruciaal voor correcte joins op basis van de primaire sleutel en tijdstempel. De eventtime <= transactiontimestamp join-conditie zorgt ervoor dat alleen historische features worden gebruikt die vóór of op het tijdstip van de transactie beschikbaar waren, wat essentieel is voor fraudedetectie. Partitie-pruning verbetert de prestaties bij grote datasets. De andere opties zijn minder geschikt: Alleen de online store gebruiken en GetRecord-aanroepen uitvoeren voor elke rij is inefficiënt en duur voor grote datasets. SageMaker Batch Transform aanroepen om de online endpoint API te gebruiken is ook inefficiënt voor bulkdata-extractie en voegt complexiteit toe. Een Glue-crawler gebruiken zonder DataCatalogConfig in te stellen bij het aanmaken van de FeatureGroup is minder robuust en kan leiden tot inconsistenties of onjuiste schema-inferentie, vooral met betrekking tot tijdstempelpartities.