Een bedrijf moet synthetische antwoorden genereren voor veel prompts uit een grote dataset met behulp van een API. Antwoorden hoeven niet onmiddellijk te zijn. Welke aanpak vereist de minste ontwikkelingsinspanning?

De correcte optie is om Amazon Bedrock batch inference te gebruiken voor het asynchroon genereren van antwoorden. Dit is de meest efficiënte en minst arbeidsintensieve aanpak voor het verwerken van een grote dataset met prompts wanneer onmiddellijke antwoorden niet vereist zijn. Batch inference is specifiek ontworpen voor dit soort scenario's, waarbij grote hoeveelheden gegevens in één keer worden verwerkt, wat de ontwikkelingscomplexiteit en operationele kosten minimaliseert. Het versturen van prompts voor real-time inference is minder geschikt omdat het ontworpen is voor lage latentie en interactieve toepassingen, wat niet nodig is en inefficiënt kan zijn voor een grote dataset. Het implementeren van Amazon Bedrock agents en een recursief agentsysteem is een veel complexere oplossing die overbodig is voor het simpelweg genereren van antwoorden op prompts. AWS Lambda gebruiken om prompts één voor één te verzenden, hoewel mogelijk, vereist meer ontwikkelingsinspanning voor het beheer van de wachtrij, foutafhandeling en schaling vergeleken met de ingebouwde functionaliteit van batch inference.