Firma musi wygenerować syntetyczne odpowiedzi dla wielu promptów z dużego zbioru danych za pomocą API. Odpowiedzi nie muszą być natychmiastowe. Które podejście wymaga najmniejszego wysiłku rozwojowego?

Prawidłowa odpowiedź to użycie wnioskowania wsadowego Amazon Bedrock, ponieważ jest to rozwiązanie zaprojektowane specjalnie do asynchronicznego przetwarzania dużych zbiorów danych wejściowych (promptów) i generowania odpowiedzi. Wymaga to najmniejszego wysiłku rozwojowego, ponieważ Bedrock zarządza całą infrastrukturą i orkiestracją. Wnioskowanie w czasie rzeczywistym jest nieoptymalne, gdy odpowiedzi nie muszą być natychmiastowe, a przetwarzanie pojedynczych promptów byłoby nieefektywne i droższe. Implementacja agentów Amazon Bedrock jest znacznie bardziej złożona i przeznaczona do złożonych, wieloetapowych zadań, a nie prostego generowania odpowiedzi na dużą skalę. Użycie AWS Lambda do wysyłania promptów pojedynczo wymagałoby znacznego wysiłku w zakresie zarządzania stanem, obsługi błędów i skalowania, co jest mniej efektywne niż wbudowane wnioskowanie wsadowe.