Компании необходимо сгенерировать синтетические ответы для множества запросов из большого набора данных с использованием API. Ответы не обязательно должны быть немедленными. Какой подход требует наименьших усилий по разработке?

Amazon Bedrock batch inference (пакетный вывод) — это наиболее эффективное решение, поскольку оно разработано специально для асинхронной обработки больших объемов данных с минимальными усилиями по разработке. Оно позволяет отправлять множество запросов одновременно и получать ответы, когда они будут готовы, что идеально подходит для сценариев, где не требуется немедленный ответ. Вывод в реальном времени (real-time inference) требует постоянного подключения и неоптимален для больших наборов данных, если скорость ответа не является критичной. Amazon Bedrock agents (агенты) предназначены для выполнения сложных многошаговых задач и диалоговых систем, что является избыточным для простой генерации ответов. Использование AWS Lambda для обработки каждого запроса по отдельности приведет к значительно большим усилиям по разработке и управлению, а также потенциально к более высоким затратам при обработке большого набора данных.