한 회사가 API를 사용하여 대규모 데이터 세트에서 많은 프롬프트에 대한 합성 응답을 생성해야 합니다. 응답은 즉각적일 필요는 없습니다. 어떤 접근 방식이 개발 노력이 가장 적게 필요할까요?

정답은 Amazon Bedrock 배치 추론을 사용하여 비동기적으로 응답을 생성하는 것입니다. 회사는 대규모 데이터 세트에서 많은 프롬프트에 대한 합성 응답을 생성해야 하며, 응답이 즉각적일 필요는 없습니다. Amazon Bedrock 배치 추론은 이러한 비동기적이고 대규모 작업에 최적화되어 있어 개발 노력을 최소화하면서 효율적으로 처리할 수 있습니다. 프롬프트를 모델로 보내고 실시간 추론을 통해 응답을 받는 것은 즉각적인 응답이 필요할 때 적합하지만, 대규모 데이터 세트 처리에는 비효율적입니다. Amazon Bedrock 에이전트를 구현하는 것은 복잡한 다단계 작업을 자동화하는 데 유용하지만, 단순히 대규모 프롬프트에 대한 응답을 생성하는 데는 과도한 솔루션입니다. AWS Lambda를 사용하여 프롬프트를 한 번에 하나씩 보내는 것은 대규모 작업에 대한 오버헤드가 크고, 배치 추론보다 개발 및 관리 노력이 더 많이 필요할 수 있습니다.