Un pipeline de ML en producción en Amazon SageMaker procesa entradas de hasta 1 GB y trabajos que pueden ejecutarse hasta por una hora, pero la aplicación requiere respuestas casi en tiempo real. ¿Qué opción de inferencia de SageMaker es la más apropiada?

La inferencia asíncrona es la más apropiada porque está diseñada para cargas de trabajo de inferencia con payloads grandes (hasta 1 GB) y tiempos de procesamiento prolongados (hasta una hora), mientras sigue ofreciendo respuestas casi en tiempo real. Permite que la aplicación envíe la solicitud y reciba una respuesta una vez que la inferencia se haya completado, sin mantener una conexión abierta durante todo el proceso. La inferencia en tiempo real no es adecuada debido al tamaño del payload y al tiempo de ejecución, ya que está optimizada para solicitudes de baja latencia y payloads pequeños. La inferencia sin servidor tiene límites de payload y tiempo de ejecución más estrictos que la asíncrona. La transformación por lotes es para procesar grandes conjuntos de datos de una sola vez, no para respuestas casi en tiempo real.