Een bedrijf verplaatst een groot taalmodel (LLM) van on-premises training naar Amazon SageMaker voor gebruik in een live conversatiesysteem dat real-time creditcardvragen beantwoordt. Welke SageMaker-aanpak moet worden gebruikt om de LLM te trainen en te implementeren?

De juiste aanpak is om SageMaker Training Compiler te gebruiken om de training van het LLM te versnellen, wat cruciaal is voor grote modellen, en het getrainde model te implementeren met SageMaker real-time inference. Real-time inference is essentieel voor een live conversatiesysteem dat directe antwoorden op creditcardvragen vereist. De optie om deep learning containers for large model inference te gebruiken voor training is onjuist omdat deze containers primair zijn ontworpen voor inferentie, niet voor training. SageMaker Notebook Jobs voor training en Asynchronous Inference voor implementatie is ongeschikt omdat Asynchronous Inference bedoeld is voor taken die geen onmiddellijke reactie vereisen, wat niet het geval is voor een live conversatiesysteem. SageMaker Studio voor training en batch transform voor implementatie is ook incorrect, aangezien batch transform wordt gebruikt voor offline verwerking van grote datasets en niet voor real-time interacties.