FinInsights heeft een JumpStart foundation model-endpoint geïmplementeerd voor het genereren van financiële tekst met lage latentie op een ml.g5.xlarge-instantie. Na een succesvolle pilot hebben ze 3x hogere duurzame doorvoer nodig met vergelijkbaar latentiegedrag. Wat is de meest directe, ondersteunde wijziging aan het SageMaker JumpStart-endpoint om aan deze vereiste te voldoen?

De meest directe en ondersteunde methode om de duurzame doorvoer van een SageMaker JumpStart-endpoint te verhogen met vergelijkbare latentie, is door de onderliggende infrastructuur te schalen. Dit kan door een groter GPU-instantietype te kiezen (bijvoorbeeld van ml.g5.xlarge naar ml.g5.12xlarge) om de verwerkingscapaciteit per instantie te vergroten, of door het aantal instanties achter het endpoint te verhogen en autoscaling in te schakelen. Autoscaling zorgt ervoor dat het endpoint automatisch schaalt op basis van de vraag, wat een hogere doorvoer garandeert wanneer nodig. Het model moet opnieuw worden geïmplementeerd met de bijgewerkte endpointconfiguratie. Het maken van een HyperParameterTuningJob is gericht op modeloptimalisatie, niet op endpoint-doorvoer. Elastic Inference-accelerators zijn bedoeld voor het versnellen van inferentie op CPU-gebaseerde instanties of voor het toevoegen van GPU-capaciteit aan kleinere instanties, niet voor het verdrievoudigen van de doorvoer op een bestaande GPU-instantie. SageMaker Serverless Inference is ontworpen voor variabele workloads en kan de latentie verhogen bij hoge doorvoervereisten, en is mogelijk niet geschikt voor lage-latentievereisten.