EdgeAI sviluppa un modello di visione artificiale che deve essere distribuito su una flotta di dispositivi edge eterogenei (Raspberry Pi 3, NVIDIA Jetson TX2 e gateway Linux arm64). L'obiettivo è massimizzare la velocità di inferenza e ridurre l'ingombro della memoria. Quale affermazione sull'utilizzo della compilazione SageMaker Neo è più accurata per questo scenario?

Questa opzione è corretta perché SageMaker Neo è progettato per ottimizzare i modelli ML per l'inferenza su una vasta gamma di dispositivi edge eterogenei. Compilare il modello separatamente per ogni piattaforma (Raspberry Pi 3, NVIDIA Jetson TX2 e gateway Linux arm64) consente a Neo di applicare ottimizzazioni specifiche per l'hardware, come la riduzione della dimensione del modello tramite quantizzazione e ottimizzazioni del grafo, massimizzando la velocità di inferenza e riducendo l'ingombro della memoria su ciascun dispositivo. Le altre opzioni sono errate perché: Neo non produce un singolo binario universale ottimale per tutti i dispositivi; richiede la compilazione per target specifici per ottenere le massime prestazioni. Neo supporta la compilazione per dispositivi edge come Jetson e Raspberry Pi, non solo per istanze Inferentia o GPU in AWS. Neo supporta la compilazione di modelli da vari framework, inclusi TensorFlow e PyTorch, offrendo miglioramenti delle prestazioni per entrambi.