EdgeAI erstellt ein Computer-Vision-Modell, das auf einer Flotte heterogener Edge-Geräte (Raspberry Pi 3, NVIDIA Jetson TX2 und arm64 Linux-Gateways) bereitgestellt werden muss. Sie möchten den Inferenz-Durchsatz maximieren und den Speicherbedarf reduzieren. Welche Aussage zur Verwendung der SageMaker Neo-Kompilierung ist für dieses Szenario am zutreffendsten?

Die korrekte Antwort beschreibt präzise die Funktionsweise von SageMaker Neo für Edge-Geräte. Neo optimiert Modelle für spezifische Hardware-Architekturen und Betriebssysteme, indem es Graph-Optimierungen und optional Quantisierung anwendet. Dies führt zu plattformspezifischen Artefakten, die einen deutlich höheren Inferenz-Durchsatz und geringeren Speicherverbrauch auf den jeweiligen Zielgeräten ermöglichen. Da die Geräte heterogen sind (Raspberry Pi 3, NVIDIA Jetson TX2, arm64 Linux-Gateways), ist eine separate Kompilierung für jede Zielplattform erforderlich, um die maximale Leistung zu erzielen. Die zweite Option ist falsch, da Neo keine universellen Binärprogramme erstellt, die auf allen heterogenen Gerätetypen optimal laufen. Die dritte Option ist falsch, da Neo explizit für eine Vielzahl von Edge-Geräten und nicht nur für Inferentia/GPU-Instanzen konzipiert ist. Die vierte Option ist ebenfalls falsch, da Neo eine breite Palette von Frameworks unterstützt, einschließlich PyTorch, und Leistungsverbesserungen unabhängig vom Trainings-Framework erzielt.