Ein ML-Ingenieur wird einen Amazon EMR-Cluster für die große Stapelverarbeitung verwenden, bei der kein Datenverlust akzeptabel ist. Welche Instanz-Kaufstrategie ist die kostengünstigste und gewährleistet gleichzeitig keinen Datenverlust?

Die korrekte Strategie ist, primäre und Core-Knoten auf On-Demand-Instanzen zu betreiben und Task-Knoten auf Spot-Instanzen. On-Demand-Instanzen bieten die notwendige Stabilität für den primären Knoten (der den Cluster verwaltet) und die Core-Knoten (die Daten speichern und verarbeiten), um Datenverlust zu vermeiden. Spot-Instanzen sind kostengünstiger und eignen sich gut für Task-Knoten, da diese hauptsächlich rechenintensive Aufgaben ohne persistenten Speicher ausführen. Fällt ein Spot-Task-Knoten aus, können seine Aufgaben von anderen Task-Knoten übernommen oder neu gestartet werden, ohne den gesamten Batch-Job oder gespeicherte Daten zu gefährden. Die anderen Optionen sind entweder zu teuer (alles On-Demand) oder bergen ein zu hohes Risiko für Datenverlust (Core-Knoten auf Spot-Instanzen).