Inżynier ML będzie używał klastra Amazon EMR do przetwarzania dużych partii danych, gdzie jakakolwiek utrata danych jest niedopuszczalna. Jaka strategia zakupu instancji jest najbardziej opłacalna, jednocześnie zapewniając brak utraty danych?

Poprawna odpowiedź to uruchomienie węzła podstawowego i węzłów rdzeniowych na instancjach On-Demand, a węzłów zadań na instancjach Spot. Instancje On-Demand zapewniają stabilność i gwarantują dostępność, co jest kluczowe dla węzła podstawowego (master node), który zarządza klastrem, oraz węzłów rdzeniowych (core nodes), które przechowują dane w HDFS i wykonują zadania. Utrata tych instancji mogłaby prowadzić do utraty danych lub awarii klastra. Instancje Spot są znacznie tańsze, ale mogą zostać przerwane. Węzły zadań (task nodes) nie przechowują trwałych danych i wykonują tylko obliczenia, więc ich przerwanie nie prowadzi do utraty danych i zadanie może zostać wznowione na innej instancji Spot. Pozostałe opcje są mniej optymalne: Użycie wyłącznie instancji On-Demand jest drogie i nie wykorzystuje możliwości oszczędności. Użycie wyłącznie instancji Spot jest ryzykowne dla węzłów podstawowych i rdzeniowych, prowadząc do potencjalnej utraty danych. Uruchomienie węzła podstawowego na instancji On-Demand, a węzłów rdzeniowych i zadań na instancjach Spot, naraża węzły rdzeniowe na przerwanie, co może skutkować utratą danych.