Een ML-engineer gaat een Amazon EMR-cluster gebruiken voor grootschalige batchverwerking waarbij geen enkel dataverlies acceptabel is. Welke aankoopstrategie voor instances is het meest kosteneffectief en garandeert tegelijkertijd geen dataverlies?

De meest kosteneffectieve strategie zonder dataverlies is om de primaire en core nodes op On-Demand Instances te draaien en de task nodes op Spot Instances. On-Demand Instances bieden gegarandeerde capaciteit en zijn essentieel voor de primaire (master) node, die de clusterstatus beheert, en de core nodes, die data opslaan in HDFS. Het verlies van deze nodes kan leiden tot dataverlies of clusterfalen. Spot Instances zijn aanzienlijk goedkoper en geschikt voor task nodes, die alleen computationele taken uitvoeren. Als een Spot Instance wordt onderbroken, kan de taak opnieuw worden gepland op een andere task node zonder dataverlies, omdat de data veilig is opgeslagen op de core nodes. Het gebruik van Spot Instances voor alle nodes (optie 2) is risicovol vanwege mogelijke onderbrekingen en dataverlies. Het draaien van core nodes op Spot Instances (optie 3) is ook riskant vanwege de HDFS-data. Het draaien van alle nodes op On-Demand (optie 1) is het duurst en niet optimaal kosteneffectief.