Migrujesz lokalny klaster Hadoop do zarządzanego, odpornego na błędy i ekonomicznego rozwiązania chmurowego dla długo działających zadań wsadowych. Co powinieneś wdrożyć?

Dataproc to zarządzana usługa Hadoop/Spark, która jest odporna na błędy i ekonomiczna, idealna dla długo działających zadań wsadowych. Użycie standardowych dysków trwałych jest kosztowo efektywne, a 50% prewencyjnych workerów dodatkowo obniża koszty, zachowując odporność na błędy (Dataproc automatycznie zarządza prewencyjnymi instancjami). Przechowywanie danych w Cloud Storage oddziela pamięć masową od obliczeń, co zwiększa elastyczność i obniża koszty, a aktualizacja ścieżek z hdfs:// na gs:// jest konieczna do integracji. Opcja z dyskami SSD jest droższa i zbędna dla zadań wsadowych. Instalowanie Hadoop/Spark na Compute Engine wymaga ręcznego zarządzania, a użycie wyłącznie prewencyjnych instancji Compute Engine jest zbyt ryzykowne dla długo działających zadań.