Migracja klastra Spark/Hive/HDFS on-prem o zmiennym, szczytowym rozmiarze do chmury w ciągu 2 miesięcy, redukcja operacji i umożliwienie późniejszej modernizacji serverless. Które podejście do migracji równoważy szybkość i oszczędności kosztów?

Prawidłowa odpowiedź to migracja obciążeń do Dataproc z wykorzystaniem Cloud Storage zamiast HDFS, z późniejszą modernizacją. Dataproc to zarządzana usługa Spark/Hadoop, która znacznie redukuje obciążenie operacyjne i jest idealna dla zmiennych obciążeń. Zastąpienie HDFS przez Cloud Storage zapewnia skalowalność, trwałość i oddzielenie pamięci masowej od obliczeń, co jest kluczowe dla efektywności kosztowej i elastyczności w chmurze. Pozwala to na szybką migrację (2 miesiące) i przygotowuje grunt pod przyszłą modernizację serverless. Inne opcje są mniej optymalne: Zachowanie HDFS na Dataproc zwiększa złożoność operacyjną i koszty, nie wykorzystując w pełni zalet chmury. Modernizacja Hive do BigQuery na tym etapie jest zbyt ambitna dla dwumiesięcznego terminu i nie rozwiązuje problemu Sparka. Natychmiastowa modernizacja Spark do Dataflow i Hive do BigQuery jest zbyt złożona i czasochłonna, aby zmieścić się w dwumiesięcznym terminie, narażając projekt na ryzyko.