Sie benötigen eine kostengünstige Analyseumgebung, damit Datenwissenschaftler ORC-Dateien mit Hive-ähnlicher Partitionierung mithilfe von SQL abfragen können, ohne das lokale Hive zu beeinträchtigen. Was sollten Sie tun?

Die korrekte Antwort ist, die ORC-Dateien in Cloud Storage zu kopieren und dann externe BigQuery-Tabellen zu erstellen. Dies ermöglicht Datenwissenschaftlern, ORC-Dateien direkt mit SQL abzufragen, ohne die Daten zu importieren, was kosteneffizient ist und keine Beeinträchtigung eines lokalen Hive-Setups verursacht. BigQuery kann externe Tabellen auf Daten in Cloud Storage erstellen, die im ORC-Format vorliegen und Hive-ähnliche Partitionierung nutzen. Das Importieren in Bigtable ist falsch, da Bigtable ein NoSQL-Datenbankdienst ist, der für Schlüssel-Wert-Speicher optimiert ist und nicht für SQL-Abfragen von ORC-Dateien mit Hive-Partitionierung geeignet ist. Das Importieren in BigQuery-Tabellen ist zwar möglich, aber nicht die kostengünstigste Lösung, da es das Laden der Daten in den BigQuery-Speicher erfordert. Das Bereitstellen eines Dataproc-Clusters ist ebenfalls eine Option, aber teurer und komplexer in der Verwaltung als die Nutzung externer BigQuery-Tabellen, da Dataproc laufende Cluster-Ressourcen erfordert.