È necessario un ambiente di analisi conveniente in modo che i data scientist possano interrogare file ORC con partizionamento in stile Hive utilizzando SQL, senza influire su Hive on-prem. Cosa si dovrebbe fare?

L'opzione corretta è copiare i file ORC su Cloud Storage e creare tabelle BigQuery esterne. Questo approccio consente ai data scientist di interrogare i file ORC direttamente da Cloud Storage utilizzando SQL in BigQuery, che è un servizio di analisi serverless e conveniente. Non influisce sull'ambiente Hive on-premise e offre la flessibilità di BigQuery per l'analisi. Importare i file ORC nelle tabelle Bigtable non è adatto perché Bigtable è un database NoSQL per carichi di lavoro operativi e non è ottimizzato per query SQL analitiche su file ORC. Importare i file ORC nelle tabelle BigQuery interne richiederebbe il caricamento dei dati, il che potrebbe essere costoso e non necessario se i dati possono rimanere in Cloud Storage. Distribuire un cluster Dataproc per ogni team di data scientist sarebbe più costoso e richiederebbe più gestione rispetto all'utilizzo di tabelle esterne di BigQuery.