У вас есть AVRO-файл размером 5 ТБ в Cloud Storage. Аналитики знают только SQL и им нужен доступ как можно скорее и с минимальными затратами. Что следует предпринять?

Правильный ответ — создание внешних таблиц BigQuery, ссылающихся на AVRO-файл в Cloud Storage. BigQuery позволяет напрямую запрашивать данные из Cloud Storage в форматах, таких как AVRO, без необходимости их загрузки в BigQuery. Это обеспечивает быстрый доступ к данным с минимальными затратами, поскольку вы платите только за запросы и хранение в Cloud Storage, а не за хранение данных в BigQuery. Аналитики могут использовать стандартный SQL. Загрузка данных в Cloud Datastore не подходит, так как Datastore — это NoSQL база данных, не предназначенная для SQL-запросов к большим аналитическим наборам данных. Загрузка данных в BigQuery с последующим удалением таблицы не является оптимальным решением, так как это требует времени на загрузку и дополнительные затраты на хранение в BigQuery, даже если данные будут удалены. Создание кластера Hadoop — это дорогостоящее и сложное решение, требующее значительных усилий по настройке и управлению, что противоречит требованию минимальных затрат и быстрого доступа.