Разработайте систему приема данных для 20 миллионов автомобилей, каждый из которых генерирует записи размером 600 байт в секунду (~40 ТБ/час). Как автомобили должны отправлять данные в GCP?

Публикация данных непосредственно в Google Cloud Pub/Sub является лучшим решением. Pub/Sub — это полностью управляемый сервис обмена сообщениями, который обеспечивает асинхронную и масштабируемую передачу данных. Он идеально подходит для сценариев с высоким объемом входящих данных, таких как телеметрия от 20 миллионов автомобилей, генерирующих 40 ТБ/час. Pub/Sub может обрабатывать миллионы сообщений в секунду, гарантируя надежную доставку данных. Запись данных непосредственно в Google Cloud Storage неэффективна для потоковых данных такого объема и частоты, так как каждый автомобиль будет создавать множество мелких файлов, что приведет к проблемам с производительностью и управлением. Передача данных непосредственно в Google BigQuery из автомобилей также не подходит, поскольку BigQuery предназначен для аналитики, а не для прямого приема потоковых данных с устройств. Существующая система на основе FTP не масштабируется для таких объемов и не обеспечивает необходимую надежность и производительность.