Транспортные средства будут отправлять файлы по ненадежным сотовым каналам; текущий FTP перезапускает передачу при сбое. Что следует сделать для повышения надежности и минимизации времени передачи для приема ETL?

Наиболее эффективным решением является прямая загрузка файлов в региональные бакеты Cloud Storage через Google APIs по HTTPS. Это обеспечивает надежность передачи данных по ненадежным каналам, поскольку HTTPS поддерживает возобновление загрузки и шифрование. Использование региональных бакетов минимизирует задержки для транспортных средств, находящихся в разных географических точках, так как они будут загружать данные в ближайший бакет. После загрузки ETL-процесс может извлекать данные из каждого регионального бакета, обеспечивая их своевременную обработку. Другие варианты менее оптимальны: Использование FTP-серверов (даже на GKE) не решает проблему ненадежности канала и необходимости перезапуска передачи при сбое, что увеличивает время передачи. Multi-Regional Cloud Storage не обеспечивает такой же низкой задержки для загрузки, как Regional Cloud Storage, для устройств, находящихся в разных точках мира, хотя и повышает доступность данных после загрузки.