Os veículos enviarão arquivos por links de celular não confiáveis; o FTP atual reinicia as transferências em caso de falha. Para melhorar a confiabilidade e minimizar o tempo de transferência para a ingestão de ETL, o que você deve fazer?

A opção correta é fazer upload direto para buckets Regionais do Cloud Storage via Google APIs sobre HTTPS e executar o ETL a partir desses buckets. O HTTPS oferece um protocolo de transporte mais confiável e resiliente do que o FTP para links instáveis, e as APIs do Cloud Storage suportam uploads resumíveis, o que é crucial para minimizar o tempo de transferência em caso de falhas. Usar buckets Regionais é mais econômico do que Multi-Regionais se a redundância geográfica não for a principal preocupação para a ingestão inicial, e o ETL pode processar os dados localmente. As outras opções são menos ideais: Executar um único cluster GKE com FTP e um bucket Multi-Regional ainda mantém a dependência do FTP, que é menos confiável. Múltiplos clusters GKE com FTP em diferentes regiões e buckets Multi-Regionais aumentam a complexidade e o custo sem resolver a fragilidade do FTP. Fazer upload direto para buckets Multi-Regionais via HTTPS é uma melhoria, mas os buckets Regionais são mais eficientes em termos de custo para este caso de uso específico de ingestão, onde a redundância imediata em várias regiões pode não ser necessária na primeira etapa.