Вы генерируете 20 000 CSV-файлов в час (каждый <4 КБ) из локальной среды в GCP через канал 50 Мбит/с с задержкой 200 мс, используя SFTP VM. Объем может удваиваться в зависимости от сезона. Какие два действия следует предпринять? (Выберите два.)

Проблема заключается в передаче большого количества очень маленьких файлов по каналу с высокой задержкой, что приводит к неэффективному использованию пропускной способности из-за накладных расходов на установление соединения для каждого файла. Перепроектирование процесса приема данных для использования gsutil для параллельной загрузки файлов в бакет Cloud Storage значительно повысит эффективность. gsutil оптимизирован для работы с Cloud Storage, поддерживает параллельные загрузки и автоматически управляет повторными попытками и фрагментацией, что снижает влияние задержки. Объединение ~1000 файлов в архивы TAR, передача TAR-файлов и их последующая распаковка в облаке также является эффективным решением. Это уменьшает количество отдельных операций передачи, минимизируя накладные расходы на установление соединения и эффективно используя доступную пропускную способность. Сжатие каждого файла не решит проблему накладных расходов на соединение для каждого файла. Увеличение пропускной способности канала до 100 Мбит/с является дорогостоящим и не устраняет неэффективность передачи множества мелких файлов. Использование S3-совместимой конечной точки и Storage Transfer Service может быть решением для больших объемов данных, но для 20 000 мелких файлов в час это может быть избыточно и не так эффективно, как оптимизация передачи самих файлов.