Вы вставляете 10 тысяч сообщений из социальных сетей в BigQuery в потоковом режиме каждую минуту и немедленно выполняете агрегации, но запросы пропускают строки, находящиеся в процессе обработки, из-за eventual consistency. Как следует скорректировать дизайн приложения?

BigQuery обеспечивает высокую доступность данных при потоковой вставке, но для запросов, выполняемых сразу после вставки, существует небольшая задержка, связанная с eventual consistency. Ожидание в два раза дольше средней задержки гарантирует, что все недавно вставленные данные будут доступны для запросов, предотвращая пропуск строк. Переписывание приложения для загрузки накопленных данных каждые 2 минуты или преобразование в пакетную загрузку увеличит задержку обработки данных. Загрузка в Cloud SQL и экспорт в BigQuery также добавит ненужную сложность и задержку.