Bigtable хранит данные о заказах клиентов с политикой GC delete after 30 days и max versions=1, но аналитики иногда видят данные старше 30 дней. Минимизируйте затраты/накладные расходы и не позволяйте читателям видеть данные старше 30 дней. Что вы должны сделать?

Правильный ответ — использование фильтра диапазона временных меток в запросе. Несмотря на политику GC (сборки мусора) в Bigtable, данные могут быть видны до тех пор, пока фоновый процесс GC не удалит их, что может занять некоторое время. Применение фильтра по временной метке в запросе гарантирует, что пользователи не увидят данные старше 30 дней, независимо от состояния GC. Это минимизирует затраты и накладные расходы, так как не требует дополнительных операций записи или изменения схемы. Установка expiring values на 29 дней или 30 дней с 2 версиями не решает проблему немедленного сокрытия данных, так как GC все равно работает асинхронно. Ежедневное планирование задания для сканирования и удаления данных — это дорогостоящее и избыточное решение, которое увеличивает накладные расходы и не гарантирует мгновенного сокрытия данных.