Вам необходимо реализовать сервис токенизации с низкой задержкой, который обнаруживает дубликаты карт без хранения открытого текста и поддерживает ежегодную ротацию ключей. Какой подход к хранению следует использовать?

Детерминированное шифрование гарантирует, что один и тот же открытый текст всегда будет зашифрован в один и тот же шифротекст. Это позволяет обнаруживать дубликаты без необходимости дешифрования данных, что соответствует требованию не хранить открытый текст. Firestore (режим Datastore) — это масштабируемая, полностью управляемая база данных NoSQL, которая подходит для хранения токенизированных данных с низкой задержкой. Ежегодная ротация ключей легко реализуется путем повторного шифрования данных с новым ключом. Хранение в Secret Manager после выявления дубликатов не подходит, так как Secret Manager не предназначен для хранения больших объемов данных и не обеспечивает эффективного поиска дубликатов. Шифрование и шардирование в Memorystore неоптимально, так как Memorystore — это кеш в памяти, не предназначенный для постоянного хранения данных и не обеспечивающий надежного обнаружения дубликатов без сложной логики. Шифрование на уровне столбцов в Cloud SQL не позволяет эффективно обнаруживать дубликаты без дешифрования, так как каждый зашифрованный столбец будет уникален, даже если исходные данные одинаковы (если не используется детерминированное шифрование, которое не является стандартной функцией шифрования на уровне столбцов).