Ручные сканеры начали отправлять PII в топики Kafka; вам необходимо быстро остановить попадание PII в аналитику, используя масштабируемые управляемые облачные сервисы. Какое решение вы реализуете?

Правильный ответ — создание Cloud Function, которая считывает топики Kafka и вызывает Cloud Data Loss Prevention (Cloud DLP) API. Это решение позволяет в реальном времени сканировать потоковые данные на наличие PII до их попадания в аналитические системы. Cloud DLP — это управляемый сервис, который масштабируется автоматически и эффективно обнаруживает конфиденциальные данные с помощью тегирования и уровней достоверности. Обнаруженные PII можно либо удалить, либо поместить в карантин для дальнейшей проверки, что обеспечивает быструю остановку распространения PII. Остальные варианты менее эффективны: Создание авторизованного представления в BigQuery ограничивает доступ, но не предотвращает попадание PII в хранилище. Установка стороннего инструмента на VM требует ручного управления и масштабирования, что противоречит требованию использования управляемых облачных сервисов. Использование Cloud Logging для анализа данных после их прохождения по конвейеру не предотвращает попадание PII в аналитику, а лишь выявляет уже произошедшие инциденты.