Entwerfen Sie eine hochverfügbare, ausfallsichere Data-Lake-Pipeline für Millionen von IoT-Sensoren, die strukturierte und unstrukturierte Daten streamen. Was sollten Sie tun?

Die korrekte Option nutzt Pub/Sub für den hochverfügbaren und skalierbaren Ingest von Streaming-Daten von Millionen von IoT-Sensoren. Dataflow ist ein vollständig verwalteter Dienst für die Verarbeitung von Streaming- und Batch-Daten, der sich ideal für die Transformation und das Laden der Daten in einen Data Lake eignet. Cloud Storage bietet eine kostengünstige, hochverfügbare und skalierbare Speicherlösung für strukturierte und unstrukturierte Daten, die für einen Data Lake erforderlich sind. Die anderen Optionen sind weniger geeignet: Storage Transfer Service ist für den Transfer großer Datenmengen zwischen Speicherorten konzipiert, nicht für das Streaming von IoT-Daten an BigQuery. Daten direkt an Dataflow zu streamen ist nicht die primäre Ingest-Methode für IoT-Sensoren; Pub/Sub ist dafür besser geeignet. Dataprep by Trifacta ist ein Tool zur Datenvorbereitung und -bereinigung, nicht der primäre Dienst für das Streaming oder den Ingest von IoT-Daten. Bigtable ist eine NoSQL-Datenbank, die für bestimmte Anwendungsfälle geeignet ist, aber Cloud Storage ist die flexiblere und kostengünstigere Option für einen Data Lake.