Zaprojektuj wysoce dostępny, odporny potok danych dla milionów czujników IoT przesyłających strumieniowo dane strukturalne i niestrukturalne. Co należy zrobić?

Poprawna odpowiedź zapewnia wysoką dostępność i odporność. Pub/Sub to skalowalna usługa przesyłania wiadomości, idealna do pozyskiwania danych z milionów czujników IoT, obsługująca zarówno dane strukturalne, jak i niestrukturalne. Dataflow to w pełni zarządzana usługa przetwarzania strumieniowego i wsadowego, która może przetwarzać te dane i przesyłać je do Cloud Storage, który jest wysoce dostępnym i trwałym magazynem obiektów, odpowiednim do przechowywania dużych ilości danych różnego typu. Pozostałe opcje są mniej odpowiednie: Użycie Storage Transfer Service do wysłania danych z Pub/Sub do BigQuery jest nieefektywne, ponieważ Storage Transfer Service służy głównie do transferu danych między systemami pamięci masowej, a nie do przetwarzania strumieniowego z Pub/Sub. Przesyłanie danych bezpośrednio do Dataflow nie jest typowym wzorcem pozyskiwania danych z IoT; Pub/Sub jest warstwą pośredniczącą, która zapewnia buforowanie i niezawodność. Dataprep by Trifacta jest narzędziem do przygotowywania danych, a nie do przesyłania ich do Bigtable w tym kontekście. Ponowne użycie Storage Transfer Service w połączeniu z Dataflow do wysyłania danych do BigQuery jest również nieoptymalne z tych samych powodów, co w drugiej opcji.