Zaprojektuj system pozyskiwania danych dla 20 milionów pojazdów, z których każdy generuje rekordy o rozmiarze 600 bajtów na sekundę (~40 TB/godzinę). W jaki sposób pojazdy powinny wysyłać dane do GCP?

Pub/Sub to asynchroniczna usługa przesyłania wiadomości, która doskonale nadaje się do pozyskiwania danych o dużej objętości i zmiennej przepustowości, takich jak dane z 20 milionów pojazdów. Zapewnia wysoką skalowalność, niezawodność i niskie opóźnienia, co jest kluczowe dla tak dużego strumienia danych. Bezpośrednie zapisywanie danych do Google Cloud Storage byłoby nieefektywne ze względu na dużą liczbę małych plików i częste operacje zapisu, co mogłoby prowadzić do problemów z wydajnością i kosztami. Strumieniowanie danych bezpośrednio do BigQuery z pojazdów nie jest zalecane, ponieważ BigQuery jest bazą danych analitycznych, a nie systemem do pozyskiwania surowych danych w czasie rzeczywistym z urządzeń brzegowych. Kontynuowanie korzystania z FTP jest niepraktyczne ze względu na brak skalowalności, niezawodności i bezpieczeństwa wymaganego dla tak dużej skali danych IoT.