Ein Dataproc Spark-Job mit vielen Shuffles liest Parquet-Dateien von jeweils ca. 200–400 MB und läuft auf präemptiblen Workern mit nur zwei nicht-präemptiblen Knoten. Welche Änderung sollten Sie vornehmen, um die Leistung kostengünstig zu verbessern?
Wählen Sie eine Antwort
Tippen Sie auf eine Option, um Ihre Antwort zu überprüfen.
Richtige Antwort: Wechseln Sie von HDDs zu SSDs, überschreiben Sie die Konfiguration der präemptiblen VMs, um die Boot-Disk-Größe zu erhöhen..
Warum dies die Antwort ist
Die Umstellung von HDDs auf SSDs verbessert die E/A-Leistung erheblich, was bei Spark-Jobs mit vielen Shuffles und großen Datenmengen entscheidend ist. Das Erhöhen der Boot-Disk-Größe auf den präemptiblen VMs bietet mehr Speicherplatz für temporäre Shuffle-Daten und verhindert Engpässe durch volle Festplatten. Diese Kombination ist kostengünstig, da präemptible VMs günstiger sind als reguläre VMs. Das Erhöhen der Parquet-Dateigröße (Option 1) würde die Anzahl der Dateien reduzieren, aber nicht direkt die E/A-Geschwindigkeit verbessern. Das Wechseln zu TFRecords (Option 2) ist für Spark-Jobs nicht unbedingt vorteilhafter als Parquet und würde einen Datenkonvertierungsschritt erfordern. Das Kopieren von Daten nach HDFS (Option 3) ist ein unnötiger Mehraufwand, da Spark direkt mit GCS arbeiten kann.
Bestehen Sie Ihre Prüfung – ohne endlose Antwortsuche
Erhalten Sie jede verifizierte Frage und Erklärung für diese Prüfung an einem Ort und sparen Sie Stunden der Vorbereitung. Über 1.000 Zertifizierungen · Über 20 Sprachen · Kostenloser Start.
Bestehen Sie Ihre Prüfung schneller → Keine Karte erforderlich