Ein festplatten-I/O-intensiver Hadoop-Job läuft auf Dataproc mit Cloud Storage für Zwischenergebnisse viel langsamer als auf Bare-Metal-HDFS vor Ort. Wie beheben Sie dies, während Sie Speicher und Rechenleistung trennen?

Die Bereitstellung von mehr Persistent Disk und die Speicherung von Zwischenergebnissen auf nativem HDFS ist die effektivste Lösung. Cloud Storage ist für seine Skalierbarkeit und Kosteneffizienz bekannt, aber für I/O-intensive Zwischenergebnisse in Hadoop-Jobs kann seine Latenz im Vergleich zu lokalem HDFS zu erheblichen Leistungseinbußen führen. Durch die Nutzung von Persistent Disk als nativem HDFS-Speicher werden die Zwischenergebnisse lokal auf den VM-Instanzen gehalten, was die Latenz reduziert und den Durchsatz für die I/O-Operationen des Jobs verbessert. Mehr Arbeitsspeicher würde nicht direkt die Festplatten-I/O-Probleme lösen, da Zwischenergebnisse in der Regel größer als der verfügbare RAM sind und auf die Festplatte geschrieben werden müssen. Eine Erhöhung der VM-CPU-Kerne skaliert zwar die Netzwerkbandbreite, löst aber nicht das grundlegende Problem der Latenz beim Zugriff auf Cloud Storage für I/O-intensive Zwischenergebnisse. Das Hinzufügen zusätzlicher NICs und die Verwendung von OS-Link-Aggregation würde den Durchsatz zu Cloud Storage verbessern, aber die inhärente Latenz von Cloud Storage für häufige, kleine I/O-Operationen, wie sie bei Hadoop-Zwischenergebnissen auftreten, bleibt bestehen.