Un pipeline Cloud Dataflow recevra des données de 50 000 installations. Pour permettre à Dataflow de faire évoluer la capacité de calcul selon les besoins, quelle configuration de pipeline devriez-vous modifier ?

La configuration du nombre maximal de workers (maxNumWorkers) est essentielle pour permettre à Dataflow d'ajuster dynamiquement la capacité de calcul en fonction de la charge de travail. En définissant une limite supérieure, vous autorisez Dataflow à provisionner davantage de workers lorsque le volume de données augmente, comme c'est le cas avec les données provenant de 50 000 installations, garantissant ainsi que le pipeline peut traiter efficacement toutes les données sans être surchargé. La zone (zone) affecte la latence et la disponibilité, mais pas la capacité de mise à l'échelle automatique. Le nombre de workers (numWorkers) définit le nombre initial de workers, mais ne permet pas une mise à l'échelle dynamique au-delà de ce nombre. La taille du disque par worker (diskSizeGb) influence la capacité de stockage et les performances I/O de chaque worker, mais pas le nombre total de workers qui peuvent être utilisés pour le traitement parallèle.