Ein ML-Ingenieur wird Amazon SageMaker Canvas verwenden, um ein Modell mit komplex strukturierten Daten zu trainieren, die in Amazon S3 gespeichert sind. Welches Dateiformat minimiert die Vorverarbeitungszeit für diese Daten?

Apache Parquet ist ein spaltenorientiertes Dateiformat, das für die effiziente Speicherung und Abfrage großer Datensätze optimiert ist. Für SageMaker Canvas und ähnliche ML-Workloads minimiert es die Vorverarbeitungszeit, da es nur die für das Training relevanten Spalten laden muss. Dies reduziert die I/O-Vorgänge und den Speicherverbrauch erheblich. CSV-Dateien (auch komprimiert) sind zeilenorientiert, was bedeutet, dass das System die gesamte Zeile lesen muss, selbst wenn nur wenige Spalten benötigt werden. Dies erhöht die Vorverarbeitungszeit. JSON-Objekte, insbesondere gzip-komprimiert oder im JSONL-Format, sind ebenfalls zeilenorientiert und können aufgrund ihrer Textnatur und der Notwendigkeit des Parsens weniger effizient sein als Parquet für analytische oder ML-Workloads mit komplexen strukturierten Daten.