Firma chce utworzyć repozytorium danych w chmurze dla ML przy użyciu Amazon S3. Wszystkie dane (około 40 TB) znajdują się lokalnie. Potrzebują rozwiązania do transferu i ciągłej synchronizacji danych między lokalną pamięcią obiektową a S3, które obsługuje szyfrowanie, harmonogramowanie, monitorowanie i sprawdzanie integralności danych. Które rozwiązanie spełnia te wymagania?

AWS DataSync to usługa zaprojektowana do szybkiego, bezpiecznego i zautomatyzowanego transferu dużych ilości danych między lokalnymi systemami pamięci masowej a usługami AWS, takimi jak S3. Obsługuje początkową pełną replikację danych (40 TB) oraz późniejsze, przyrostowe transfery zmienionych danych, co jest kluczowe dla ciągłej synchronizacji. DataSync zapewnia szyfrowanie danych w tranzycie i spoczynku, harmonogramowanie zadań, monitorowanie postępu transferu oraz automatyczne sprawdzanie integralności danych. Inne opcje są mniej odpowiednie: AWS CLI s3 sync jest dobrym narzędziem do mniejszych transferów, ale dla 40 TB danych i ciągłej synchronizacji z zaawansowanymi funkcjami (harmonogramowanie, monitorowanie, integralność) DataSync jest bardziej wydajne i niezawodne. AWS Transfer for FTPS jest przeznaczony do transferu plików za pomocą protokołów FTP/FTPS/SFTP, a nie do synchronizacji dużych repozytoriów danych z automatycznym harmonogramowaniem i sprawdzaniem integralności w kontekście ML. S3 Batch Operations służy do wykonywania operacji na obiektach już znajdujących się w S3, a nie do pobierania danych z lokalnej pamięci masowej.