한 회사에 SageMaker Feature Store로 수집해야 하는 대규모 S3 데이터 세트(과거 및 스트리밍)가 있습니다. 온라인 스토어는 최신 데이터를 즉시 반영하고 오프라인 스토어는 전체 기록을 유지해야 합니다. 어떤 솔루션이 이러한 요구 사항을 충족할까요?

정답은 Feature Store Spark 커넥터를 사용하여 온라인 스토어와 오프라인 스토어를 활성화한 Spark DataFrame으로 데이터를 수집하는 것입니다. SageMaker Feature Store의 Spark 커넥터는 대규모 S3 데이터셋(과거 및 스트리밍)을 효율적으로 수집하는 데 최적화되어 있습니다. Spark DataFrame을 사용하면 대량의 데이터를 병렬로 처리하고 온라인 스토어와 오프라인 스토어 모두에 데이터를 동시에 기록할 수 있습니다. 온라인 스토어는 최신 데이터를 즉시 반영하고, 오프라인 스토어는 전체 기록을 유지하는 요구사항을 모두 충족합니다. PutRecord API는 개별 레코드를 실시간으로 수집하는 데 적합하지만, 대규모 S3 데이터셋 전체를 수집하는 데는 비효율적입니다. 또한, 온라인 스토어만 활성화하면 전체 기록을 유지해야 하는 오프라인 스토어의 요구사항을 충족할 수 없습니다.