Voxel Media hostet einen Data Lake mit Milliarden kleiner Objekte in Amazon S3 unter Verwendung von SSE-KMS mit einem kundenverwalteten CMK. Kürzlich stiegen die KMS-Anfragegebühren stark an, und bei hohen PUT/GET-Bursts kam es gelegentlich zu Drosselungen. SSE-KMS muss beibehalten werden. Was ist die effektivste Änderung, um KMS-Anfragen und -Kosten zu reduzieren, ohne die Compliance-Haltung zu ändern?

Die Aktivierung von S3 Bucket Keys ist die effektivste Lösung, da sie die Anzahl der direkten KMS-Anfragen pro Objekt drastisch reduziert. Anstatt für jedes Objekt eine separate KMS-Anfrage zu stellen, generiert S3 einen eindeutigen Datenschlüssel für den Bucket und verwendet diesen, um Objekte innerhalb des Buckets zu verschlüsseln. Dieser Bucket-Schlüssel wird dann mit dem Kunden-CMK verschlüsselt. Dies reduziert die KMS-Anfragen erheblich und senkt die Kosten sowie das Risiko der Drosselung. SSE-S3 ist keine Option, da die Anforderung darin besteht, SSE-KMS beizubehalten, um die Compliance-Anforderungen zu erfüllen. Eine höhere KMS-Anfragequote würde die Drosselung mindern, aber nicht die Kosten pro Anfrage reduzieren oder die Gesamtzahl der Anfragen senken. Clientseitige Verschlüsselung mit KMS-verwalteten Schlüsseln würde die KMS-Nutzung pro Objekt nicht reduzieren, da weiterhin für jedes Objekt ein Schlüssel von KMS angefordert werden müsste.