Voxel Media host een data lake met miljarden kleine objecten in Amazon S3 met behulp van SSE-KMS met een door de klant beheerde CMK. Onlangs stegen de KMS-aanvraagkosten en trad er af en toe throttling op tijdens zware PUT/GET-pieken. Ze moeten SSE-KMS behouden. Wat is de meest effectieve wijziging om KMS-aanvragen en -kosten te verminderen zonder de compliance-houding te wijzigen?

S3 Bucket Keys verminderen de kosten van KMS-aanvragen door één KMS-data key te genereren voor een S3-bucket, die vervolgens wordt gebruikt om meerdere objecten te versleutelen. Dit vermindert het aantal aanroepen naar KMS aanzienlijk, omdat S3 de bucket key lokaal kan gebruiken in plaats van voor elk object een nieuwe aanvraag naar KMS te sturen. Dit behoudt de compliance met SSE-KMS. Overstappen op SSE-S3 is geen optie omdat de vraag expliciet stelt dat SSE-KMS behouden moet blijven. Het aanvragen van een hogere KMS-quota vermindert throttling, maar verlaagt de kosten niet en kan deze zelfs verhogen. Client-side encryptie met KMS-beheerde sleutels zou de architectuur complexer maken en waarschijnlijk niet leiden tot een significante vermindering van KMS-aanvragen per object, aangezien de SDK nog steeds KMS-aanroepen zou doen.