Ein Unternehmen streamt Klickdaten in Kinesis und liefert diese über Kinesis Data Firehose an einen S3 Data Lake. Mit zunehmendem Volumen bleibt die S3-Aufnahmerate stabil, aber der Rückstand bei Kinesis Data Streams und Firehose wächst. Welche Maßnahme erhöht am ehesten den Aufnahmedurchsatz in S3?

Die Erhöhung der Shard-Anzahl in Kinesis Data Streams ist die effektivste Maßnahme. Jeder Shard bietet eine feste Kapazität für Lese- und Schreibvorgänge. Wenn der Rückstand in Kinesis Data Streams wächst, deutet dies darauf hin, dass die aktuelle Shard-Anzahl nicht ausreicht, um das eingehende Datenvolumen zu verarbeiten und an Firehose weiterzuleiten. Durch das Hinzufügen von Shards wird die Gesamtkapazität des Streams erhöht, was eine schnellere Verarbeitung und Weiterleitung der Daten an Kinesis Data Firehose und somit an S3 ermöglicht. Die Erhöhung der S3-Präfixe ist irrelevant für den Engpass in Kinesis. Die Verringerung der Aufbewahrungsfrist würde Daten schneller verwerfen, aber nicht den Durchsatz erhöhen. Das Hinzufügen weiterer KCL-Consumer ist nur relevant, wenn der Engpass bei der Verarbeitung der Daten nach Kinesis Data Firehose liegt, was hier nicht der Fall ist.