Eine stark frequentierte Website läuft auf EC2 und verwendet Kinesis Data Streams, um Web-Logs zu sammeln. Die Kinesis Consumer App, ebenfalls auf EC2, gerät bei Datenspitzen ins Hintertreffen und Datensätze gehen verloren. Welche Lösung verbessert die Verarbeitung des Streams mit dem geringsten Betriebsaufwand?

Die horizontale Skalierung des Kinesis Consumers durch Hinzufügen von EC2-Instanzen basierend auf der Metrik GetRecords.IteratorAgeMilliseconds ist die effektivste Lösung. Diese Metrik zeigt an, wie weit der Consumer hinter dem Stream zurückliegt. Wenn sie hoch ist, bedeutet dies, dass der Consumer die Daten nicht schnell genug verarbeitet. Durch die Erhöhung der Kinesis-Stream-Aufbewahrungsfrist wird sichergestellt, dass Daten nicht verloren gehen, selbst wenn der Consumer vorübergehend überlastet ist. Dies ist eine bewährte Methode, um die Robustheit der Datenverarbeitung zu verbessern und den Betriebsaufwand zu minimieren, da CloudWatch Alarme und Auto Scaling Gruppen dies automatisieren können. Das Speichern von Logs in S3 und die Verwendung von EMR ist eine Batch-Verarbeitungslösung, die nicht für Echtzeit-Verarbeitung geeignet ist und den Betriebsaufwand erhöht. Die Migration zu Lambda ist eine Option, aber die Skalierung von Lambda-Funktionen kann bei sehr hohen Datenmengen ebenfalls an Grenzen stoßen und erfordert möglicherweise eine Neuentwicklung des Consumers. Das Hinzufügen weiterer Shards zum Kinesis-Datenstrom erhöht zwar den Durchsatz, löst aber nicht das Problem eines überlasteten Consumers; die Consumer-Anwendung muss immer noch in der Lage sein, die erhöhte Datenmenge zu verarbeiten.