Un minorista en línea enviará hasta 100 transacciones por segundo a Amazon Kinesis Data Streams. Cada registro JSON tiene 100 KB. ¿Cuál es el número mínimo de shards de Kinesis necesarios para ingerir estos datos sin exceder los límites de los shards?

Para calcular el número mínimo de shards, se deben considerar los límites de Kinesis Data Streams. Cada shard puede soportar hasta 1,000 registros por segundo o 1 MB por segundo de entrada. En este caso: Registros por segundo: 100 transacciones/segundo. Cada shard soporta 1,000 registros/segundo, por lo que 100/1000 = 0.1 shards (no es un factor limitante). Tamaño de datos por segundo: 100 transacciones/segundo 100 KB/transacción = 10,000 KB/segundo = 10 MB/segundo. Cada shard soporta 1 MB/segundo. Por lo tanto, se necesitan 10 MB/segundo / 1 MB/segundo/shard = 10 shards. El factor limitante es el tamaño de los datos. Por lo tanto, se necesitan 10 shards. Las opciones de 1 shard son insuficientes para el volumen de datos. Las opciones de 100 o 1,000 shards son excesivas y generarían costos innecesarios.