¿Qué es el Streaming Data (Datos en Stream)?
Streaming Data son datos que se envían de manera constante por miles, estos provienen de fuentes de datos que típicamente envían los datos en forma de registros de manera simultanea y en cantidades pequeñas del orden de los Kb.
¿Para qué se utiliza Amazon Kinesis?
Kinesis es una plataforma en AWS para el envío de datos en forma de stream. Hace sencillo la descarga y análisis de datos en stream y también provee la habilidad de construir tu propia aplicación para las necesidades de tu negocio.
¿Cómo esta dividido Amazon Kinesis?
Amazon Kinesis se divide en:
Kinesis Streams
- Por default mantiene los datos por 7 horas pero puede extenderse hasta 7 días.
- Los datos son almacenados en shards (es posible habilitar múltiples shards por stream).
- Los datos son extraídos por los recibidores (instancias de ec2) para procesar cálculos.
- Los datos finalmente son enviados a DynamoDB, RDS, S3, etc.
Kinesis Firehose
- No requiere de shards ni de recibidores.
- El proceso es completamente automatizado.
- Los datos se analizan con una función de lambda y se envían a S3.
- No existe un tiempo de retención de los datos.
- Una ves que los datos son analizados se envían directamente a DynamoDB, RDS, S3, etc.
Kinesis Analytics
- Permite ejecutar funciones SQL dentro de Firehose y queries SQL para grabar en S3, RedShift y Elastic Cluster.
