入门概念 | Amazon Kinesis 是什么？
名称由来
Amazon Kinesis 的诞生源于企业对实时数据处理的迫切需求。随着物联网设备、应用程序日志和用户点击流等数据源的爆发式增长，传统批处理模式无法满足毫秒级响应要求。AWS 通过整合流存储、传输与分析能力，打造了这一命名源自“运动”（Kinesis）的云服务，旨在实现数据从产生到洞察的“动态流动”。
主要功能
Kinesis 的核心功能由四大组件构成。
Data Streams：高速缓冲区，支持每秒 GB 级数据摄入，存储 24 小时至 1 年，供消费者实时处理；
Data Firehose（现称 Amazon Data Firehose）：全自动数据管道，无需管理基础设施即可将数据加载至 S3、Redshift 等目标；
Video Streams：专为音视频及二进制时间序列数据设计，支持加密存储与 WebRTC 低延迟传输；
Data Analytics：通过 SQL 或 Apache Flink 实现亚秒级流分析，支持“至少一次”传输模型确保数据完整性。
工作原理
Kinesis 的数据处理流程分为三层。
数据摄入层：生产者（如移动应用、IoT 传感器）通过 SDK、Kinesis Agent 或 Direct PUT API 将数据写入 Data Streams。每个分片支持 1,000 条记录 / 秒的写入上限，通过水平扩展分片数量应对流量波动。
流处理层：消费者（如 KCL 应用程序）从分片读取数据，利用多线程和检查点机制实现容错处理。Data Analytics 服务则通过 SQL 查询或 Flink 作业对流数据进行实时转换，例如过滤无效记录、计算移动平均值。
交付与存储层：Data Firehose 根据配置的缓冲区大小（如 5MB）或时间间隔（如 5 分钟）触发数据批处理，将转换后的数据加载至目标存储。Video Streams 则通过 HLS/DASH 协议实现视频点播，或通过 WebRTC 支持超低延迟双向流传输。
使用场景
实时监控与告警：Netflix 使用 Data Streams 监控全球应用通信，通过毫秒级延迟检测异常请求，将平均故障修复时间（MTTR）缩短至分钟级。
近实时数据分析：Zillow 通过 Data Streams 采集房产交易数据，结合 Data Analytics 的 SQL 查询，每 15 分钟更新一次房屋估价模型，提升推荐准确率。
视频流处理：安防公司利用 Video Streams 存储摄像头数据，通过 Rekognition Video 实时识别人员聚集事件，自动触发安保调度。
机器学习管道：游戏平台将玩家行为数据通过 Data Firehose 加载至 S3，训练后的模型通过 Data Analytics 实时预测用户流失风险，动态调整运营策略。