文章目录
- 目录
- 1.流计算的概述
- 1.1 什么是流数据?
- 1.2 批量计算和实时计算
- 1.3 流计算的概念
- 1.4 流计算和Hadoop
- 1.5 流计算框架
- 2.流计算的处理流程
- 2.1 流计算处理基本概念
- 2.2 数数据的实时获取
- 2.3 数据的实时计算
- 2.4 实时查询任务
- 3.流计算的应用和开源框架Strom
- 3.1 流计算应用
- 3.1.1 应用1:实时分析
- 3.1.1 应用2:实时交通
- 3.2 开源框架strom
- 3.2.1 strom简介
- 3.2.2 strom的特点
- 3.2.3 strom设计思想
- 3.2.4 strom框架设计
- 4.spark streaming
- 4.1 设计思想
- 4.2 spark streaming 和 strom的对比
- 5.Samza
- 5.1 基本概念
- 5.2 系统架构
- 6.strom,spark streaming 和samza的应用场景
- 7.Strom编程实践
- 7.1 编写strom程序
- 7.2 安装strom的基本过程
- 7.3 运行strom程序
- 8.总结
目录
1.流计算的概述
1.1 什么是流数据?
静态数据-数据仓库

流数据-物联网传感器数据

1.2 批量计算和实时计算

1.3 流计算的概念


1.4 流计算和Hadoop

1.5 流计算框架

2.流计算的处理流程
2.1 流计算处理基本概念
传统批处理

流计算

主要体现的就是数据的实时性!
2.2 数数据的实时获取


2.3 数据的实时计算

2.4 实时查询任务


3.流计算的应用和开源框架Strom
3.1 流计算应用

3.1.1 应用1:实时分析


3.1.1 应用2:实时交通

3.2 开源框架strom
3.2.1 strom简介



3.2.2 strom的特点

3.2.3 strom设计思想






3.2.4 strom框架设计





4.spark streaming
4.1 设计思想



4.2 spark streaming 和 strom的对比

5.Samza
5.1 基本概念




5.2 系统架构


6.strom,spark streaming 和samza的应用场景

7.Strom编程实践
7.1 编写strom程序









7.2 安装strom的基本过程
参考博客








7.3 运行strom程序


8.总结
