2022.4.1学习成果

解压目录说明:
bin 可执行脚本
conf 配置文件
data 示例程序使用数据
examples 示例程序
jars 依赖 jar 包
python pythonAPI
R R 语言 API
sbin 集群管理命令
yarn 整合yarn需要的东西

 

Flink的使用
1）处理结果准确：无论是有序数据还是延迟到达的数据。
2）容错机制：
有状态：保持每次的结果往下传递，实现累加。DAG（有向无环图）。
3）有很强大的吞吐量和低延迟。
计算速度快，吞吐量处理的量级大。
4）精准的维护一次的应用状态。
storm:会发生要么多计算一次，要么漏计算。
5）支持大规模的计算
可以运行在数千台节点上。
6）支持流处理和窗口化操作
7）版本化处理
8）检查点机制实现精准的一次性计算保证
checkpoint
9）支持yarn与mesos资源管理器

flink单节点安装部署
1）下载安装包
https://archive.apache.org/dist/flink/flink-1.6.2/flink-1.6.2-bin-hadoop28-scala_2.11.tgz
2）上传安装包到/root下

3）解压
cd /root
tar -zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C hd

4）启动
cd /root/hd/flink-1.6.2
bin/start-cluster.sh

5）启动
cd /root/hd/flink-1.6.2
bin/stop-cluster.sh

6）访问ui界面
http://192.168.146.132:8081

八、flink集群安装部署
1）下载安装包
https://archive.apache.org/dist/flink/flink-1.6.2/flink-1.6.2-bin-hadoop28-scala_2.11.tgz
2）上传安装包到/root下

3）解压
cd /root
tar -zxvf flink-1.6.2-bin-hadoop28-scala_2.11.tgz -C hd

4）修改配置文件
vi flink-conf.yaml
第33行修改为：
jobmanager.rpc.address: hd09-1

5）修改slaves
vi slaves
hd09-2
hd09-3

6）分发flink到其他机器
cd /root/hd
scp -r flink-1.6.2/ hd09-2:$PWD
scp -r flink-1.6.2/ hd09-3:$PWD

7）启动集群
cd /root/hd/flink-1.6.2
bin/start-cluster.sh

8）关闭集群
cd /root/hd/flink-1.6.2
bin/stop-cluster.sh

9）访问ui界面
http://192.168.146.132:8081