阅读 68

基于Flink的实时告警实现(1):Flink简介与开发环境搭建

1 Flink简介

Flink是一个流式的分布式处理引擎,可以同时处理有界流和无界流,并可以运行在常见的集群环境中。
Flink常用的应用场景有:
(1) 事件驱动型应用
(2) 数据分析型应用
(3) 数据管道应用:将数据进行转换后再迁移到其他的存储系统

本专题将会从0到1实现告警处理流程,并会讲解实现过程中使用到的Flink中的技术。

2 Flink的Local部署模式

Flink支持三种部署模式:

  • Local:本地直接起一个taskmanager,通常用于本地调试
  • Standalone:物理机集群模式,但是在资源隔离和调度方面不足
  • Flink On Yarn/Kubernetes:底层的Yarn或者Kubernetes提供统一的资源管理,一般用于生产环境

本文只讲解Local模式,完成用Local模式正常运行简单的flink应用。Local模式就是单机模式,相当于启动了一个taskmanager,这种部署方式通常用于本地调试。

下载flink的安装包,解压后,进入安装包目录并执行:bin/start-cluster.sh。这里需要解释下flink的安装包的名字:flink-1.12.1-bin-scala_2.11.tgz,其中2.11是scala的版本,1.12.1是Flink的版本。

同时,通过bin/flink程序可以操作flink中的任务:

  • flink run:编译并运行程序
  • flink info:显示程序优化后的执行计划
  • flink list:查看当前执行的任务
  • flink stop:暂停任务
  • flink cancel:取消任务

3 IDE开发环境搭建

开发java常用的IDE有:Eclipse/MyEclipse、VsCode、JetBrains IDEA。个人比较喜欢IDEA的风格,而且JetBrains的IDE的体验都很好,因此,这里使用IDEA搭建开发环境。

1 从JetBrains网站上下载安装包进行安装,IDEA自带了jdk和maven,jdk最好还是用自己下载的,因为自带的jdk是经过JetBrains改造过的。

2 创建工程,并填写Archetype:
[图片上传失败...(image-31df2e-1615884022706)]

创建完成后,就会从maven网站上下载flink-quickstart-java的代码,并会下载相应的包,例如,flink-java、flink-streaming-java、flink-clients等,此处可能会由于网络原因导致下载包的时间较长。

3 进行构建:

双击图中的package,就会在项目的target目录下生成jar包。

4 执行其中的quickstart中的示例程序:

flink run -c org.test.WordCount flink-test-1.0.0.jar

就可以看到单词的个数的统计结果,这样就完成了第一个flink程序的构建和执行的过程。

3 小结

本节简单介绍了Flink,然后将flink部署到本地,并执行了quickstart中的wordcount程序,完成了helloworld程序的执行。

作者:luofengmacheng

原文链接:https://www.jianshu.com/p/5912994fa9d4

文章分类
后端
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐