首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
Flink Window机制详解
Flink Window机制详解,Windows是处理无线数据流的核心,它将流分割成有限大小的桶(buckets),并在其上执行各种计算。窗口化的Flink程序的结构通常如下,有分组流(keyedstreams)和无分组流(non-keyedstreams)两种。两者的不同之处在于,分组流中调用了keyBy(...)方法,无分组流中使用windowAll(...)替代分组流中的window(...
145
代码人生
01-01 08:00
代码人生
flink任务提交与执行-StreamGraph和JobGraph
flink任务提交与执行-StreamGraph和JobGraph,1.StreamGraphStreamGraph结构是通过StreamGraphGenerator转换executionEnvironment的transform集合而来的图一1.StreamGraph的构成StreamGraph主要包含了用于构建JobGraph执行的所有必要信息,同时使用有向无环图来展示流的拓扑信息Stream
200
代码人生
01-01 08:00
代码人生
Flink Sql Gateway的原理与实践
Flink Sql Gateway的原理与实践,1背景我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStreamAPI,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵活且表达性强,但对用户具有一定的开发门槛,并且随着版本的不断更新,DataStreamAPI也有很多老版本不兼容的问题。所以FlinkSQL就成了广大开发用户的最佳选择,之所
146
代码人生
01-01 08:00
代码人生
flink - join操作&迟到数据处理
flink - join操作&迟到数据处理,flink针对迟到数据的策略丢弃重新触发计算1、已经计算窗口是否有销毁?2、计算逻辑,来一条迟到数据计算一次?3、计算结果重复往下游发送问题如何解决?旁路输出其中,重新计算最为复杂,涉及到窗口销毁以及结果重新发射至下游问题。重新触发计算核心的方法是allowedLateness(),该方法会设置一个时间参数,代表迟到数据允许迟到的时间,避免窗口持续存在,
774
代码人生
01-01 08:00
代码人生
flink sql 知其所以然(十):大家都用 cumulate window 计算累计指标啦
flink sql 知其所以然(十):大家都用 cumulate window 计算累计指标啦,1.序篇源码公众号后台回复1.13.2cumulatewindow的奇妙解析之路获取。此节就是窗口聚合章节的第三篇,上节介绍了1.13windowtvftumblewindow实现,本节主要介绍1.13.windowtvf的一个重磅更新,即cumulatewindow。本节从以下几个章节给大家详细介绍c
226
代码人生
01-01 08:00
代码人生
Flink中如何实现一个自定义MetricReporter
Flink中如何实现一个自定义MetricReporter,什么是Metrics在flink任务运行的过程中,用户通常想知道任务运行的一些基本指标,比如吞吐量、内存和cpu使用情况、checkpoint稳定性等等。而通过flinkmetrics这些指标都可以轻而易举地获取到,避免任务的运行处于黑盒状态,通过分析这些指标,可以更好的调整任务的资源、定位遇到的问题、对任务进行监控。接下来本文将介绍fl
139
代码人生
01-01 08:00
代码人生
Flink Sort-Shuffle 实现简介(flink 动态读取配置文件)
Flink Sort-Shuffle 实现简介(flink 动态读取配置文件),本文介绍Sort-Shuffle如何帮助Flink在应对大规模批数据处理任务时更加游刃有余。主要内容包括:数据Shuffle简介引入Sort-Shuffle的意义FlinkSort-Shuffle实现测试结果调优参数未来展望Flink作为批流一体的大数据计算引擎,大规模批数据处理也是Flink数据处理能力的重要组成部分
101
代码人生
01-01 08:00
代码人生
Flink 消费kafka写入ElasticSearch
Flink 消费kafka写入ElasticSearch,目标通过Flink自带的ElasticSearchConnector,将Kafka中的数据经过Flink处理后然后存储到ElasticSearch。pomes的版本根据自己实际使用的版本进行配置,我这里线上使用的是es7;kafka根据自己使用的scala版本进行配置;org.apache.flinkflink-sql-connector-
144
代码人生
01-01 08:00
代码人生
Flink+Hudi 构架湖仓一体化解决方案
Flink+Hudi 构架湖仓一体化解决方案,本文转载自公众号【麒思妙想】,详细介绍了Flink+Hudi湖仓一体化方案的原型构建。主要内容为:Hudi新架构与湖仓一体最佳实践FlinkonHudiFlinkCDC2.0onHudi一、Hudi1.简介ApacheHudi(发音为“Hoodie”)在DFS的数据集上提供以下流原语插入更新(如何改变数据集?)增量拉取(如何获取变更的数据?)Hudi维
74
代码人生
01-01 08:00
代码人生
Flink 的容错管理详细剖析
Flink 的容错管理详细剖析,1.Checkpoint介绍checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamportalgorithm”算法。每个需要checkpoint的应用在启动时,
77
«
1
2
3
4
5
6
7
8
...
14
15
»