首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink 集群部署、任务提交及运行时架构
集群部署 flink-conf.yaml masters slaves 集群启动 集群停止 yarn部署1.session cluster./yarn-session.sh -n 2 -s 2 -j...
103
代码人生
01-01 08:00
代码人生
Flink Window的allowedLateness
Flink Window的allowedLateness 基于Event-Time的窗口处理流式数据,虽然提供了WaterMark机制,却只能在一定程度上解决了数据乱序的问题。但在某些情况下数据可能延时会分厂严重,及时通过WaterMark机制也无法等到数据全部进入窗口再进行处理。Flink中默认会将这些迟到的数据做丢弃处理,但是有些时候用户希望及时数据延迟到达的情况下,也能够正常按照流程处理并输出结果,此
103
后端
01-01 08:00
后端
FlinkSQL元数据验证
FlinkSQL元数据验证,Flink1.9以后引入CatalogManager来管理Catalog和CatalogBaseTable,在执行DDL语句时将表信息封装为CatalogBaseTable存储在CatalogManager中。同时扩展了calcite的Schema接口使得Calcite在Validate阶段能够读取CatalogManager中的表信息。CatalogTable写入通过
103
后端
01-01 08:00
后端
Flink源码阅读(七)--- Calcite 语法拓展
Calcite主要是做SQL解析、校验、优化等工作,比如Flink、Hive底层都是使用的calcite。本文内容是基于Flink 1.12来讲解。 首先从整体上对Calcite使用做个了解,Cal...
102
代码人生
01-01 08:00
代码人生
Flink Sort-Shuffle 实现简介(flink 动态读取配置文件)
Flink Sort-Shuffle 实现简介(flink 动态读取配置文件),本文介绍Sort-Shuffle如何帮助Flink在应对大规模批数据处理任务时更加游刃有余。主要内容包括:数据Shuffle简介引入Sort-Shuffle的意义FlinkSort-Shuffle实现测试结果调优参数未来展望Flink作为批流一体的大数据计算引擎,大规模批数据处理也是Flink数据处理能力的重要组成部分
101
后端
01-01 08:00
后端
Flink 的一些概念备忘
Flink: 三种窗口:1,滚动,就是 5分钟,再5分钟;2,滑动窗口, 固定一个长度,然后slide,会有很多overlap,比如 5分钟长度, 1分钟滑动。3,会话窗口,根据多久没有收到数据比如...
100
后端
01-01 08:00
后端
Flink 1.12 Hive分区时态表批流一体
需求背景 我们生产常有将实时与Hive维表join来丰富数据的需求、Hive表是分区表、上周Flink 1.12发布了、刚好支撑了这种业务场景、我也将1.12版本部署了、做了一个线上需求并上线、分区...
100
代码人生
01-01 08:00
代码人生
Flink实时项目之CEP计算访客跳出
Flink实时项目之CEP计算访客跳出,1.访客跳出明细介绍首先要识别哪些是跳出行为,要把这些跳出的访客最后一个访问的页面识别出来。那么就要抓住几个特征:该页面是用户近期访问的第一个页面,这个可以通过该页面是否有上一个页面(last_page_id)来判断,如果这个表示为空,就说明这是这个访客这次访问的第一个页面。首次访问之后很长一段时间(自己设定),用户没继续再有其他页面的访问。这第一个特征的识
99
代码人生
01-01 08:00
代码人生
Flink工作中常用__Kafka SourceAPI
Flink工作中常用__Kafka SourceAPI 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 记录一下工作中可能用的到的FlinkAPI: 4.6Kafka Source 4.6.1API及其版本 Flink 里已经提供了一些绑定的 Connector,例如 Kafka Source 和 S
98
后端
01-01 08:00
后端
FlinkSQL元数据验证
Flink1.9以后引入CatalogManager来管理Catalog和CatalogBaseTable,在执行DDL语句时将表信息封装为CatalogBaseTable存储在CatalogMan...
98
«
1
2
...
5
6
7
8
9
10
11
...
14
15
»