首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
Flink Window的allowedLateness
Flink Window的allowedLateness 基于Event-Time的窗口处理流式数据,虽然提供了WaterMark机制,却只能在一定程度上解决了数据乱序的问题。但在某些情况下数据可能延时会分厂严重,及时通过WaterMark机制也无法等到数据全部进入窗口再进行处理。Flink中默认会将这些迟到的数据做丢弃处理,但是有些时候用户希望及时数据延迟到达的情况下,也能够正常按照流程处理并输出结果,此
103
代码人生
01-01 08:00
代码人生
Flink之API的使用(3):Source的使用
Flink之API的使用(3):Source的使用 相关文章链接 具体代码实现如下所示: 1、main函数中代码实现: // 创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(2) // 1、从文件中读取数
79
代码人生
01-01 08:00
代码人生
Flink-DateStreamApi-eventTime
Flink-DateStreamApi-eventTime 查看本部分时请先查阅 如果想使用 Event Time ,需要先设置正确的时间特征,方法如下StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置流的时间特征,使用Event Time 必须要设置 env.setStreamTi
106
代码人生
01-01 08:00
代码人生
Flink工作中常用__Kafka SourceAPI
Flink工作中常用__Kafka SourceAPI 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 记录一下工作中可能用的到的FlinkAPI: 4.6Kafka Source 4.6.1API及其版本 Flink 里已经提供了一些绑定的 Connector,例如 Kafka Source 和 S
99
代码人生
01-01 08:00
代码人生
FLINK基础(133): DS PROCESS FUNCTION (2) ProcessFunction/KeyedProcessFunction/ProcessWindowFunction/ProcessAllWindowFunction(窗口处理)/CoProcessFunction(双流处理)
FLINK基础(133): DS PROCESS FUNCTION (2) ProcessFunction/KeyedProcessFunction/ProcessWindowFunction/ProcessAllWindowFunction(窗口处理)/CoProcessFunction(双流处理) 0 简介 ProcessFunction 处理 datastream KeyedProcessFunction 处理 KeyedStream P
107
代码人生
01-01 08:00
代码人生
FLINK基础(145):DS事件时间(4) 时间相关 API
FLINK基础(145):DS事件时间(4) 时间相关 API Flink 在编写逻辑时会用到的与时间相关的API,下图总结了 Event Time 和Processing Time 相对应的 API。 在应用逻辑里通过接口支持可以完成三件事: 第一,获取记录的时间。Event Time 可以调 context.getTimestamp,或在SQL 算子内从数据字段中把对应的时间给提取出来。Processin
78
代码人生
01-01 08:00
代码人生
Flink Cumulate Window
Flink Cumulate Window Flink 累计窗口 接上篇: [如何用flink sql写,3h,7h,1d内pv,uv] (https://www.cnblogs.com/Springmoon-venn/p/15179311.html) 之前一直比较遗憾,Flink Sql 没有 Trigger 功能,长时间的窗口不能在中途触发计算,输出中间结果。而很多实时指标是小时、天级的累集
124
代码人生
01-01 08:00
代码人生
Flink-Window
Flink-Window Flink的高级API Flink的基石 Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照,从而提供了一致性的语义。 Chandy-Lamport算法实际
77
代码人生
01-01 08:00
代码人生
Flink实时项目之CEP计算访客跳出
Flink实时项目之CEP计算访客跳出,1.访客跳出明细介绍首先要识别哪些是跳出行为,要把这些跳出的访客最后一个访问的页面识别出来。那么就要抓住几个特征:该页面是用户近期访问的第一个页面,这个可以通过该页面是否有上一个页面(last_page_id)来判断,如果这个表示为空,就说明这是这个访客这次访问的第一个页面。首次访问之后很长一段时间(自己设定),用户没继续再有其他页面的访问。这第一个特征的识
100
代码人生
01-01 08:00
代码人生
flink任务提交与执行5-Task的执行
flink任务提交与执行5-Task的执行,在上文生成ExecutionGraph之后,并通过调用executionGraph.getSchedulingTopology()方法将拓扑结构传给SchedulerNG.schedulingTopology之后,SchedulerNG方法开始基于schedulingTopology来进行任务的执行。最后,使用Execution.deploy()方法来进
301
«
1
2
3
4
5
6
7
8
...
14
15
»