首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink-1.12(十一)Table API 和 Flink SQL
Table API 和 Flink SQL 是flink 对批处理和流处理,提供了统一的上层API。Table API 是一套内嵌在Java 和Scala 语言中的查询API,它允许以非常直观的方式...
821
代码人生
01-01 08:00
代码人生
flink - join操作&迟到数据处理
flink - join操作&迟到数据处理,flink针对迟到数据的策略丢弃重新触发计算1、已经计算窗口是否有销毁?2、计算逻辑,来一条迟到数据计算一次?3、计算结果重复往下游发送问题如何解决?旁路输出其中,重新计算最为复杂,涉及到窗口销毁以及结果重新发射至下游问题。重新触发计算核心的方法是allowedLateness(),该方法会设置一个时间参数,代表迟到数据允许迟到的时间,避免窗口持续存在,
771
后端
01-01 08:00
后端
Flink系列 - 实时数仓之数据入ElasticSearch实战(九)
Flink系列 - 实时数仓之数据入ElasticSearch实战(九),我们实时的流处理入ElasticSearch中还是比较麻烦的,虽然说flink提供了相关的sink接口,但是一般来说仅仅是简单的将数据插入而已,对于优化以及使用用户名和密码登录操作的话,不管官网还是网上,写得零零碎碎的,对于大佬来说可以拼接起来再用,但是对于像我这种菜鸟来说,那简直是看天书一样,一愣一愣的。今天写这个案例主要
604
后端
01-01 08:00
后端
Flink详解系列之八--Checkpoint和Savepoint
一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心,这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 BarriersBarri...
555
后端
01-01 08:00
后端
Flink 使用之 SQL 和 DataStream 交互
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本篇为大家带来 Flink SQL 和 Da...
323
后端
01-01 08:00
后端
Flink 使用之 SQL 和 DataStream 交互
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本篇为大家带来 Flink SQL 和 Da...
312
代码人生
01-01 08:00
代码人生
flink任务提交与执行5-Task的执行
flink任务提交与执行5-Task的执行,在上文生成ExecutionGraph之后,并通过调用executionGraph.getSchedulingTopology()方法将拓扑结构传给SchedulerNG.schedulingTopology之后,SchedulerNG方法开始基于schedulingTopology来进行任务的执行。最后,使用Execution.deploy()方法来进
297
后端
01-01 08:00
后端
Flink详解系列之八--Checkpoint和Savepoint
一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心,这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 BarriersBarri...
292
后端
01-01 08:00
后端
flink整合spring boot
Flink框架:Flink整合springboot 首先说一下, 为什么flink 需要集成flink, spring boot给我们带来了更好的框架整合, 同时使用spring的DI和IOC,能更...
291
后端
01-01 08:00
后端
Flink实时计算pv、uv的几种方法
Flink实时计算pv、uv的几种方法,Flink实时计算pv、uv的几种方法本文首发于:Java大数据与数据仓库,Flink实时计算pv、uv的几种方法实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用Flink实时计算pv,uv。我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求.每秒钟要输出最新的统计结果;程序
281
«
1
2
3
4
5
6
7
8
...
14
15
»