首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink+Clickhouse在广投集团实时数仓的最佳实践
Flink+Clickhouse实时数仓在广投集团的最佳实践 一、业务背景 由于历史原因,大型集团企业往往多个帐套系统共存,包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统,集团财务共享...
87
后端
01-01 08:00
后端
Flink SQL Client综合实战
Flink SQL Client综合实战,欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;在《FlinkSQLClient初探》一文中,我们体验了FlinkSQLClient的基本功能,今天来通过实战更深入学习和体验FlinkSQL;实战内容本次实
86
后端
01-01 08:00
后端
Flink SQL Client综合实战
欢迎访问我的GitHub https://github.com/zq2599/blog_demos[https://github.com/zq2599/blog_demos] 内容:所有原创文章分类...
86
后端
01-01 08:00
后端
Flink SQL 自定义 Sink
1.背景 内部要做 Flink SQL 平台,本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用基于 Flink 1.11 2.步骤...
85
后端
01-01 08:00
后端
flink数据倾斜问题解决与源码研究
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka...
85
后端
01-01 08:00
后端
Flink 的一些概念备忘
Flink: 三种窗口:1,滚动,就是 5分钟,再5分钟;2,滑动窗口, 固定一个长度,然后slide,会有很多overlap,比如 5分钟长度, 1分钟滑动。3,会话窗口,根据多久没有收到数据比如...
83
后端
01-01 08:00
后端
flink数据倾斜问题解决与源码研究
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka...
83
后端
01-01 08:00
后端
Flink读取Kafka数据写入Hive
Flink读取Kafka数据写入Hive,前言本文针对数据库CDC(changedatacapture)场景设计,探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性,下面为本地IDEA程序案例可供参考。一、整体思路数据库CDC(changedatacapture)是实时捕获数据库中的变化数据,经过处理之后(也可能无需处理),将其更新到目标端的一种技术。为实现实时捕获,本文引入De
82
代码人生
01-01 08:00
代码人生
Flink-Window
Flink-Window Flink的高级API Flink的基石 Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照,从而提供了一致性的语义。 Chandy-Lamport算法实际
80
代码人生
01-01 08:00
代码人生
Flink 的容错管理详细剖析
Flink 的容错管理详细剖析,1.Checkpoint介绍checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamportalgorithm”算法。每个需要checkpoint的应用在启动时,
80
«
1
2
...
7
8
9
10
11
12
13
14
15
»