首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink+Clickhouse在广投集团实时数仓的最佳实践
Flink+Clickhouse实时数仓在广投集团的最佳实践 一、业务背景 由于历史原因,大型集团企业往往多个帐套系统共存,包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统,集团财务共享...
87
后端
01-01 08:00
后端
Flink性能调优(一)
1 配置内存 操作场景 Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成...
64
后端
01-01 08:00
后端
flink相关概念介绍
Flink定义 Apache Flink is a framework and distributed processing engine for stateful computations ove...
64
后端
01-01 08:00
后端
Flink源码阅读(十)--- Flink 心跳机制
1. 背景 心跳机制通过定期向对方发送请求方式用于检测客户端或者服务端是否存活的一种机制,常见的心跳检测有两种: 1. socket 套接字 SO_KEEPALIVE 本身带有的心跳机制,定期向...
109
后端
01-01 08:00
后端
Flink如何管理Kafka 消费位点(译文)
Checkpointing 是 Flink 故障恢复的内部机制。一个 checkpoint 就是 Flink应用程序产生的状态的一个副本。如果 Flink 任务发生故障,它会从 checkpoint...
136
后端
01-01 08:00
后端
Flink实时读取Kafka数据写入Clickhouse并实时展示
整体架构图 工具 Flink 1.11.2 Scala 2.11 Tableau 2020.2 一、模拟发送数据 新建一个类KafkaProducer用来模拟产生消费数据,代码如下: 1.启动Zoo...
119
后端
01-01 08:00
后端
Flink学习:实践练习
练习的目标和范围 本次练习目前所包含的对于Apache Flink 的介绍内容忽略了大量(ultimately important)细节,因此仅能够满足让你可以开始编写可伸缩的流式ETL,数据分析以...
89
后端
01-01 08:00
后端
Flink 1.12 Hive分区时态表批流一体
需求背景 我们生产常有将实时与Hive维表join来丰富数据的需求、Hive表是分区表、上周Flink 1.12发布了、刚好支撑了这种业务场景、我也将1.12版本部署了、做了一个线上需求并上线、分区...
100
后端
01-01 08:00
后端
flink数据倾斜问题解决与源码研究
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka...
85
后端
01-01 08:00
后端
Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通过流处理的方式来读写Hive中的表,从而为实时数仓的应...
76
«
1
2
...
4
5
6
7
8
9
10
...
14
15
»