首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink SQL Client综合实战
欢迎访问我的GitHub https://github.com/zq2599/blog_demos[https://github.com/zq2599/blog_demos] 内容:所有原创文章分类...
86
后端
01-01 08:00
后端
Flink读取Kafka数据写入Hive
前言 本文针对数据库CDC(change data capture)场景设计,探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性,下面为本地IDEA程序案例可供参考。 一、整体思路...
86
后端
01-01 08:00
后端
Flink SQL 自定义 Sink
1.背景 内部要做 Flink SQL 平台,本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用基于 Flink 1.11 2.步骤...
85
后端
01-01 08:00
后端
Flink集成iceberg在生产环境中的实践
背景及痛点[#%E8%83%8C%E6%99%AF%E5%8F%8A%E7%97%9B%E7%82%B9]业务背景[#%E4%B8%9A%E5%8A%A1%E8%83%8C%E6%99%AF]原架构...
85
后端
01-01 08:00
后端
flink数据倾斜问题解决与源码研究
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka...
85
后端
01-01 08:00
后端
Flink 的一些概念备忘
Flink: 三种窗口:1,滚动,就是 5分钟,再5分钟;2,滑动窗口, 固定一个长度,然后slide,会有很多overlap,比如 5分钟长度, 1分钟滑动。3,会话窗口,根据多久没有收到数据比如...
83
后端
01-01 08:00
后端
flink数据倾斜问题解决与源码研究
1 遇到问题 flink实时程序在线上环境上运行遇到一个很诡异的问题,flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka...
82
后端
01-01 08:00
后端
Flink读取Kafka数据写入Hive
Flink读取Kafka数据写入Hive,前言本文针对数据库CDC(changedatacapture)场景设计,探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性,下面为本地IDEA程序案例可供参考。一、整体思路数据库CDC(changedatacapture)是实时捕获数据库中的变化数据,经过处理之后(也可能无需处理),将其更新到目标端的一种技术。为实现实时捕获,本文引入De
81
代码人生
01-01 08:00
代码人生
Flink之API的使用(3):Source的使用
Flink之API的使用(3):Source的使用 相关文章链接 具体代码实现如下所示: 1、main函数中代码实现: // 创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(2) // 1、从文件中读取数
79
代码人生
01-01 08:00
代码人生
FLINK基础(145):DS事件时间(4) 时间相关 API
FLINK基础(145):DS事件时间(4) 时间相关 API Flink 在编写逻辑时会用到的与时间相关的API,下图总结了 Event Time 和Processing Time 相对应的 API。 在应用逻辑里通过接口支持可以完成三件事: 第一,获取记录的时间。Event Time 可以调 context.getTimestamp,或在SQL 算子内从数据字段中把对应的时间给提取出来。Processin
78
«
1
2
...
7
8
9
10
11
12
13
14
15
»