首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink处理函数实战之五:CoProcessFunction(双流处理)
Flink处理函数实战之五:CoProcessFunction(双流处理),Flink处理函数实战之五:CoProcessFunction(双流处理)本篇概览本文是《Flink处理函数实战》系列的第五篇,学习内容是如何同时处理两个数据源的数据;试想在面对两个输入流时,如果这两个流的数据之间有业务关系,该如何编码实现呢,例如下图中的操作,同时监听9998和9999端口,将收到的输出分别处理后,再由同
91
后端
01-01 08:00
后端
FlinkSQL写入Kafka/ES/MySQL示例-JAVA
FlinkSQL写入Kafka/ES/MySQL示例-JAVA,FlinkSQL写入Kafka/ES/MySQL示例-JAVA一、背景说明Flink的API做了4层的封装,上两层TableAPI、SQL语法相对简单便于编写,面对小需求可以快速上手解决,本文参考官网及部分线上教程编写source端、sink端代码,分别读取socket、kafka及文本作为source,并将流数据输出写入Kafka、
136
后端
01-01 08:00
后端
Flink实时计算pv、uv的几种方法
Flink实时计算pv、uv的几种方法,Flink实时计算pv、uv的几种方法本文首发于:Java大数据与数据仓库,Flink实时计算pv、uv的几种方法实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用Flink实时计算pv,uv。我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求.每秒钟要输出最新的统计结果;程序
285
后端
01-01 08:00
后端
FlinkSQL使用自定义UDTF函数行转列-IK分词器
FlinkSQL使用自定义UDTF函数行转列-IK分词器,FlinkSQL使用自定义UDTF函数行转列-IK分词器一、背景说明本文基于IK分词器,自定义一个UDTF(TableFunctions),实现类似Hive的explode行转列的效果,以此来简明开发过程。如下图Flink三层API接口中,TableAPI的接口位于最顶层也是最易用的一层,可以套用SQL语法进行代码编写,对于有SQL基础的能
147
后端
01-01 08:00
后端
FlinkSQL使用自定义UDTF函数行转列-IK分词器
FlinkSQL使用自定义UDTF函数行转列-IK分词器,一、背景说明本文基于IK分词器,自定义一个UDTF(TableFunctions),实现类似Hive的explode行转列的效果,以此来简明开发过程。如下图Flink三层API接口中,TableAPI的接口位于最顶层也是最易用的一层,可以套用SQL语法进行代码编写,对于有SQL基础的能很快上手,但是不足之处在于灵活度有限,自有函数不能满足使
171
后端
01-01 08:00
后端
FLINK-connectors-Kafka读写
FLINK-connectors-Kafka读写,FLINK-connectors-Kafka读写1.flink读取kafkaimportjava.util.Propertiesimportorg.apache.flink.api.java.utils.ParameterToolimportorg.apache.flink.streaming.api.scala._importorg.apache
233
后端
01-01 08:00
后端
Flink1.8.0重大更新-Flink中State的自动清除详解
Flink1.8.0重大更新-Flink中State的自动清除详解,导读:基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持,显著改进了状态TTL功能。新的清理机制可以减轻手动执行状态清理的麻烦。状态TTL使您可以控制应用程序状态的大小,以便开发者可以更加专注于应用程序的核心逻辑。在我们开发Fli
164
后端
01-01 08:00
后端
FlinkSQL中的回退更新-Retraction
FlinkSQL中的回退更新-Retraction,群主王知无大数据技术与架构前言如果你在使用FlinkSQL时出现如下的报错:Tableisnotanappend-onlytable.UsethetoRetractStream()inordertohandleaddandretractmessages.那么你就有必要了解一下Flink中的回退更新。简介通俗的讲"回退更新"就是传统数据里面的更新操
177
后端
01-01 08:00
后端
Flink1.10和Hive集成一些需要注意的点
Flink1.10和Hive集成一些需要注意的点,Flink1.10和Hive集成一些需要注意的点群主大数据技术与架构前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPC-DS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此
167
后端
01-01 08:00
后端
Flink异步之矛-锋利的Async I/O
Flink异步之矛-锋利的Async I/O,Flink异步之矛-锋利的AsyncI/O大数据技术与架构大数据技术与架构维表JOIN-绕不过去的业务场景在Flink流处理过程中,经常需要和外部系统进行交互,用维度表补全事实表中的字段。例如:在电商场景中,需要一个商品的skuid去关联商品的一些属性,例如商品所属行业、商品的生产厂家、生产厂家的一些情况;在物流场景中,知道包裹id,需要去关联包裹的行
146
«
1
2
...
7
8
9
10
11
12
13
14
15
»