首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
FLINK基础(145):DS事件时间(4) 时间相关 API
FLINK基础(145):DS事件时间(4) 时间相关 API Flink 在编写逻辑时会用到的与时间相关的API,下图总结了 Event Time 和Processing Time 相对应的 API。 在应用逻辑里通过接口支持可以完成三件事: 第一,获取记录的时间。Event Time 可以调 context.getTimestamp,或在SQL 算子内从数据字段中把对应的时间给提取出来。Processin
79
代码人生
01-01 08:00
代码人生
Flink之API的使用(3):Source的使用
Flink之API的使用(3):Source的使用 相关文章链接 具体代码实现如下所示: 1、main函数中代码实现: // 创建执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(2) // 1、从文件中读取数
79
后端
01-01 08:00
后端
flink发展历史及应用场景
1.flink发展历史 2.flink应用场景 实时监控:1.用户行为预警、app crash预警、服务器攻击预警。2.对用户行为或者相关事件进行实时监测和分析基于风控规则进行预警。 实时报表1.双...
78
后端
01-01 08:00
后端
Flink系列 - 实时数仓之数据入ElasticSearch实战(九)
我们实时的流处理入 ElasticSearch 中还是比较麻烦的,虽然说 flink 提供了相关的 sink 接口,但是一般来说仅仅是简单的将数据插入而已,对于优化以及使用用户名和密码登录操作的...
78
后端
01-01 08:00
后端
FlinkSQL元数据验证
Flink1.9以后引入CatalogManager来管理Catalog和CatalogBaseTable,在执行DDL语句时将表信息封装为CatalogBaseTable存储在CatalogMan...
77
后端
01-01 08:00
后端
Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通过流处理的方式来读写Hive中的表,从而为实时数仓的应...
77
代码人生
01-01 08:00
代码人生
Flink基础(126):FLINK-SQL语法 (20) DQL(12) OPERATIONS(9) Joins(3) Temporal Joins
Flink基础(126):FLINK-SQL语法 (20) DQL(12) OPERATIONS(9) Joins(3) Temporal Joins 1 Event Time Temporal Join Temporal joins allow joining against a . This means a table can be enriched with changing metadata and retrieve its value
76
后端
01-01 08:00
后端
Flink性能调优(一)
1 配置内存 操作场景 Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成...
76
后端
01-01 08:00
后端
FlinkSQL内置了这么多函数你都使用过吗?
前言 Flink Table 和 SQL 内置了很多 SQL 中支持的函数;如果有无法满足的需要,则可以实现用户自定义的函数(UDF)来解决。 一、系统内置函数 Flink Table API ...
75
代码人生
01-01 08:00
代码人生
Flink+Hudi 构架湖仓一体化解决方案
Flink+Hudi 构架湖仓一体化解决方案,本文转载自公众号【麒思妙想】,详细介绍了Flink+Hudi湖仓一体化方案的原型构建。主要内容为:Hudi新架构与湖仓一体最佳实践FlinkonHudiFlinkCDC2.0onHudi一、Hudi1.简介ApacheHudi(发音为“Hoodie”)在DFS的数据集上提供以下流原语插入更新(如何改变数据集?)增量拉取(如何获取变更的数据?)Hudi维
75
«
1
2
...
7
8
9
10
11
12
13
14
15
»