首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink Forward 201904 PPT资料下载
Flink Forward 201904 PPT资料下载,FlinkForward201904PPT资料下载过往记忆大数据过往记忆大数据本文原文(点击下面阅读原文即可进入)https://www.iteblog.com/archives/2540.htmlFlinkForward是由Apache官方授权,ApacheFlinkChina社区支持,有来自阿里巴巴,Ververica(ApacheFl
175
后端
01-01 08:00
后端
FlinkSQL使用自定义UDTF函数行转列-IK分词器
FlinkSQL使用自定义UDTF函数行转列-IK分词器,一、背景说明本文基于IK分词器,自定义一个UDTF(TableFunctions),实现类似Hive的explode行转列的效果,以此来简明开发过程。如下图Flink三层API接口中,TableAPI的接口位于最顶层也是最易用的一层,可以套用SQL语法进行代码编写,对于有SQL基础的能很快上手,但是不足之处在于灵活度有限,自有函数不能满足使
169
后端
01-01 08:00
后端
Flink 实时写入数据到 ElasticSearch 性能调优
Flink 实时写入数据到 ElasticSearch 性能调优,背景说明线上业务反应使用Flink消费上游kafkatopic里的轨迹数据出现backpressure,数据积压严重。单次bulk的写入量为:3000/50mb/30s,并行度为48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。测试环境elasticsear
168
后端
01-01 08:00
后端
Flink1.10和Hive集成一些需要注意的点
Flink1.10和Hive集成一些需要注意的点,Flink1.10和Hive集成一些需要注意的点群主大数据技术与架构前几天,Flink官方release了Flink1.10版本,这个版本有很多改动。比如:Flink1.10同时还标志着对Blink的整合宣告完成,随着对Hive的生产级别集成及对TPC-DS的全面覆盖,Flink在增强流式SQL处理能力的同时也具备了成熟的批处理能力。本篇博客将对此
166
后端
01-01 08:00
后端
Flink 从0到1学习 —— 如何使用 Side Output 来分流?
Flink 从0到1学习 —— 如何使用 Side Output 来分流?,前言之前在Flink从0到1学习——Flink不可以连续Split(分流)?讲过Flink使用连续的Split会有问题,当时提供了几种解决方法,有一种方法就是使用SideOutput来进行,当时留了个余念,那么就在这篇文章详细的讲一波,教大家如何使用SideOutput来分流。SideOutput通常我们在处理数据的时候,
166
后端
01-01 08:00
后端
Flink详解系列之八--Checkpoint和Savepoint
一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心,这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 BarriersBarri...
165
后端
01-01 08:00
后端
Flink1.8.0重大更新-Flink中State的自动清除详解
Flink1.8.0重大更新-Flink中State的自动清除详解,导读:基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持,显著改进了状态TTL功能。新的清理机制可以减轻手动执行状态清理的麻烦。状态TTL使您可以控制应用程序状态的大小,以便开发者可以更加专注于应用程序的核心逻辑。在我们开发Fli
163
后端
01-01 08:00
后端
Flink 实时写入数据到 ElasticSearch 性能调优
Flink 实时写入数据到 ElasticSearch 性能调优,背景说明线上业务反应使用Flink消费上游kafkatopic里的轨迹数据出现backpressure,数据积压严重。单次bulk的写入量为:3000/50mb/30s,并行度为48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的ES集群。本着复现问题进行优化就能解决的思路进行调优测试。测试环境elasticsear
161
后端
01-01 08:00
后端
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单,Flink的状态与容错是这个框架很核心的知识点。其中一致检查点也就是Checkpoints也是Flink故障恢复机制的核心,这篇文章将详细介绍Flink的状态管理和Checkpoints的概念以及在生产环境中的参数设置。什么是State状态?在使用Flink进行窗口聚合统计,排序等
154
后端
01-01 08:00
后端
Flink集成Iceberg在同程艺龙的实践
Flink集成Iceberg在同程艺龙的实践,Flink集成Iceberg在同程艺龙的实践过去几年,数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时,二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构,而是在一定程度上结合二者的优势重新构建。在云厂商和开源技术方案的共同推动之下,2021年我们将会看到更多“湖仓一体”的实际落地案例。InfoQ希望通过选题的方式
154
«
1
2
3
4
5
6
7
8
...
14
15
»