首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink 的状态管理实践
Flink 的状态管理实践,我们之前写的wordcount的例子,没有包含状态管理。如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(atleastonce,exactlyonce),Flink引入了state和checkpoint。因此可以说flink因为引入了state和checkpoint所以才支持的exactlyonce首
61
后端
01-01 08:00
后端
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单
Flink状态管理与Checkpoint实战——模拟电商订单计算过程中宕机的场景,探索宕机恢复时如何精准继续计算订单,Flink的状态与容错是这个框架很核心的知识点。其中一致检查点也就是Checkpoints也是Flink故障恢复机制的核心,这篇文章将详细介绍Flink的状态管理和Checkpoints的概念以及在生产环境中的参数设置。什么是State状态?在使用Flink进行窗口聚合统计,排序等
160
后端
01-01 08:00
后端
Flink 一 环境搭建,输出wordCount
Flink 一 环境搭建,输出wordCount,1.Flink环境搭建1.1Flink版本列表:archive.apache.org/dist/flink/1.2选择最新的1.12.2版本进行安装wgethttps://archive.apache.org/dist/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.12.tgz复制代码1.3解压安装tar-
121
后端
01-01 08:00
后端
Flink 二 消费kafka数据
Flink 二 消费kafka数据,前言:Flink的DataSoures模块中,定义了DataStreamAPI的数据输入操作,Flink将数据源主要分为内置和第三方数据源,内置数据源包含文件、Socket网络端口以及集合数据类型,主要用于数据测试。而第三方数据源,Flink通过SourceFunction定义了很多的数据源连接器,通过它们进行数据的读写操作。本篇通过Flink的kafkacon
226
后端
01-01 08:00
后端
Flink Sql 之 Calcite Volcano优化器(源码解析)
Flink Sql 之 Calcite Volcano优化器(源码解析),Calcite作为大数据领域最常用的SQL解析引擎,支持Flink,hive,kylin,druid等大型项目的sql解析同时想要深入研究Flinksql源码的话calcite也是必备技能之一,非常值得学习我们内部也通过它在做自研的sql引擎,通过一套sql支持关联查询任意多个异构数据源(eg:mysql表join上hbas
117
后端
01-01 08:00
后端
Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析)
Flink sql 之 TopN 与 StreamPhysicalRankRule (源码解析),基于flink1.14的源码做解析公司内有很多业务方都在使用我们Flinksql平台做TopN的计算,今天同事突然问到我,Flinksql是怎么实现topN的?蒙圈了,这块源码没看过啊,业务要问起来怎么办,赶快打开源码补一下拿到这个问题先冷静分析一下范围首先肯定属于Flinksql模块,源码里面肯定是
67
后端
01-01 08:00
后端
Flink - 只使用 Table&Sql 实现电商用户行为实时分析
Flink - 只使用 Table&Sql 实现电商用户行为实时分析,Flink对DDL的支持是在1.9版本之后的1.10,1.11投入了大量的精力做的一个内容,可以通过SQLDDL的方式来联通外部系统,对DDL的支持的程序决定了与外部系统的联通性,而这时计算引擎一个非常重要的内容。正Flink因为强大的DDL的支持,让不会javascala语言的人也可以通过规范的sql的方式来使用Flink.接
116
后端
01-01 08:00
后端
Flink+Clickhouse实时数仓在广投集团的最佳实践
Flink+Clickhouse实时数仓在广投集团的最佳实践 一、业务背景 由于历史原因,大型集团企业往往多个帐套系统共存,包括国内知名ERP厂商浪潮、用友、金蝶、速达所提供的财务系统,集团财务共享...
70
后端
01-01 08:00
后端
Flink详解系列之八--Checkpoint和Savepoint
一、Checkpoint 获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心,这些快照在Flink作业恢复时作为一致性检查点存在。 1.1 原理 1.1.1 BarriersBarri...
558
后端
01-01 08:00
后端
flink发展历史及应用场景
1.flink发展历史 2.flink应用场景 实时监控:1.用户行为预警、app crash预警、服务器攻击预警。2.对用户行为或者相关事件进行实时监测和分析基于风控规则进行预警。 实时报表1.双...
77
«
1
2
3
4
5
6
7
8
...
14
15
»