首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink 使用之 SQL 和 DataStream 交互
Flink 使用之 SQL 和 DataStream 交互,前言本篇为大家带来FlinkSQL和DataStreamAPI结合使用的使用方法。FlinkDataStreamAPI是Flink数据流处理标准API,SQL是Flink后期版本提供的新的数据处理操作接口。SQL的引入为提高了Flink使用的灵活性。读者可以认为FlinkSQL是一种通过字符串来定义数据流处理逻辑的描述语言。引入依赖参见F
119
后端
01-01 08:00
后端
Flink实时读取Kafka数据写入Clickhouse并实时展示
整体架构图 工具 Flink 1.11.2 Scala 2.11 Tableau 2020.2 一、模拟发送数据 新建一个类KafkaProducer用来模拟产生消费数据,代码如下: 1.启动Zoo...
119
后端
01-01 08:00
后端
Flink源码4-Slot分配和Task执行
接上期:——》JobMaster#startJobExecution()resetAndStartScheduler();——》JobMaster#resetAndStartSchedulersch...
118
后端
01-01 08:00
后端
Flink Kafka Doris实战demo
Flink Kafka Doris实战demo 环境: Flink 1.12 Doris 0.12 Kafka 1.0.1+kafka3.1.1 一:编译doris 参考官网Docker编译:htt...
116
后端
01-01 08:00
后端
Flink Sql 之 Calcite Volcano优化器(源码解析)
Flink Sql 之 Calcite Volcano优化器(源码解析),Calcite作为大数据领域最常用的SQL解析引擎,支持Flink,hive,kylin,druid等大型项目的sql解析同时想要深入研究Flinksql源码的话calcite也是必备技能之一,非常值得学习我们内部也通过它在做自研的sql引擎,通过一套sql支持关联查询任意多个异构数据源(eg:mysql表join上hbas
115
后端
01-01 08:00
后端
flink的watermark机制你学会了吗?
flink的watermark机制你学会了吗?,大家好,今天我们来聊一聊flink的Watermark机制。这也是flink系列的的第一篇文章,如果对flink、大数据感兴趣的小伙伴,记得点个关注呀。背景flink作为先进的流水计算引擎,提供了三种时间概念,这对基于时间的流处理应用提供了多种可能。Eventtime指生产设备中每个独立的事件发生的时间,比如用户点击产生的时间。Processtime
115
后端
01-01 08:00
后端
Flink - 只使用 Table&Sql 实现电商用户行为实时分析
Flink - 只使用 Table&Sql 实现电商用户行为实时分析,Flink对DDL的支持是在1.9版本之后的1.10,1.11投入了大量的精力做的一个内容,可以通过SQLDDL的方式来联通外部系统,对DDL的支持的程序决定了与外部系统的联通性,而这时计算引擎一个非常重要的内容。正Flink因为强大的DDL的支持,让不会javascala语言的人也可以通过规范的sql的方式来使用Flink.接
114
后端
01-01 08:00
后端
Flink解析kafka的json字段并利用Flink CEP实时监控订单数据写入MySQL
上篇博客写了Flink接入Kafka数据并实时写入数据库实时展示,这次利用Flink CEP进行实时监控。 整体架构图如下: 实现目标如下: 1.查看顾客是否点击之后立即购买,是的话输出用户id,购...
113
后端
01-01 08:00
后端
Flink 分布式缓存原理及使用
背景 在1.9.1版本中分布式缓存并未拷贝HDFS下的文件到TM,运行时抛出如下异常。 升级到1.10.1版本,能正常使用。借此,学习下Flink 分布式缓存相关知识。 定义 官网对 distrib...
111
后端
01-01 08:00
后端
FlinkSQL内置了这么多函数你都使用过吗?
FlinkSQL内置了这么多函数你都使用过吗?,前言FlinkTable和SQL内置了很多SQL中支持的函数;如果有无法满足的需要,则可以实现用户自定义的函数(UDF)来解决。一、系统内置函数FlinkTableAPI和SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多函数,TableAPI和SQL都已经做了实现,其它还在快速开发扩展中。以下是一些典型函数的举例,全部的内置函数,可以
111
«
1
2
3
4
5
6
7
8
...
14
15
»