首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
Flink 使用之 SQL 和 DataStream 交互
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本篇为大家带来 Flink SQL 和 Da...
150
后端
01-01 08:00
后端
FlinkSQL使用自定义UDTF函数行转列-IK分词器
FlinkSQL使用自定义UDTF函数行转列-IK分词器,FlinkSQL使用自定义UDTF函数行转列-IK分词器一、背景说明本文基于IK分词器,自定义一个UDTF(TableFunctions),实现类似Hive的explode行转列的效果,以此来简明开发过程。如下图Flink三层API接口中,TableAPI的接口位于最顶层也是最易用的一层,可以套用SQL语法进行代码编写,对于有SQL基础的能
147
代码人生
01-01 08:00
代码人生
flink1.11报错:java.lang.IllegalStateException: No ExecutorFactory found to execute the application
flink1.11报错:java.lang.IllegalStateException: No ExecutorFactory found to execute the application 一. 报错信息 Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. at org.apac
147
后端
01-01 08:00
后端
Flink TaskManager 内存模型详解
Apache Flink 通过严格控制其各个组件的内存使用,在 JVM 之上提供了高效的工作负载。虽然社区努力为所有配置提供合理的默认值,但不可能适用于用户在 Flink 上部署的所有应用程序。为了...
146
代码人生
01-01 08:00
代码人生
Flink Sql Gateway的原理与实践
Flink Sql Gateway的原理与实践,1背景我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStreamAPI,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵活且表达性强,但对用户具有一定的开发门槛,并且随着版本的不断更新,DataStreamAPI也有很多老版本不兼容的问题。所以FlinkSQL就成了广大开发用户的最佳选择,之所
145
代码人生
01-01 08:00
代码人生
Flink Window机制详解
Flink Window机制详解,Windows是处理无线数据流的核心,它将流分割成有限大小的桶(buckets),并在其上执行各种计算。窗口化的Flink程序的结构通常如下,有分组流(keyedstreams)和无分组流(non-keyedstreams)两种。两者的不同之处在于,分组流中调用了keyBy(...)方法,无分组流中使用windowAll(...)替代分组流中的window(...
145
后端
01-01 08:00
后端
Flink异步之矛-锋利的Async I/O
Flink异步之矛-锋利的Async I/O,Flink异步之矛-锋利的AsyncI/O大数据技术与架构大数据技术与架构维表JOIN-绕不过去的业务场景在Flink流处理过程中,经常需要和外部系统进行交互,用维度表补全事实表中的字段。例如:在电商场景中,需要一个商品的skuid去关联商品的一些属性,例如商品所属行业、商品的生产厂家、生产厂家的一些情况;在物流场景中,知道包裹id,需要去关联包裹的行
145
代码人生
01-01 08:00
代码人生
Flink 消费kafka写入ElasticSearch
Flink 消费kafka写入ElasticSearch,目标通过Flink自带的ElasticSearchConnector,将Kafka中的数据经过Flink处理后然后存储到ElasticSearch。pomes的版本根据自己实际使用的版本进行配置,我这里线上使用的是es7;kafka根据自己使用的scala版本进行配置;org.apache.flinkflink-sql-connector-
142
后端
01-01 08:00
后端
flink整合spring boot
Flink框架:Flink整合springboot 首先说一下, 为什么flink 需要集成flink, spring boot给我们带来了更好的框架整合, 同时使用spring的DI和IOC,能更...
140
代码人生
01-01 08:00
代码人生
Flink中如何实现一个自定义MetricReporter
Flink中如何实现一个自定义MetricReporter,什么是Metrics在flink任务运行的过程中,用户通常想知道任务运行的一些基本指标,比如吞吐量、内存和cpu使用情况、checkpoint稳定性等等。而通过flinkmetrics这些指标都可以轻而易举地获取到,避免任务的运行处于黑盒状态,通过分析这些指标,可以更好的调整任务的资源、定位遇到的问题、对任务进行监控。接下来本文将介绍fl
138
«
1
2
3
4
5
6
7
8
...
14
15
»