首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
后端
01-01 08:00
后端
flink相关概念介绍
Flink定义 Apache Flink is a framework and distributed processing engine for stateful computations ove...
63
后端
01-01 08:00
后端
Flink性能调优(一)
1 配置内存 操作场景 Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成...
63
代码人生
01-01 08:00
代码人生
Flink基础(127):FLINK-SQL语法 (21) DQL(13) OPERATIONS(10) Joins(4) Lookup Join
Flink基础(127):FLINK-SQL语法 (21) DQL(13) OPERATIONS(10) Joins(4) Lookup Join Lookup Join 通常用于通过连接外部表(维度表)补充信息,要求一个表具有处理时间属性,另一个表使 Lookup Source Connector(查看 Connector 特性)。 Lookup join 使用上面的处理时间 Temporal Join 语法,右侧的表支持 Lookup Source Conne
63
代码人生
01-01 08:00
代码人生
flink clickhouse-jdbc和flink-connector 写入数据到clickhouse因为jar包冲突导致的60 seconds.Please check if the requested resources are available in the YARN cluster和Could not resolve ResourceManager address akka报错血案
flink clickhouse-jdbc和flink-connector 写入数据到clickhouse因为jar包冲突导致的60 seconds.Please check if the requested resources are available in the YARN cluster和Could not resolve ResourceManager address akka报错血案 一、问题现象,使用flink on yarn 模式,写入数据到cli
63
代码人生
01-01 08:00
代码人生
Flink 在风控场景实时特征落地实战
Flink 在风控场景实时特征落地实战,背景介绍风控简介二十一世纪,信息化时代到来,互联网行业的发展速度远快于其他行业。一旦商业模式跑通,有利可图,资本立刻蜂拥而至,助推更多企业不断的入场进行快速的复制迭代,企图成为下一个“行业领头羊”。带着资本入场的玩家因为不会有资金的压力,只会更多的关注业务发展,却忽略了业务上的风险点。强大如拼多多也被“薅羊毛”大军光顾损失千万。风控,即风险管理(riskma
62
后端
01-01 08:00
后端
Flink 的状态管理实践
Flink 的状态管理实践,我们之前写的wordcount的例子,没有包含状态管理。如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(atleastonce,exactlyonce),Flink引入了state和checkpoint。因此可以说flink因为引入了state和checkpoint所以才支持的exactlyonce首
60
代码人生
01-01 08:00
代码人生
flink部署模式
flink部署模式 flink的部署模式有两种:一种是单独部署,一种是yarn来进行一个资源的调度 Standalone模式: flink自己来做一个资源的调度分配,通常结合Zookeeper来进行一个高可用。 Yarn模式: yarn模式下又分成两种,一种是 Session-Cluster ,另一种是 Per-Job-Cluster。 Session-Cl
60
后端
01-01 08:00
后端
Flink State、CheckPoint与Savepoint、Flink的Exactly Once
State State简述 State分类: Keyed state Operator state State两种形态: Raw State(原始状态)只需要继承RichFunction系列而不需要...
59
代码人生
01-01 08:00
代码人生
Flink源码分析-07-作业Task运行
Flink源码分析-07-作业Task运行,上一篇我们分析了Flink部署集群的过程和作业提交的方式,本篇我们来分析下,具体作业是如何被调度和计算的。具体分为2个部分来介绍作业运行的整体框架,对相关的重要角色有深入了解计算流程,重点是如何调度具体的operator机制概览首先我们来了解下整体的框架JobMaster:计算框架的主节点,负责运行单个JobGraph,包括任务的调度,资源申请和Task
59
代码人生
01-01 08:00
代码人生
Flink基础(123):FLINK-SQL语法 (17) DQL(9) OPERATIONS(6) 窗口 (4)Over Aggregation
Flink基础(123):FLINK-SQL语法 (17) DQL(9) OPERATIONS(6) 窗口 (4)Over Aggregation 0 Over Aggregation(简介) Batch Streaming OVER aggregates compute an aggregated value for every input row over a range of ordered rows. In contrast
57
«
1
2
...
7
8
9
10
11
12
13
14
15
»