首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
flink
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
Flink源码分析-06-JobGraph生成
Flink源码分析-06-JobGraph生成,在DataStream基础中,由于其中的内容较多,只是介绍了JobGraph的结果,而没有涉及到StreamGraph到JobGraph的转换过程。本篇我们来介绍下JobGraph的生成的详情,重点是Operator可以串联成Chain的条件概念首先我们来回顾下JobGraph中的相关概念JobVertex:job的顶点,即对应的计算逻辑(这里用的是
55
代码人生
01-01 08:00
代码人生
Flink源码分析-07-作业Task运行
Flink源码分析-07-作业Task运行,上一篇我们分析了Flink部署集群的过程和作业提交的方式,本篇我们来分析下,具体作业是如何被调度和计算的。具体分为2个部分来介绍作业运行的整体框架,对相关的重要角色有深入了解计算流程,重点是如何调度具体的operator机制概览首先我们来了解下整体的框架JobMaster:计算框架的主节点,负责运行单个JobGraph,包括任务的调度,资源申请和Task
59
代码人生
01-01 08:00
代码人生
Flink 在风控场景实时特征落地实战
Flink 在风控场景实时特征落地实战,背景介绍风控简介二十一世纪,信息化时代到来,互联网行业的发展速度远快于其他行业。一旦商业模式跑通,有利可图,资本立刻蜂拥而至,助推更多企业不断的入场进行快速的复制迭代,企图成为下一个“行业领头羊”。带着资本入场的玩家因为不会有资金的压力,只会更多的关注业务发展,却忽略了业务上的风险点。强大如拼多多也被“薅羊毛”大军光顾损失千万。风控,即风险管理(riskma
62
代码人生
01-01 08:00
代码人生
Flink Table Api $"" $("") '
Flink Table Api $"" $("") ' case class Person(var id: Int, var name:String, var age: Int); val tPerson: Table = tableEnv.from("person") 如上:如果我们要选择 id 字段,方法如下 $"id": 定义该隐式转换的类如下 implicit class FieldExpr
51
代码人生
01-01 08:00
代码人生
flink部署模式
flink部署模式 flink的部署模式有两种:一种是单独部署,一种是yarn来进行一个资源的调度 Standalone模式: flink自己来做一个资源的调度分配,通常结合Zookeeper来进行一个高可用。 Yarn模式: yarn模式下又分成两种,一种是 Session-Cluster ,另一种是 Per-Job-Cluster。 Session-Cl
60
代码人生
01-01 08:00
代码人生
Flink源码阅读(五)——Flink中任务相关的核心类简析
Flink源码阅读(五)——Flink中任务相关的核心类简析 0. 背景 本文基于Flink 1.12; 本文将沿着从程序开发到任务执行这条主线涉及到的核心类做简要解析; 1. 代码编写阶段 1.1. DataStream DataStream描述的是具有相同类型的数据流,其提供了多种对流数据进行转换的接口。算子的底层是通过具体的Transformation实现的。 1.2. TypeInformation F
55
代码人生
01-01 08:00
代码人生
flink clickhouse-jdbc和flink-connector 写入数据到clickhouse因为jar包冲突导致的60 seconds.Please check if the requested resources are available in the YARN cluster和Could not resolve ResourceManager address akka报错血案
flink clickhouse-jdbc和flink-connector 写入数据到clickhouse因为jar包冲突导致的60 seconds.Please check if the requested resources are available in the YARN cluster和Could not resolve ResourceManager address akka报错血案 一、问题现象,使用flink on yarn 模式,写入数据到cli
63
代码人生
01-01 08:00
代码人生
Flink基础(122):FLINK-SQL语法 (16) DQL(8) OPERATIONS(5) 窗口 (3)Group Aggregation
Flink基础(122):FLINK-SQL语法 (16) DQL(8) OPERATIONS(5) 窗口 (3)Group Aggregation 0 Group Aggregation (简介) Batch Streaming Like most data systems, Apache Flink supports aggregate functions; both built-in and user-defined. mus
64
代码人生
01-01 08:00
代码人生
Flink基础(132):FLINK-SQL语法 (26) DQL(18) OPERATIONS(15)Deduplication 去重
Flink基础(132):FLINK-SQL语法 (26) DQL(18) OPERATIONS(15)Deduplication 去重 Deduplication Batch Streaming Deduplication removes rows that duplicate over a set of columns, keeping only the first one or the last one. In some cases,
66
代码人生
01-01 08:00
代码人生
Flink基础(128):FLINK-SQL语法 (22) DQL(14) OPERATIONS(11) Joins(5) 其他
Flink基础(128):FLINK-SQL语法 (22) DQL(14) OPERATIONS(11) Joins(5) 其他 Array Expansion(数组展开) 为给定数组中的每个元素返回新行 SELECT order_id, tagFROM Orders CROSS JOIN UNNEST(tags) AS t (tag) Table Function 连接表和 Table Func
69
«
1
2
3
4
5
6
7
8
...
14
15
»