首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
kafka
相关资讯
热门
最新
百科问答
01-01 08:00
百科问答
kafka概念体系
kafka概念体系 参考 zk与kafka的基本交互关系 1,kafaka集群的 broker,和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。 2,Producer 把数据上传到 Broker,Producer可以指定数据有几个分区、几个备份。上面的图中,数据有两个分区 0、1,每个分区都有自己的副本:0‘、
71
后端
01-01 08:00
后端
Kafka服务端之日志存储
日志存储 基本概念 为了提高写入的性能,同一个分区中的消息是顺序写入的,这就避免了随机写入带来的性能问题。一个Topic可以划分成多个f分区,而每个分区又有多个副本。当一个分区的副本(无论是Lead...
70
后端
01-01 08:00
后端
Kafka服务端之KafkaController
[TOC]在上一节对副本机制的实现进行了分析,其中提到Broker能够处理来自KafkaController的LeaderAndIsrRequest、StopReplicaRequest、Updat...
70
代码人生
01-01 08:00
代码人生
Kafka为什么这么快?
Kafka为什么这么快?,前言:讲解透彻,从存储到系统,硬件,网络细节综合考虑问:讲讲kafka为什么这么快?答:kafka的快是从底层设计,到充分利用硬件,系统,压缩等等特性,综合产生的结果。要理解kafka为什么这么快,要从以下几个方面如下:1.磁盘读写原理2.利用Pagecache+mmap3.零拷贝4.存储设计5.批量读写6.批量压缩7.消息写入过程8.消息读取过程一磁盘读写原理磁盘的结构
70
代码人生
01-01 08:00
代码人生
kafka的两种Consumer API
kafka的两种Consumer API kafka的两种Consumer API High Level Consumer API和Low Level Consumer API High Level Consumer API 这个API的重点在于屏蔽,围绕Consumer Group这个概念展开,屏蔽了每个Topic的每个Partition的Offset管理(自动读取zookeeper中该Con
68
后端
01-01 08:00
后端
kafka broker如何保证消息不丢失
kafka中的HW、LEO、LSO、LW等分别代表什么? ISR与HW和LEO也有紧密的关系,HW是High Watermak的缩写, 俗称高水位,它表示了一个特定消息的偏移量(offset),...
68
后端
01-01 08:00
后端
Kafka源码分析18-如何处理长时间没有接收到响应的消息
Kafka源码分析18-如何处理长时间没有接收到响应的消息,我们直接看NetworkClient的poll()方法:publicListpoll(longtimeout,longnow){//步骤三:处理响应,响应里面就会有我们需要的元数据。handleAbortedSends(responses);handleCompletedSends(responses,updatedNow);/***这个
67
后端
01-01 08:00
后端
Kafka服务端之日志存储
日志存储 基本概念 为了提高写入的性能,同一个分区中的消息是顺序写入的,这就避免了随机写入带来的性能问题。一个Topic可以划分成多个f分区,而每个分区又有多个副本。当一个分区的副本(无论是Lead...
66
后端
01-01 08:00
后端
Kafka Connect 实战 ---- 入门
前提 首先你需要了解MQ / Kafka相关的知识 本文目标 了解 Kafka Connect 基本概念与功能 什么是Kafka Connect Kafka Connect 是一款可扩展并且可靠地在...
65
后端
01-01 08:00
后端
Kafka原理概要
[TOC] 集群成员间的关系 我们知道,Kafka 是运行在 ZooKeeper 之上的,因为 ZooKeeper 是以集群形式出现的,所以 Kafka 也可以以集群形式出现。这也就涉及到多个生产者...
60
«
1
2
3
4
5
6
7
8
9
10
11
»