首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
ka
相关资讯
热门
最新
后端
01-01 08:00
后端
Kafka 常用操作命令
Kafka 常用操作命令,Kafka常用操作命令操作命令查询系统的所有Topic#获取所有的主题./bin/kafka-topics.sh--list--zookeeperlocalhost:2181#或者./bin/kafka-topics.sh--bootstrap-serverlocalhost:9092--list#结果#__consumer_offsets#myTopic复制代码__co
109
后端
01-01 08:00
后端
Kafka 分区介绍
Kafka 分区介绍,Kafka分区关于Kafka分区每一个分区都是一个有序、不可变的消息序列,后续新来的消息会源源不断、持续追加到分区的后面,这相当于一种结构化的提交日志(类似于Git的提交日志)分区中的每一条消息都会被分配一个连续的id值(即offset),该值用于唯一标识分区中的每一条消息。分区中的消息是存储到日志中的,而且同一个分区中的消息数据是按照发送顺序严格有序的。分区在逻辑上对应的日
86
后端
01-01 08:00
后端
Kafka 核心概念详解
Kafka 核心概念详解,Kafka核心概念生产者(Producer)生产者(Producer)顾名思义,生产者就是产生消息的组件,它的主要工作就是源源不断地生产出消息,然后发送给消息队列。生产者可以向消息队列发送各种类型的消息,如狭义的字符串消息,也可以发送二进制消息。生产者是消息队列的数据来源,只有通过生产者持续不断地向消息队列发送消息,消息队列才能不断地处理消息。消费者(Consumer)消
123
后端
01-01 08:00
后端
Kafka 核心概念介绍
Kafka 核心概念介绍,Kafka概述特征发布订阅基于消息队列实时的方式对事件进行响应分布式的系统中存储内存基于消息队列的编程传统调用,在应用之间传统应用基于接口协议(http/rpc)直接调用的方式来进行通讯。缺点:强耦合解耦,如果我们通过MQ来进行通讯,那么可以做到系统之间的,服务之间不进行直接的调用。缓冲流量,如果请求数量过大的时候KafkaMQ可以缓冲流量。做到流量的消峰,保证服务的安全
102
后端
01-01 08:00
后端
Kaggle入门,一篇就够!Digit Recognizer 详解。
Kaggle入门,一篇就够!Digit Recognizer 详解。,前言目前kaggle的入门教程也挺多的,但有几个缺点,有些是比较老旧的,代码在新的版本下跑不通,这对于新手而言是很艰难的。(更有些还是py2的代码);有一些则是有原理没实现,有实现没原理,总而言之,好的入门教程不多。(不多也就是有,此处我附上另一个我觉得写的不错的教程在文末,有兴趣的同学可以去参考一下,当然直接看我这篇也是ok的
174
后端
01-01 08:00
后端
Kafka源码分析16-消息有异常如何处理?
Kafka源码分析16-消息有异常如何处理?,privatevoidcompleteBatch(RecordBatchbatch,ProduceResponse.PartitionResponseresponse,longcorrelationId,longnow){//如果处理成功那就是成功了,但是如果服务端那儿处理失败了,是不是也要给我们发送回来异常的信息。//error这个里面存储的就是服务
96
后端
01-01 08:00
后端
Kafka源码分析17-如何处理超时的批次
Kafka源码分析17-如何处理超时的批次,上文Kafka源码分析16-消息有异常如何处理?分析了消息异常了Producer如何处理,本文将分析Producer如何处理超时的批次?继续看Sender的poll()方法:voidrun(longnow){/***步骤六:*对超时的批次是如何处理的?*/ListexpiredBatches=this.accumulator.abortExpiredBa
131
后端
01-01 08:00
后端
Kafka源码分析15-消息发送完了内存怎么处理?
Kafka源码分析15-消息发送完了内存怎么处理?,Kafka源码分析14-如何处理响应消息Producer已经成功把消息发送出去了,本文分析生产者成功发送消息之后内存怎么处理?直接看Sender线程的completeBatch()方法:privatevoidcompleteBatch(RecordBatchbatch,ProduceResponse.PartitionResponserespon
97
后端
01-01 08:00
后端
Kafka源码分析14-如何处理响应消息
Kafka源码分析14-如何处理响应消息,本文分析Producer如何响应消息,NetworkClient的poll():publicListpoll(longtimeout,longnow){/***在这个方法里面有涉及到kafka的网络的方法,但是*目前我们还没有给大家讲kafka的网络,所以我们分析的时候*暂时不用分析得特别的详细,我们大概知道是如何获取到元数据*即可。等我们分析完了kafk
89
后端
01-01 08:00
后端
Kafka源码分析10-Producer终于和broker建立连接了
Kafka源码分析10-Producer终于和broker建立连接了,从Kafka源码分析9-若网络没建立好会发送消息吗中得知,如果网络没有建立完成,是不会发送消息的。本文就讲解producer与broker是如何建立连接的,直接看sender线程的步骤八:{//省略。。/***步骤八:*真正执行网络操作的都是这个NetWorkClient这个组件*包括:发送请求,接受响应(处理响应)*///我们
88
«
1
2
...
8
9
10
11
12
13
14
...
17
18
»