首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
kafka
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
kafka的架构(kafka的架构包括哪些组件)
kafka的架构(kafka的架构包括哪些组件),架构案例KafkaCluster:由多个服务器组成。每个服务器单独的名字broker(掮客)。kafkabroker:kafka集群中包含的服务器KafkaProducer:消息生产者、发布消息到kafka集群的终端或服务。Kafkaconsumer:消息消费者、负责消费数据。KafkaTopic:主题,一类消息的名称。存储数据时将一类数据存放在某
194
代码人生
01-01 08:00
代码人生
kafka新老集群平滑迁移实践
kafka新老集群平滑迁移实践,前言公司一直使用云上的kafka服务,随着业务规模和体量的增大,使用云上的服务成本相对比较高,所以考虑本地自建kafka集群对外提供服务。因此,需要把正在运行的还在使用云上kafka的业务服务迁移到本地自建集群上。要求代码改动小升级过程中的稳定性升级后消息发送与消费的正确性迁移方案双写/双读顾名思义,生产端:消息同时发送新、老集群,消费端:同时消费两个集群的消息。等
122
代码人生
01-01 08:00
代码人生
Kafka 生产者
Kafka 生产者,Kafka生产者Kafka生产者用于生产消息。通过前面的内容我们知道,Kafka的topic可以有多个分区,那么生产者如何将这些数据可靠地发送到这些分区?生产者发送数据的不同的分区的依据是什么?针对这两个疑问,这里简单记录下。为何要分区方便在集群中扩展,每个分区Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可
105
代码人生
01-01 08:00
代码人生
kafka 源码调试环境搭建以及踩坑记录
kafka 源码调试环境搭建以及踩坑记录,前言闲来无事想搭看看kafka源码,本以为是个非常简单的事情,结果,遇到的坑困扰我一整天搭建步骤准备gradlescalajvm(自行安装)kafka源码包idea(自行安装)zk(自行安装)gradle下载地址为:gradle.org/releases/,笔者使用的版本是3.1配置环境变量解压之后将路径添加到环境变量中即可,其中GRADLE_HOME/b
96
后端
01-01 08:00
后端
kafka在高并发情况下常见问题
kafka在高并发情况下常见问题,1、kafka在高并发的情况下,如何避免消息丢失和消息重复?消息丢失解决方案:首先对kafka进行限速,其次启用重试机制,重试间隔时间设置长一些,最后Kafka设置acks=all,即需要相应的所有处于ISR的分区都确认收到该消息后,才算发送成功消息重复解决方案:消息可以使用唯一id标识生产者(ack=all代表至少成功发送一次)消费者(offset手动提交,业务
122
后端
01-01 08:00
后端
kafka 消息丢失和重复消费
kafka 消息丢失和重复消费,在使用mq中间件时,如果消费数据处理不当可能会引起消息丢失和重复消费的问题。本文针对kafka的这两个问题进行场景分析和可行性方案说明。消息丢失消息丢失一般指消息发送方producer和消息消费方consumer两方面。producer消息发送方可以通过配置request.required.acks属性来保证消息的安全发送,值包括:0:表示不进行消息接收是否成功的确
99
后端
01-01 08:00
后端
Kafka 常用操作命令
Kafka 常用操作命令,Kafka常用操作命令操作命令查询系统的所有Topic#获取所有的主题./bin/kafka-topics.sh--list--zookeeperlocalhost:2181#或者./bin/kafka-topics.sh--bootstrap-serverlocalhost:9092--list#结果#__consumer_offsets#myTopic复制代码__co
103
后端
01-01 08:00
后端
Kafka 分区介绍
Kafka 分区介绍,Kafka分区关于Kafka分区每一个分区都是一个有序、不可变的消息序列,后续新来的消息会源源不断、持续追加到分区的后面,这相当于一种结构化的提交日志(类似于Git的提交日志)分区中的每一条消息都会被分配一个连续的id值(即offset),该值用于唯一标识分区中的每一条消息。分区中的消息是存储到日志中的,而且同一个分区中的消息数据是按照发送顺序严格有序的。分区在逻辑上对应的日
85
后端
01-01 08:00
后端
Kafka 核心概念详解
Kafka 核心概念详解,Kafka核心概念生产者(Producer)生产者(Producer)顾名思义,生产者就是产生消息的组件,它的主要工作就是源源不断地生产出消息,然后发送给消息队列。生产者可以向消息队列发送各种类型的消息,如狭义的字符串消息,也可以发送二进制消息。生产者是消息队列的数据来源,只有通过生产者持续不断地向消息队列发送消息,消息队列才能不断地处理消息。消费者(Consumer)消
122
后端
01-01 08:00
后端
Kafka 核心概念介绍
Kafka 核心概念介绍,Kafka概述特征发布订阅基于消息队列实时的方式对事件进行响应分布式的系统中存储内存基于消息队列的编程传统调用,在应用之间传统应用基于接口协议(http/rpc)直接调用的方式来进行通讯。缺点:强耦合解耦,如果我们通过MQ来进行通讯,那么可以做到系统之间的,服务之间不进行直接的调用。缓冲流量,如果请求数量过大的时候KafkaMQ可以缓冲流量。做到流量的消峰,保证服务的安全
101
«
1
2
3
4
5
6
7
8
9
10
11
»