首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
kafka
相关资讯
热门
最新
后端
01-01 08:00
后端
Kafka源码分析17-如何处理超时的批次
Kafka源码分析17-如何处理超时的批次,上文Kafka源码分析16-消息有异常如何处理?分析了消息异常了Producer如何处理,本文将分析Producer如何处理超时的批次?继续看Sender的poll()方法:voidrun(longnow){/***步骤六:*对超时的批次是如何处理的?*/ListexpiredBatches=this.accumulator.abortExpiredBa
125
代码人生
01-01 08:00
代码人生
kafka参数配置文件详解(elk日志分析系统操作方法)
kafka参数配置文件详解(elk日志分析系统操作方法),ApacheKafka原理分区副本机制Kafka有三层结构:Kafka有多个主题,每个主题有多个分区,每个分区又有多条消息。分区机制:主要解决了单台服务器存储容量有限和单台服务器并发数限制的问题。一个分片的不同副本不能放到同一个broker上。当主题数据量非常大的时候,一个服务器存放不了,就将数据分成两个或者多个部分,存放在多台服务器上。每
122
后端
01-01 08:00
后端
Kafka 消息存储机制
Kafka 消息存储机制,Kafka消息存储机制Kafka消息以Partition作为存储单元,那么在Partition内消息是以什么样的格式存储的呢,如何处理Partition中的消息,又有哪些安全策略来保证消息不会丢失呢,这一篇我们一起看看这些问题。Partition文件存储方式#每个Topic的消息被一个或者多个Partition进行管理,Partition是一个有序的,不变的消息队列,消息
121
后端
01-01 08:00
后端
Kafka 系统学习
Apache Kafka 是什么? Kafka 是基于发布与订阅的消息系统。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一个分布式的,可分区的,冗余备份...
121
后端
01-01 08:00
后端
Kafka 核心概念详解
Kafka 核心概念详解,Kafka核心概念生产者(Producer)生产者(Producer)顾名思义,生产者就是产生消息的组件,它的主要工作就是源源不断地生产出消息,然后发送给消息队列。生产者可以向消息队列发送各种类型的消息,如狭义的字符串消息,也可以发送二进制消息。生产者是消息队列的数据来源,只有通过生产者持续不断地向消息队列发送消息,消息队列才能不断地处理消息。消费者(Consumer)消
119
后端
01-01 08:00
后端
kafka在高并发情况下常见问题
kafka在高并发情况下常见问题,1、kafka在高并发的情况下,如何避免消息丢失和消息重复?消息丢失解决方案:首先对kafka进行限速,其次启用重试机制,重试间隔时间设置长一些,最后Kafka设置acks=all,即需要相应的所有处于ISR的分区都确认收到该消息后,才算发送成功消息重复解决方案:消息可以使用唯一id标识生产者(ack=all代表至少成功发送一次)消费者(offset手动提交,业务
119
代码人生
01-01 08:00
代码人生
kafka新老集群平滑迁移实践
kafka新老集群平滑迁移实践,前言公司一直使用云上的kafka服务,随着业务规模和体量的增大,使用云上的服务成本相对比较高,所以考虑本地自建kafka集群对外提供服务。因此,需要把正在运行的还在使用云上kafka的业务服务迁移到本地自建集群上。要求代码改动小升级过程中的稳定性升级后消息发送与消费的正确性迁移方案双写/双读顾名思义,生产端:消息同时发送新、老集群,消费端:同时消费两个集群的消息。等
119
后端
01-01 08:00
后端
Kafka-无认证+SASL/SCRAM
Kafka-无认证+SASL/SCRAM,说明:最早生产环境采用kafka单节点并且没有认证方式,现在考虑到安全问题,需要增加认证。因涉及到的业务系统过多,不容易协调统一变更,所以无认证方式+认证方式并存(SCRAM可以动态增加用户)测试环境验证大体步骤无认证方式启动zk+kafka创建主题并生产增加安全端口认证9092无认证9093端口认证使用无认证9092端口消费/使用认证9093端口消费实施
116
后端
01-01 08:00
后端
kafka——AdminClient API
一、Kafka 核心 API 下图是官方文档中的一个图,形象的描述了能与 Kafka集成的客户端类型 Kafka的五类客户端API类型如下: AdminClient API:允许管理和检测Topic...
115
代码人生
01-01 08:00
代码人生
KafKa介绍(分布式架构)
KafKa介绍(分布式架构) 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的
114
«
1
2
3
4
5
6
7
8
9
10
11
»