阅读 26 SEO

kafka集群搭建

image.png

0. 服务器准备

  • 服务器规划
IP hostname 服务 服务
10.10.xxx.61 kafka-01 zookeeper-01 kafka-01
10.10.xxx.62 kafka-01 zookeeper-02 kafka-02
10.10.xxx.63 kafka-01 zookeeper-03 kafka-03
  • hostname
    三台服务器hostname设置分别如上表
  • hosts
    /etc/hosts 文件添加如下内容
10.10.239.61     kafka-01
10.10.239.62     kafka-02
10.10.239.63     kafka-03
  • java环境已安装

1. zookeeper集群

1.1 下载

下载地址: https://mirrors.bfsu.edu.cn/apache/zookeeper/

image.png

下载带bin的这个tar包,另一个现在的版本是源码。

下载错了报错如下

 [root@kafka-01 logs]# tailf zookeeper-root-server-kafka-01.out
错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain

1.2 拷贝

  • 拷贝
    下载完毕,分别拷贝到3台服务器的/data目录(我服务器的数据盘),解压缩如下。
[root@kafka-01 data]# ls
apache-zookeeper-3.6.2-bin  apache-zookeeper-3.6.2-bin.tar.gz
[root@kafka-01 data]# pwd
/data
  • 软连接
    因为目录放在数据盘且目录名保留了版本号,为了使用方便,我在/opt下创建一个软连接:
[root@kafka-01 data]# ln -s /data/apache-zookeeper-3.6.2-bin /opt/zookeeper
[root@kafka-01 opt]# ll
总用量 4
lrwxrwxrwx  1 root root   32 3月   2 13:28 zookeeper -> /data/apache-zookeeper-3.6.2-bin

1.3 配置变量

/etc/profile 文件添加如下内容:

###### zookeeper #############
export ZK_HOME=/opt/zookeeper
export PATH=$ZK_HOME/bin:$PATH

引用变量

[root@kafka-01 opt]# source /etc/profile

1.4 配置

  • 复制配置文件
[root@kafka-01 opt]# cd /opt/zookeeper/conf/
[root@kafka-01 conf]# ll
总用量 16
-rw-r--r-- 1 cloud_user cloud_user  535 9月   4 20:43 configuration.xsl
-rw-r--r-- 1 cloud_user cloud_user 3435 9月   4 20:43 log4j.properties
-rw-r--r-- 1 cloud_user cloud_user 1148 9月   4 20:43 zoo_sample.cfg
[root@kafka-01 conf]# cp zoo_sample.cfg zoo.cfg
  • 修改zoo.cfg 文件如下:
# 修改数据目录(这个目录稍后创建)
dataDir=/opt/zookeeper/data
#添加集群信息(后边myid需要和这个一致)。
server.1=10.10.xxx.61:2888:3888
server.2=10.10.xxx.62:2888:3888
server.3=10.10.xxx.63:2888:3888
  • 创建数据目录
[root@kafka-01 conf]# cd /opt/zookeeper/
[root@kafka-01 zookeeper]# mkdir data
  • myid
    给个节点写入myid,需要和前边配置文件中一致。三台分别写入1,2,3。
[root@kafka-01 zookeeper]# cd data/
[root@kafka-01 data]# echo 1 > myid

1.5 启动

  • 启动
[root@kafka-01 data]# zkServer.sh start
[root@kafka-01 data]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      941/sshd
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1392/master
tcp6       0      0 :::17822                :::*                    LISTEN      941/sshd
tcp6       0      0 :::37923                :::*                    LISTEN      17244/java
tcp6       0      0 :::2181                 :::*                    LISTEN      17244/java
tcp6       0      0 10.10.239.61:3888       :::*                    LISTEN      17244/java
tcp6       0      0 :::8080                 :::*                    LISTEN      17244/java
tcp6       0      0 :::22                   :::*                    LISTEN      941/sshd
tcp6       0      0 ::1:25                  :::*                    LISTEN      1392/master
  • 设置开机启动
[root@kafka-01 init.d]# cat  > /etc/init.d/zookeeper.sh << EOF 
#!/bin/sh
#chkconfig: 2345 55 56
#description:zookeeper.sh
source /etc/profile
zkServer.sh start
EOF
[root@kafka-01 init.d]# chmod 755 /etc/init.d/zookeeper.sh
[root@kafka-01 init.d]# systemctl enable zookeeper.sh
zookeeper.sh.service is not a native service, redirecting to /sbin/chkconfig.
Executing /sbin/chkconfig zookeeper.sh on

说明:
脚本中引用一下profile文件,因为子shell中读不到JAVA_HOME 和 ZK_HOME

2. kafka

2.1 下载

2.2 拷贝到服务器

  • 下载完毕后,拷贝到/data 目录下,并解压缩。结果如下:
[root@kafka-01 data]# ll
总用量 79224
drwxr-xr-x 8 root root     4096 3月   2 13:37 apache-zookeeper-3.6.2-bin
-rw-r--r-- 1 root root 12515974 3月   2 13:27 apache-zookeeper-3.6.2-bin.tar.gz
drwxr-xr-x 7 root root     4096 3月   2 15:28 kafka_2.13-2.7.0
-rw-r--r-- 1 root root 68583422 3月   2 15:07 kafka_2.13-2.7.0.tgz
drwx------ 2 root root    16384 3月   2 10:54 lost+found
  • 为方便使用,在/opt下创建一个软连接
[root@kafka-01 data]# ln -s /data/kafka_2.13-2.7.0 /opt/kafka
[root@kafka-01 data]# cd /opt/
[root@kafka-01 opt]# ll
总用量 4
lrwxrwxrwx  1 root root   22 3月   2 15:33 kafka -> /data/kafka_2.13-2.7.0
lrwxrwxrwx  1 root root   32 3月   2 13:28 zookeeper -> /data/apache-zookeeper-3.6.2-bin

2.2 配置文件

  • config目录
[root@kafka-01 config]# cd /opt/kafka/config/
[root@kafka-01 config]# ll
总用量 72
-rw-r--r-- 1 root root  906 12月 16 21:58 connect-console-sink.properties
-rw-r--r-- 1 root root  909 12月 16 21:58 connect-console-source.properties
-rw-r--r-- 1 root root 5321 12月 16 21:58 connect-distributed.properties
-rw-r--r-- 1 root root  883 12月 16 21:58 connect-file-sink.properties
-rw-r--r-- 1 root root  881 12月 16 21:58 connect-file-source.properties
-rw-r--r-- 1 root root 2247 12月 16 21:58 connect-log4j.properties
-rw-r--r-- 1 root root 2540 12月 16 21:58 connect-mirror-maker.properties
-rw-r--r-- 1 root root 2262 12月 16 21:58 connect-standalone.properties
-rw-r--r-- 1 root root 1221 12月 16 21:58 consumer.properties
-rw-r--r-- 1 root root 4674 12月 16 21:58 log4j.properties
-rw-r--r-- 1 root root 1925 12月 16 21:58 producer.properties
-rw-r--r-- 1 root root 6888 3月   2 15:20 server.properties
-rw-r--r-- 1 root root 1032 12月 16 21:58 tools-log4j.properties
-rw-r--r-- 1 root root 1169 12月 16 21:58 trogdor.conf
-rw-r--r-- 1 root root 1205 12月 16 21:58 zookeeper.properties

我们需要修改 server.properties文件,修改如下:

  • 修改broker.id

三台不能一样,如分别是1,2,3

############################# Server Basics #############################
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
  • 链接zookeeper
zookeeper.connect=10.10.xxx.61:2181,10.10.xxx.62:2181,10.10.xxx.63:2181
  • 修改后,过滤注释和空格查看内容如下:
[root@kafka-01 config]# cat server.properties |grep -v "^#"|grep -v "^$"
broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.10.239.61:2181,10.10.239.62:2181,10.10.239.63:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

2.3 启动

  • 启动
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties 1>/dev/null 2>&1 &
  • 开机启动
[root@kafka-03 init.d]# cat > /etc/init.d/kafka.sh << EOF
#!/bin/sh
#chkconfig: 2345 56 55
#description:kafka.sh
#####################
source /etc/profile
cd /opt/kafka/logs
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &
EOF
[root@kafka-01 init.d]# chmod 755 /etc/init.d/kafka.sh
[root@kafka-01 init.d]# systemctl enable kafka.sh
kafka.sh.service is not a native service, redirecting to /sbin/chkconfig.
Executing /sbin/chkconfig kafka.sh on

3. 使用密码

  • 停止kafka
./kafka-server-stop.sh

3.1 配置文件

进入config目录修改如下文件

[root@kafka-01 config]# pwd
/opt/kafka/config
  • server.properties

说明:listeners的地址三台服务器根据实际情况填写各自的ip地址。

listeners=SASL_PLAINTEXT://10.10.xxx.61:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
  • kafka_server_jaas.conf
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="kafka"
    password="xxe888888"
    user_kafka="xxe888888"
    user_boe="xxe888888";
};
  • kafka_client_jaas.conf
    在config目录添加kafka_client_jaas.conf
KafkaClient {
        org.apache.kafka.common.security.plain.PlainLoginModule required
        username="mooc"
        password="xxe888888";
};

3.2 修改启动脚本

进入bin目录

[root@kafka-01 bin]# pwd
/opt/kafka/bin
  • kafka-server-start.sh
    修改kafka服务的用户名密码

说明:用${KAFKA_OPTS} 指定用户密码文件。注意写在执行kafka-run-class.sh 脚本前

if [ "x$KAFKA_OPTS" = "x"  ]; then
    export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf"
fi
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
  • kafka-console-producer.sh/ kafka-console-consumer.sh
    修改客户端的用户名密码。

说明:用${KAFKA_OPTS} 指定用户密码文件。注意写在执行kafka-run-class.sh 脚本前

if [ "x$KAFKA_OPTS" = "x"  ]; then
    export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka/config/kafka_client_jaas.conf"
fi
  • 启动服务
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties 1>/dev/null 2>&1 &

4. 测试

  • 创建topic
./kafka-topics.sh  --zookeeper localhost:2181 --create --topic Test  --partitions 1 --replication-factor 1
  • 生产者
    打开一个终端,执行如下命令,进入console后随便输入一串数字
[root@kafka-01 bin]# ./kafka-console-producer.sh   --broker-list 10.10.xxx.62:9092 --topic Test --producer-property security.protocol=SASL_PLAINTEXT --producer-property sasl.mechanism=PLAIN
>111
>hongjian
  • 消费者
    打开生产者的同时,打开一个消费者。可以看到接收到生产者的消息了。
[root@kafka-01 bin]# ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Test --consumer-property security.protocol=SASL_PLAINTEXT --consumer-property sasl.mechanism=PLAIN --from-beginning
111
hongjian

5. 其他问题

5.1 外网访问

只添加 advertised.listeners 这一行即可。

listeners=SASL_PLAINTEXT://172.xxx.28.149:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
advertised.listeners=SASL_PLAINTEXT://47.xxx.xxx.140:9092

5.2 kafka内存设置

  • kafka-eagle上可以看到如下信息
image.png
  • 增加内存只需要配置kafka服务的jvm虚拟机即可
    修改配置文件 /opt/kafka/bin/kafka-server-start.sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-server -Xms10G -Xmx10G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi
  • 重启kafka
    (略)
  • 查看结果


    image.png
----
![](http://upload-images.jianshu.io/upload_images/25672647-8ef7c8ad41ff3975.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1080/q/50)

作者:运维玄德公

原文链接:https://www.jianshu.com/p/514900a097d8

文章分类
后端
文章标签
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 gxwowoo@163.com 举报,一经查实,本站将立刻删除。
相关推荐