一、实验介绍

1.1实验内容

实验在Hadoop集群上部署Kafka分布式发布订阅消息系统，并完成kafka消息管理验证。

1.2实验知识点

Kafka集群部署
Kafka消息处理流程

1.3实验环境

Kafka2.11
网易云平台

1.4实验资源

1.5实验步骤清单

kafka安装部署（安装kafka、配置kafka集群环境）
kafka消息管理（master主机创建topic、查看topic、创建生产者、创建消费者）

二、实训架构

三、实验环境准备

进入实验列表，找到Kafka，点击开启实验，启动master、slave1及salve2，slave3。

四、实验步骤

4.1安装部署

4.1.1配置hosts文件及zookeeper的myid

#hosts文件末尾加入如下内容(masterip、slave1ip及slave2ip是这三台机器的ip地址

#slave1修改为2
[root@slave1 ~]# echo 2 >/usr/local/zookeeper/data/myid
#slave2修改为3
[root@slave2 ~]# echo 3 > /usr/local/zookeeper/data/myid
#slave2修改为4
[root@slave3 ~]# echo 4 > /usr/local/zookeeper/data/myid

#让三台机器profile环境变量生效
source /etc/profile

4.1.2安装Kafka

#解压安装Kafka
tar zxvf /opt/software/package/kafka_2.11-2.1.1.tgz -C /usr/local/

#重命名kafka
mv /usr/local/kafka_2.11-2.1.1/ /usr/local/kafka

#配置master kafka
vim /usr/local/kafka/config/server.properties
找到下面两行代码并分别注释
#broker.id=0
#zookeeper.connect=localhost:2181

在文件底部添加如下三个配置

broker.id=1
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
listeners = PLAINTEXT://master:9092

配置说明
broker.id：每台机器不能一样
zookeeper.connect：因为实验环境中有3台zookeeper服务器，所以在这里zookeeper.connect设置为3台，必须全部加进去
listeners：Socket服务器侦听的地址，在配置集群的时候必须设置。

4.1.3配置kafka集群环境

1、拷贝kafka到另外三台服务器
scp -r /usr/local/kafka root@slave1:/usr/local/
scp -r /usr/local/kafka root@slave2:/usr/local/
scp -r /usr/local/kafka root@slave3:/usr/local/

2、修改这三台服务器的broker.id和listeners
#修改slave1
vim /usr/local/kafka/config/server.properties

broker.id=2
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
listeners = PLAINTEXT://slave1:9092

#修改slave2
vim /usr/local/kafka/config/server.properties

broker.id=3
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
listeners = PLAINTEXT://slave2:9092

#修改slave3
vim /usr/local/kafka/config/server.properties

broker.id=4
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181
listeners = PLAINTEXT://slave3:9092

3、启动zookeeper
#启动四台虚拟主机的zookeeper
zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/…/conf/zoo.cfg
Starting zookeeper … STARTED

4、启动kafka
#启动四台虚拟主机的kafka
启动之前先且到bin目录下，用如下命令：cd /usr/local/kafka/bin
./kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

5、jps命令检查是否启动成功
#Master主机检查

#Slave1主机检查

#Slave2主机检查

#Slave3主机检查

4.2 Kafka消息管理

4.2.1 master主机创建topic

/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
如果成功的话，会输出：Created topic “test”.

4.2.2查看topic

#在master主机查看
/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper master:2181

#在Slave1主机查看
/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper master:2181

4.2.3创建生产者

#在master创建发布者
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list master:9092 --topic test
#生产消息

test hello
test world

4.2.4创建消费者

#在slave2上创建消费者
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic test --from-beginning

五、实验总结

Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka的使用依赖于zookeeper,安装Kafka前必须先安装zookeeper。Kafka集群包含一个或多个服务器，这种服务器被称为broker,Producer负责发布消息到Kafka broker,Consumer消息消费者，从Kafka broker读取消息的客户端。