博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kafka安装教程
阅读量:5966 次
发布时间:2019-06-19

本文共 2850 字,大约阅读时间需要 9 分钟。

 1.下载

下载地址:

以键头所指版本为例

 

2.安装

下载的版本已经编译,直接解压到想要的目录就算安装好了

tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/myapp

 

3.配置单节点

3.1 配置单节点zookeeper

我们使用kafka自带的zookeeper

cd /usr/myapp/kafka_2.11 #进入kafka主目录mkdir -p zk/data   #创建zookeeper数据存放目录mkdir -p zk/logs    #创建zookeeperl存放日志目录cd config       #进入配置文件所在目录mv zookeeper.properties zookeeper.properties.bak #将原配置文件移走cat > zookeeper.properties << EOFtickTime=2000dataDir=/usr/myapp/kafka_2.11/zk/datadataLogDir=/usr/myapp/kafka_2.11/zk/logsclientPort=2181EOF

到具体情况时注意修昨dataDir和dataLogDir为自己的相应目录

3.2 配置单结点kafka

cd /usr/myapp/kafka_2.11 #进入kafka主目录mkdir logs    #创建logs目录用于存放日志cd config       #进入配置文件所在目录mv server.properties server.properties.bak #将原配置文件移走 cat > server.properties << EOFbroker.id=1listeners=PLAINTEXT://192.168.220.128:9092num.network.threads=3num.io.threads=8socket.send.buffer.bytes=102400socket.receive.buffer.bytes=102400socket.request.max.bytes=104857600log.dirs=/usr/myapp/kafka_2.11/logsnum.partitions=1num.recovery.threads.per.data.dir=1offsets.topic.replication.factor=1transaction.state.log.replication.factor=1transaction.state.log.min.isr=1log.retention.hours=168log.segment.bytes=1073741824log.retention.check.interval.ms=300000zookeeper.connect=192.168.220.128:2181zookeeper.connection.timeout.ms=6000group.initial.rebalance.delay.ms=0EOF

上边配置的server.properties的内容基本都是原server.properties的默认配置,到自己安装时主要修改:

broker.id--broker的id;修改为任意自己想要的数值(和zookeeper中的id类似的)

listeners--监听址址;修改为kafka要监听的地址

log.dirs--日志文件存放目录;修改为自己要存放日志的目录

zookeeper.connect--zookeeper监听地址;修改为自己的zookeeper的监听地址,如果是集群所有地址全写上用逗号(半角)隔开即可

 

4.启动和停止

启动前要配置JAVA_HOME,不然无法启动(和tomcat一样虽然输出started了但并有有启,可查看kafkaServer.out)

启动:

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties    #启动zookeeper./kafka-server-start.sh -daemon ../config/server.properties           #启动kafka

停止:

./zookeeper-server-stop.sh    #停止zookeeper./kafka-server-stop.sh        #停止kafka,centos7上可能关不了用kill -9直接杀掉

查看是否有zookeeper和kafka进程:

jps

 

5.搭建集群

5.1 zookeeper改造

cd /usr/myapp/kafka_2.11/config     #进入配置文件路径cat >> zookeeper.properties << EOFinitLimit=5syncLimit=2server.1=192.168.220.128:2888:3888server.2=192.168.220.129:2888:3888server.3=192.168.220.130:2888:3888EOF echo '1' > ../zk/data/myid          #配置zookeeper的myid文件

 

5.2 kafka改造

编缉server.properties文件,将所有的zookeeper集群地址追加到zookeeper.connect后,每个地址间用逗号(半角)隔开即可

 

5.3 集群搭建

将上边安装配置好的kafka打包传到其创机器上,然后解压;

对于zookeeper,各机修改myid文件的为不同的值,然后各机重启zookeeper即可。

对于kafka,各机修改server.properties中的broker.id为不同的值listeners修改为本各机IP,然后各机重启kafka即可。

 

6.测试是否可用

创建topics:

./kafka-topics.sh --create --zookeeper 192.168.220.128:2181 --replication-factor 2 --partitions 1 --topic test_topics

在一台上创建生产者:

./kafka-console-producer.sh --broker-list 192.168.220.128:9092 --topic test_topics

在另一台上创建消费者:

./kafka-console-consumer.sh --zookeeper 192.168.220.128:2181 --topic test_topics --from-beginning

正常的话在生产者中输入的内容,会在消费者端输出。

 

参考:

转载地址:http://mlmax.baihongyu.com/

你可能感兴趣的文章
VBS操作注册表设置新建读取,删除等操作(更新中)
查看>>
算法(Algorithms)第4版 练习 2.1.24
查看>>
Pycharm选择pyenv安装的Python版本
查看>>
?Sized 和 Sized
查看>>
Java中如何防止内存泄漏的发生
查看>>
Java中Int转byte分析
查看>>
滑动窗口最大值的golang实现
查看>>
初学Phreeze 3
查看>>
会计的思考(17):还原会计报表的企业个性之一
查看>>
java对象初始化顺序的简单验证
查看>>
[CF452E]Three strings
查看>>
获取指定进程所对应的可执行(EXE)文件全路径(代码)
查看>>
【jQuery实例】Ajax登录页面
查看>>
ORA-01722:无效数字
查看>>
搭建golang+vscode开发环境
查看>>
C#占位符
查看>>
java面试-JVM调优和参数配置
查看>>
php简单实现二级联动
查看>>
angular4 辅助路由
查看>>
解决Eclipse java build path中Web App Libraries无法自动找到WEB-INF的lib目录
查看>>