拼搏

拼搏

Kafka_2.12-0.11.0.0性能测试

admin
Kafka_2.12-0.11.0.0性能测试-第1张-游戏相关-拼搏

前言:

眼前你们对“factortest命令”可能比较注意,同学们都想要剖析一些“factortest命令”的相关内容。那么小编同时在网上汇集了一些关于“factortest命令””的相关资讯,希望同学们能喜欢,大家快快来了解一下吧!

新搭建的kafka集群,需要测试下吞吐量,本想写个程序测试下,发现kafka本身自带的性能测试脚本(bin目录下),真是太方便了,马上开测

创建TOPIC

创建一个名为top11的新主题用于测试 (一个副本三个分区)

./kafka-topics.sh --create --zookeeper 172.16.91.43:2181 --replication-factor 1 --partitions 3 --topic top11

查看top11的信息

./kafka-topics.sh --describe --zookeeper 172.16.91.43:2181 --topic top11

压测kafka生产消息的性能

通过 $kafka_home/bin/kafka-producer-perf-test.sh脚本实现

举例如下:测试kafka生产200万条消息,每条消息大小为100b,性能如何,脚本执行命令如下

./kafka-producer-perf-test.sh --topic top11 --throughput 1000000 --num-records 2000000 --record-size 100 --producer-props bootstrap.servers=172.16.91.43:9092

topic: 主题名称

throughput:吞吐量临界值

num-records:生产消息总条数

record-size:单条生产消息大小(单位为b)

bootstrap.servers: kafka broker地址

结果显示,生产200万条100b大小的消息,平均每秒生产77万条,吞吐量约为73MB/sec

在将消息大小设置为1000b

结果显示,生产200万条1000b大小的消息,平均每秒生产11万条,吞吐量约为 105MB/sec

可以看出,消息的大小对每秒生产的消息条数,存在着直接的影响

压测下kafka消费消息的性能

通过 $kafka_home/binkafka-consumer-perf-test.sh脚本实现

./kafka-consumer-perf-test.sh --topic top11 --messages 2000000 --message-size 100 --zookeeper 172.16.91.43:2181

topic:主题名称

messages:消费消息总条数,建议和kafka-producer-perf-test.sh的num-records对应

message-size:单条消费消息大小(单位为b),建议和kafka-producer-perf-test.sh的record-size对应

zookeeper: zookeeper集群地址

结果显示,kafka平均每秒消费22W条消息,吞吐量约为 85MB/sec

kafka2.12的压测脚本,对参数进行了调整,跟之前的版本都不太一样,有些东西没搞清楚,先写到这吧,希望能对大家有些帮助

一个全栈程序猿的经验分享,很少写文章,觉得有收获的请在评论中给个鼓励,不足之处也请大家多多指出。最后预祝大家开心永在,感谢您的关注。

标签 factortest命令