由于最近项目要上腾讯云，不得不对腾讯云CKafka进行压测，评估kafka的处理性能是罩没简否满足项目需求。（项目期望Kafka能够处理上千万级别的MQ）
武强ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联建站的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：13518219792（备注：SSL证书合作）期待与您的合作！
一、 明确测试目的
本次性能测试在UAT环境下腾讯云服务器上CKafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据100w、500w和1000w级别的消息处理结果，评估Kafka的处理性能极限值。
二、 Kafka测试前期准备
2.1 Kafka的性能测试主要测试kafka的吞吐量，kafka吞性能为生产者在向kafka传入消息时的写入量，kafka的吐性能为消费者在kafka集群中消费的能力，也就是读取量。
2.2 Borker相关
Kafka的borker是kafka集群的缓存代理，消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。具体可参考kafka官方文档。
2.3 Cousumer相关
察前 Consumer为kafka的消费者，同一个topic消费者越多越快，但是需要注意的是，消费者的数量不能超过topic的分区数量，因为每个topic的每个分区只能被一个消费者消费，多出来的消费者会无信息可消费。导致资源浪费。具体可参考腾讯云Ckafka指南。
三、Kafka常用参数配置
3.1 生产端常用参数配置如下：
消费者参数配置如下：
Broker 配置参数说明如下：
四、场景设计
4.1 Kafka写入消息压力测试
4.2 Kafka消费压测测试
五、测试方法
5.1 在服务器上使用Kafka自带的测试脚本，分别模拟100w、500w和1000w的消息写入请求，查看Kafka处理不同数量级的消息数时的处理能力，包括每秒生成消息数、吞吐量、消息延迟时间。Kafka消息吸入创建的topic命名为test-2，使用命令发起消费该topic的请求，查看Kafka消费不同数量级别的消息时的处理能力。
5.2 压测命令（脚本执行目录：bin/）
zookeeper脚本：./kafka-consumer-perf-test.sh --zookeeper IP:port --topic forbid_resources_topic --fetch-size 1048576 --messages 10000 --threads 1
写入脚本命令的参数解析：
消费脚本参数解析：
六、测试结果
写入100W结果：
消费100W结果：
注意：这里的坑就来了实际消费数量与脚本设置的消费数量不一致，在这里的这个问题查了物裤很多资料发现两个问题,一会下面慢慢解释，先来看每个字段的意思。
我们先来看看消费的每个数据字段的含义，如下图：
上图我们可以看出，data.consumed.in.nMsg（总消费消息数）与脚本中messages设置的值不一致；设置消费100W，实际消费121431条消息。
坑就在这里，由于是买的腾讯云的PASS服务，很多东西都没办法获取权限查看，只能一步步和客服沟通，挨个排查。
腾讯售后客服也给发了案例和教程，发现教程里也是实际消费和设置消费数不一致；，此处省略一万字。。。
最终在无意之间更改了Topic分区数之后再次运行脚本发现问题消失了，测试环境的Topic分区设置为1，后续增加分区数发现能实际消费和设置消费消息数一致。最后经过多次测试最终Topic分区数设置为3。这次之后发现忽略了腾讯云提供的压测指南中的底部有几句话；
在多次和腾讯售后客服沟通和交流，后续也有和腾讯相关后端开发沟通，发现竟然连开发都解释不清楚出现这个问题的原因，只要深入了解，就会含糊解释说：“我们卖了这么多产品，Kafka肯定不会有问题的”，其内部也没有关于Kafka相关的压测分析案例。可能是我寡闻，在此记录，也是分享出此次压测的踩坑经历。
测试方法：
1、 dd bs=64k count=4k if=/dev/zero of=test
没有加任何参数，dd默认的方式不包括“同步(sync)”命令。也就胡盯是说，dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中（写缓存[write cache]）。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度，直到dd完成后系统才开始真正往磁盘上写数据，但这个速度你是看不到了。所以如果这个速度很快，没有什么作用。
2、dd bs=64k count=4k if=/dev/zero of=test oflag=dsync
加入这个参裤橡和数后，dd在执行时每次都会进行同步写入操作。也就是说，这条命令每次如举读取64k后就要先把这64k写入磁盘，然后再读取下面这64k，一共重复128次。这可能是最慢的一种方式了，因为基本上没有用到写缓存(write cache)。这种方法是最严格的，可以模拟数据库的插入操作，所以很慢，也是用来测试vps硬盘性能标准的一条标杆，一般来说测试结果，如果超过10M，对正常建站就无影响。超过50M，就是非常给力状态。
腾讯云
[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test.dbf bs=8k count=300000
300000+0 records in
300000+0 records out
2457600000 bytes (2.5 GB) copied, 9.98703 s, 246 MB/s
real 0m10.027s
user 0m0.071s
sys 0m4.413s
[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test bs=64k count=16k oflag=dsync
16384+0 records in
16384+0 records out
1073741824 bytes (1.1 GB) copied, 20.3013 s, 52.9 MB/s
real 0m20.308s
user 0m0.014s
sys 0m2.724s
天互数据 为你解答，希望能帮到你
相信你也经常遇到云服务器无法访问的搭渗御问题？
也会遇到服务器丢包，数据加载慢的问题？
阿里云、腾讯云和华为云三大知名云计算厂家的网络情况怎么样？
要判断一个云服务的网络情况好坏又应该从哪些方面考虑呢？
面对以上疑问？一起来看一下阿里云、腾讯云和华为云的云服务器网络能力哪家强。
一、阿里云、腾讯云喊搜和华为云的运营商内网间TCP带宽性能测试华为云400Mbps，阿里云在280Mbps左右，腾讯云优势较大，达到1100Mbps。
云服务器
二、在都开放了16001-16008端口的情况下，华为云S6内网PPS测试结果达到25万，阿里云15万，腾讯云知岩S2在45万至51万之间。
三、三大服务器的外网主机连通性表现基本相同，国内地区服务器响应速度在60ms左右，海外地区响应速度在130ms左右。
四、上传下载能力对比，同样下载100MB大小的文件，华为云耗时120s，腾讯云162s，阿里云154s。
希望本篇回答可以帮助到你
望采纳~
重庆分公司
重庆分公司
