业界压测平台与JMeter的对比

压测平台是什么？

压测，即压力测试，作用是对各种服务对象进行压力测试以获得该服务处于或 超过预期负载 时系统的运行情况，进而判断系统在峰值负载或超出最大负载情况下的处理能力。

压测工具，顾名思义，就是用来进行压力测试的工具，常用的有ab、jmeter、LoadRunner和wrk等等。

而由于在整个压测过程中存在以下问题：

• 时间成本 ：每次测试都需要重新搭建一套生产环境，成本太高，且几乎每个环节都需要人力支撑

• 数据成本 ：脚本、测试数据、压测机器、测试报告无法沉淀

• 风险成本 ：测试用例多，生产压测缺乏平台流程管理，手工执行非常容易出错

• 自动化问题 ：自动化性能基线无统一平台支撑，测试过程中靠手动监控，覆盖不全且定位问题困难

为了解决以上这些问题、更好地满足自己/用户的压测需求，不少企业在开源压测工具的基础上进行二次开发，将压测流程管控、压测任务管理和自动化性能基线等功能整合在一起，形成一个可以支撑各种个性化压测需求的分布式业务系统，也就是压测平台。

本文主要讲什么？

本文主要将常见的压测平台与JMeter进行各方面的对比，并分析JMeter有哪些地方还可以改进加强。

主要对比的指标有：

• 是否适合新手使用
• UI界面是否符合用户操作习惯
• 压测部分的功能是否齐全，足够满足用户的各种需求
• 结果分析的报告是否全面
• 社区建设是否丰富

性能测试PTS（阿里云）

性能测试 PTS（Performance Testing Service）是阿里云推出的一款具备分布式压测能力的SaaS压测平台。与普遍使用的压测工具相比，PTS所宣传的特点有：

1. 施压流量来自真实CDN节点

   在PTS服务中进行施压配置时，可以选择 国内公网 和 阿里云内网 两种模式来设置压力来源。在国内公网模式中，PTS服务会分配来自全国各地的公网IP，并且根据压测的量级来分配对应的节点资源（IP），压力来源足够分散，可以最大程度模拟真实流量的路径。

2. 纯SaaS平台，使用时无需额外安装和部署

   SaaS（Software as a service）软件即服务，也就是说，软件的服务器在云端，可以通过网络提供服务。

   阿里云将PTS所有服务都web化，用户可以直接在阿里云上的控制台里进行压测操作。

3. 兼容JMeter脚本，可以平滑复用jmx脚本文件

   除了使用阿里云自研的压测引擎外，还可以使用原生JMeter引擎进行压测，直接导入jmx脚本文件即可。有个需要注意的地方是 JMeter压测功能和PTS原生功能共享并发用户数的额度 。

4. 配置界面所见即所得，对新手友好

   从配置场景，发起测试，到最后的查看结果报告，几乎所有步骤都可以都可以在网页上进行（除非你要使用jmx脚本）；并且在配置场景时，用户可以直接零编码在PTS上进行场景的可视化编排。

5. 覆盖主流浏览器的录制插件

   用户可以在浏览器上模拟压测场景的操作，浏览器中的插件会录制下压测请求URL（包括Header、Body等信息），录制后的内容可以导出为YAML脚本或者JSON脚本。

以下是与JMeter相对比的情况：

• 是否适合新手使用

  适合。

  由于PTS的所有操作都可以在网页上进行，用户可以直观地配置各类设置，网站上的文档也介绍得十分清晰，所以很多并不熟悉压测是什么的新手用户也可以轻松使用PTS；但是如果要使用JMeter，新手用户还需要学会如何编写脚本，如何设置参数，如何查看结果等操作。

• UI操作界面是否符合用户使用习惯

  以我的个人感受来说，是。

  评判标准是①没有会令用户产生歧义的地方，②常用的按钮都在用户习惯的位置（比如说保存按钮固定在页面的最下方等），③当鼠标移到部分按钮上时，会以浮窗的方式提示用户此操作会产生的结果，如下图

  

• 压测部分的功能是否齐全，足够满足用户的各种需求

  是。

  以下是对PTS和JMeter的一个功能对比。

功能	性能测试PTS	JMeter
自定义API	Y	Y
设置出参	Y	Y
配置检查点	Y	Y
使用函数/文件参数/自定义参数	Y	Y
添加思考时间	Y	Y
添加集合点	Y	Y
添加条件跳转	Y	Y
添加数据指令	Y	Y
使用模版配置压测场景	Y	N
查看离线报告	Y	Y
容量预估	Y	N
压力预估	Y	N
创建SLA	Y	N
压测调速	Y	N
定时压测	Y	Y
脚本录制	Y	Y
支持的脚本	jmx、json、yaml	jmx
从表格中我们可以看到，其实PTS的大部分功能用JMeter都可以实现，但是在JMeter上使用这些功能时对新手不太友好，而PTS就非常直观地把这些功能都做成了网页上的选项，用户只需要鼠标轻点就可以轻松使用。

• 结果分析的报告是否全面

  是。

  PTS的一大优点是压测报告中的指标非常详细，排版清楚，方便用户阅读；并且有一些grafana上没有的功能，如下：

  1. PTS会统计每个请求所返回的响应码，并给出每个时间点的统计结果

  

  1. PTS会统计所有返回的错误信息

  

  其他没有提及的大部分功能，grafana上也有，但是不太直观；如PTS和grafana都有调整时间轴更好地分析某一时间段具体的数据的功能，只是在grafana上拉取与缩放时间轴并不太方便。

• 社区建设是否丰富

  是。

  PTS官方网站上的文档已经十分详细，并且网络上有许多关于PTS使用心得的博客，总体来说资源非常多。JMeter的文档是英文的，虽然国内有人对其进行了翻译，但是对英文不好的用户来说还是需要多费一些功夫；但是网上也有许多JMeter相关的文章，只是找资料的时候需要多多挖掘。

云性能测试服务CPTS（华为云）

一项为基于HTTP/HTTPS/TCP/UDP等协议构建的云应用提供性能测试的分布式压测服务。与上文提到的PTS相似，CPTS同样支持快速模拟大规模并发用户的真实业务高峰场景，也可以很好地支持报文内容和时序自定义、多事务组合的复杂场景测试。它所宣传的特点有：

1. 低成本 的超高并发模拟

   可以利用单压测机实现万级并发。

2. 测试任务模型自定义

   CPTS引入了“事务”的概念，和PTS中的“串联链路”有一些相似——用户可以定义自己的事务库，并且用户所创建的事务可以被多个测试任务复用，同时每个事务还可以定义多个测试阶段，最大程度地模拟流量起伏的复杂场景。

3. 压测资源管理，按需使用

   与PTS中压测集群由控制中心统一调度的情况不同，CPTS 支持用户按需创建测试集群 ，并实现租户间流量隔离。另外在测试期间用户也可以实施扩容、缩容测试集群，升级测试能力等等。

以下是与JMeter相对比的情况：

• 是否适合新手使用

  比较适合。

  CPTS和PTS的操作界面有一些相似，操作逻辑也差不多，但是PTS的文档要比CPTS的文档更细致，也对新手更友好。CPTS中有些概念很容易让用户混淆，如“事务”、“用例”与“请求”，文档上也没有详细介绍。新手用户自己摸索着也可以摸索出使用方法，但是要费些功夫。

• UI操作界面是否符合用户使用习惯

  以我的个人感受来说，符合。

  和PTS相似，在操作上没有什么会令用户产生疑问或歧义的地方。

• 压测部分的功能是否齐全，足够满足用户的各种需求

  CPTS的功能比较齐全，以下是对CPTS和JMeter的一个功能对比。

功能	云性能测试服务CPTS	JMeter
自定义API	Y	Y
设置出参	Y	Y
配置检查点	Y	Y
使用函数/文件参数/自定义参数	Y	Y
添加思考时间	Y	Y
添加集合点	Y	Y
添加条件跳转	Y	Y
添加数据指令	Y	Y
使用模版创建压测场景	N	N
查看离线报告	Y	Y
容量预估	Y	N
压力预估	Y	N
创建SLA	N	N
压测调速	N	N
定时压测	Y	Y
脚本录制	Y	Y
绑定域名	Y	Y
支持原生JMeter压测	Y	/
支持的脚本	jmx、json、swagger	jmx

• 结果分析的报告是否全面

  是。

  CPTS的报告也比较详细，同时UI界面也非常舒服。有一些功能和PTS类似，算是各有千秋。特色功能如下：

  1. CPTS也会统计每个异常的响应信息并直观地展现出来
     
     

  2. CPTS上的响应状态分布图比grafana多了更多数据
     
     

• 社区建设是否丰富

  不太丰富。

  首先，CPTS的官方网站内容不是很多；其次，网上也没有几篇关于使用CPTS的文章（除了官方自己发的以外）。

如上图，可以看出JMeter的网络资源明显更加丰富，在这点上JMeter对用户更加友好。

其他类的压测平台

市场上还有部分压测平台并不像PTS和CPTS那样同时面向个人用户和企业用户，它们一般只为企业用户服务，所以我单独把它们列了出来。

1. WeTest压测大师

   压测大师的优势主要有

   • 依靠腾讯云提供压力源，并不需要额外配置压力机，同时云端压力稳定无上限
   • 有腾讯专家在线指导并且会定期开展性能测试培训或沙龙等

   但是压测大师的官网上并没有提供体验入口，所以无从得知其服务细节（只能评价一下官网页面做得挺好看的）。

   

   如果点击【联系客服】，则会转到网页咨询窗口，并提供人工客服选项，联系官方还是比较方便的。

2. 全链路压测ForceCop

   ForceCop主打 业务零侵入 、 多语言支持 、 立体监控 等特点，主要的压测功能都有具备，并且附上了客户案例。

   但是如果想要体验ForceCop的服务，需要填写申请表。

   

3. 压测宝

   压测宝的官网上信息就没有那么丰富了，只大概提了一下产品的特点，在客户案例部分阐述得比较多，但也没有看出产品的优势具体在什么地方。想要体验服务同样需要申请。

   

4. 云压力测试平台 CPT

   CPT是睿象云公司的产品，该公司的主要业务其实是提供高效智能的跨云监控和告警管理服务，云压测服务并不是它们主推的功能。其实个人也可以体验它们的服务，但是由于想说的内容比较少，于是把它放在最后。在体验过程中我有以下几点感受：

   • UI界面对用户不太友好
   • “测试任务”部分操作比较简单，但是“编写脚本”部分很让人费解
   • 与上文的CPTS和PTS相比，没有很特色的功能，用JMeter可以完全替代
   • 压测时可以选择流量所在地域（虽然只有三个选项）

   不过它的文档还算详细，在搜索引擎上也能找到挺多相关文章的（要比CPTS多），算是它的一个优点。

总结

总的来说，衡量一个压测平台的指标大概有以下几项：

• 学习成本
• 安装部署成本
• 是否免费
• 是否支持多协议
• 压测结果图形化展示
• 是否支持TPS模式
• 是否有链路、场景编排管理支持
• 是否支持场景录制
• 生态环境
• 监控指标是否完备
• 是否支持原生
• 是否支持流量地域定制

JMeter的优势在于 免费 、学习成本低、拥有绝大部分用户所需要的功能、生态环境良好等；这些优势不需要我多说。

我主要阐述一下从以上的多个平台的分析中，JMeter可以有哪方面的改进：

1. 在JMeter上编写脚本虽然并不是太难，但是如果简化了这一过程则可以大大减少用户的学习成本，可以吸引更多新用户。
2. 在结果分析报告部分，JMeter可以增加一些对响应数据的分析，使用户可以直观地找出返回了什么错误的响应代码，更快速地处理问题
3. grafana有很多功能，但是它的界面是全英文的，有些用户会面临着一边抱着字典一边用grafana一边摸不清grafana要如何实现自己需求的窘境
4. 使用JMeter时，编写脚本在JMeter客户端上、压测在服务器上、查看结果在网页上。这整个压测过程比较割裂，如果可以整合在一起也比较方便用户的使用
5. 无论是PTS还是CPTS都有容量预估、压力预估的功能，可以考虑在JMeter上完善相关功能