.NET平台性能测试工具BenchmarkDotnet 简介[译文]

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

项目中需要用到性能测试，发现.net 平台的这个神器. 觉得很不错，接下来准备做个系列。具体参考官方介绍

做基线对比测试不是那么容易，你很容易就翻车掉坑里，BenchmarkDotNet 会帮你避坑（即使你是老司机），它会帮你干很多体力活，比如它会针对每个benchmark方法生成独立的工程项目，并启动这些单独的工程，迭代多次运行benchmark方法（包括测试前的热身）等。通常，你不需要关注这些benchmark方法的迭代次数，BenchmarkDotNet 会根据它的经验选中合适的迭代次数。

有了BenchmarkDotNet，做性能对比测试就非常容易了，只需要把你的测试方法加上特性[Benchmark], 想做不同.net平台的性能测试，比如传统的 .NET Framework, .NET Core, and Mono，这些都没问题，加一个特性就会把面向不同平台的测试工程生成出来，随后运行后将会生成不同平台的性能对比结果。可以这么说，它可以测试对比任何不同的测试环境，比如不同的处理器架构(x86/x64)、不同的JIT编译器(LegacyJIT/RyuJIT)、不同的垃圾回收机制(如服务器/工作站)，除此之外，同时还可以引入不同的输入参数（一个或者几个），对比其它条件相同而参数不同时候的性能对比。

BenchmarkDotNet 不仅仅是帮你运行benchmark方法，还帮你分析生成的结果：它会生成不同形式的报表,它的结果报表都是统计分析出来的，它不会一下子给你很多眼花缭乱的数据，但是会给你很关键的性能对比数据。当然，如果你在某些条件下对其它的统计数据感兴趣，你可以手动的通过添加Attribute的方式来定制结果报表。

说了这么多，上个例子：

using System;
using System.Security.Cryptography;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Running;namespace MyBenchmarks
{
[ClrJob(baseline: true), CoreJob, MonoJob, CoreRtJob]
[RPlotExporter, RankColumn]
public class Md5VsSha256
{
private SHA256 sha256 = SHA256.Create();
private MD5 md5 = MD5.Create();
private byte[] data; [Params(, )]
public int N; [GlobalSetup]
public void Setup()
{
data = new byte[N];
new Random().NextBytes(data);
} [Benchmark]
public byte[] Sha256() => sha256.ComputeHash(data); [Benchmark]
public byte[] Md5() => md5.ComputeHash(data);
} public class Program
{
public static void Main(string[] args)
{
var summary = BenchmarkRunner.Run<Md5VsSha256>();
}
}
}

BenchmarkDotNet 非常容易上手。在在测试结束时，它将生成一简明顾要的汇总表

BenchmarkDotNet=v0.11.0, OS=Windows 10.0.16299.309 (1709/FallCreatorsUpdate/Redstone3)
Intel Xeon CPU E5-1650 v4 3.60GHz, 1 CPU, 12 logical and 6 physical cores
Frequency=3507504 Hz, Resolution=285.1030 ns, Timer=TSC
.NET Core SDK=2.1.300-preview1-008174
[Host] : .NET Core 2.1.0-preview1-26216-03 (CoreCLR 4.6.26216.04, CoreFX 4.6.26216.02), 64bit RyuJIT
Job-HKEEXO : .NET Framework 4.7.1 (CLR 4.0.30319.42000), 64bit RyuJIT-v4.7.2633.0
Core : .NET Core 2.1.0-preview1-26216-03 (CoreCLR 4.6.26216.04, CoreFX 4.6.26216.02), 64bit RyuJIT
CoreRT : .NET CoreRT 1.0.26414.01, 64bit AOT
Mono : Mono 5.10.0 (Visual Studio), 64bit | Method | Runtime | N | Mean | Error | StdDev | Ratio | Rank |
|------- |-------- |------ |-----------:|----------:|----------:|------:|-----:|
| Sha256 | Clr | 1000 | 8.009 us | 0.0370 us | 0.0346 us | 1.00 | 3 |
| Sha256 | Core | 1000 | 4.447 us | 0.0117 us | 0.0110 us | 0.56 | 2 |
| Sha256 | CoreRT | 1000 | 4.321 us | 0.0139 us | 0.0130 us | 0.54 | 1 |
| Sha256 | Mono | 1000 | 14.924 us | 0.0574 us | 0.0479 us | 1.86 | 4 |
| | | | | | | | |
| Md5 | Clr | 1000 | 3.051 us | 0.0604 us | 0.0742 us | 1.00 | 3 |
| Md5 | Core | 1000 | 2.004 us | 0.0058 us | 0.0054 us | 0.66 | 2 |
| Md5 | CoreRT | 1000 | 1.892 us | 0.0087 us | 0.0077 us | 0.62 | 1 |
| Md5 | Mono | 1000 | 3.878 us | 0.0181 us | 0.0170 us | 1.27 | 4 |
| | | | | | | | |
| Sha256 | Clr | 10000 | 75.780 us | 1.0445 us | 0.9771 us | 1.00 | 3 |
| Sha256 | Core | 10000 | 41.134 us | 0.2185 us | 0.1937 us | 0.54 | 2 |
| Sha256 | CoreRT | 10000 | 40.895 us | 0.0804 us | 0.0628 us | 0.54 | 1 |
| Sha256 | Mono | 10000 | 141.377 us | 0.5598 us | 0.5236 us | 1.87 | 4 |
| | | | | | | | |
| Md5 | Clr | 10000 | 18.575 us | 0.0727 us | 0.0644 us | 1.00 | 3 |
| Md5 | Core | 10000 | 17.562 us | 0.0436 us | 0.0408 us | 0.95 | 2 |
| Md5 | CoreRT | 10000 | 17.447 us | 0.0293 us | 0.0244 us | 0.94 | 1 |
| Md5 | Mono | 10000 | 34.500 us | 0.1553 us | 0.1452 us | 1.86 | 4 |

在生成的图表中，通过不同的视角去展示对比测试的详细信息。可以以不同的格式(CSV、XML、JSON等) 导出数据，甚至生成漂亮的图:

主要功能特点：

在做深入的性能探测方面，BenchmarkDotNet 有很多出色的特色功能。

标准化的基线测试流程：对每个benchmark方法生成独立的工程，自动选择迭代次数，热身，过载开销预估等。

执行可控：BenchmarkDotNet会根据项目选择最合理的测试参数去做性能测试。当然，如果你对自己的程序执行有很清晰的认识，可以手动调整测试参数。比如调整迭代次数，选择是从cold start 还是warmed state开始，设定精度水平，微调GC的参数，改变环境变量等。

统计分析：您会看到重要的性能分析数据，如平均值和标准差，但您也可以手动调整显示最小/最大值、置信区间、偏度、峰度、保留位数、百分位数，或定义自己的度量。

比较环境参量：这些参量都很容易做出性能比较；x86 vs x64, LegacyJit vs RyuJit, Mono vs .NET Core,等。

相对性能：很容易地评估不同环境方法之间的差异。

内存消耗侦测: BenchmarkDotNet不仅仅测试代码性能，还能提供关于内存消耗峰值压力和GC回收的次数。

程序集检测：通过添加单一的附加特性，就可以列出程序集。

参数定制：根据不同的参数，评估出不同参数的性能，那些参数集就像做单元测试时候的一样。

物理环境信息：当做性能对比分析的时候，需要列出不同的环境参量，BenchmarkDotNet 自动的列出这些环境参量，比如操作系统版本、处理器、物理CPU的数量、物理核数、逻辑核数、硬件记时频率；及时编译器版本等。

命令行支持：你可以管理你数千的benchmark，通过类别来给它们分组，过滤运行它们通过命令行命令。

强大的报表分析：可以输出不总不同的性能分析结果，比如markdown,csv,html,plain text, png 图谱。

已经支持的技术

BenchmarkDotNet 支持所有的.Net 技术栈:

支持的运行时： .NET Framework (4.6+), .NET Core (2.0+), Mono, CoreRT

支持的编程语言：C#, F#, Visual Basic

支持的操作系统：Windows, Linux, macOS

用户

BenchmarkDotNet 被众多的星级项目用来做性能分析，并且作为测试代码成为不可缺少的一部分（不做对应的测试没人相信你的代码质量）:

CoreCLR (.NET Core runtime)
CoreFX (.NET Core foundational libraries; see also official benchmarking guide),
Roslyn (C# and Visual Basic compiler)
KestrelHttpServer (A cross platform web server for ASP.NET Core)
SignalR
EntityFrameworkCore
F#
Orleans
Newtonsoft.Json
Elasticsearch.Net
Dapper
Expecto
Accord.NET Framework
ImageSharp
RavenDB
NodaTime
Jint
NServiceBus
Serilog
Autofac
Npgsql