正文

Hyper-V虚机跨NUMA节点性能影响

IP云
IP云V管理员/1 阅读
10/26
小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

查看单个NUMA节点的内存大小：

Hyper-V VM VID NUMA节点\PageCount:8376970
8376970*4k/1024/1024=32GB

Hyper-V VM VID NUMA节点\Processor Count:12 （该NUMA节点上共有12C，一个NUMA节点对应一颗物理CPU，一颗物理CPU的核心数即为NUMA节点的CPU核心数量）

一个NUMA节点一共是8376970个分页，每个分页的大小是4KB，所以一个ＮＵＭＡ节点对应的是32GB内存，如果单个节点上的内存已经使用了20GB，再分配给另一个虚机20GB内存的话，由于该节点所剩内存为12GB，所以该虚机就要访问远程NUMA节点的内存，就会降低访问速度。为了避免该情况，应尽量避免虚机使用多个NUMA节点的资源，可以手动配置某个虚机属于哪个NUMA节点。

查看VM位于哪个NUMA节点：

Hyper-V VM VID Partition\Preferred NUMA Node Index\2003_1(VM实例名称）

参考：http://blogs.msdn.com/b/tvoellm/archive/2008/09/28/looking-for-that-last-once-of-performance_3f00_-then-try-affinitizing-your-vm-to-a-numa-node-.aspx

参考：http://www.dotblogs.com.tw/daniel07793/archive/2012/03/26/71046.aspx

=======================================

Hyper-v与NUMA介绍：

随着Windows server2012 的推出，微软主推的虚拟化重头hyper-V3.0着实令人惊艳：宿主机支持160个逻辑CPU(core)和2TB内存，虚拟机支持32个虚拟CPU以及1TB内存。还包括其中最令人心动的一项就是动态内存！这是怎么实现的呢？和Numa又有什么关系呢?

首先，什么是Numa（非统一内存访问）？NUMA结构就是指定固定大小的内存分配给一个指定的cpu序列，然后这样就形成一个节点NODE，整个框架是由几个Node结构组成的。我们也都知道cpu访问本地内存速度当然要远远快于访问远端Node内存速度。所以相当于对内存和cpu进行绑定划分。这就是所谓的NUMA结构了。NUMA结构主要还是关于并行计算的高效处理：让处理器快速的访问在同一单元的内存，摆脱了传统的超大总线对多处理结构的束缚。

这里简单的理解起来就是：一Cpu核心或多个（可以是一个Vcpu或者多个）负责一段内存（达到极高的寻址命中率），不再管其他的内存。这样cpu在工作时只会负责形成Node的这段内存，不再负责远端（其他）内存。（这样即使你有多核心的Cpu也不用纠结于前端总线的限制。）

NUMA是硬件设计的功能，划分为NUMA节点在物理服务器的CPU和内存。当一个进程使用内存和CPU在同一NUMA节点，性能会大大提高。当一个进程需要更多的内存，但当前NUMA节点是完整的，那么它会得到从另一个NUMA节点的内存，而在这个过程中的性能成本，是可能影响该物理服务器上所有其他进程。

（想要了解更深：现代CPU确定NUMA节点界限

http://www.benjaminathawes.com/blog/Lists/Posts/Post.aspx?ID=28  ）

而Numa在这里来说最重要的用途是：提供内存互连的硬件系统，使新型动态的分区系统成为可能。系统分区的好处在于允许系统管理员在同一计算机内运行多个操作系统（如Unix和WindowsNT），并根据用户工作负荷的要求，在不同的操作系统环境间，简单的管理和使用CPU和内存资源，从而实现最佳的性能和最高的资源利用率。

那么hyper-v是怎么实现动态内存的？和这个Numa又是什么关系呢？先来看一张图片：

假设一台计算机使用Numa架构，Numa架构将这台计算机划分了四个节点，现在我们把一二节点拿出来创建Vm1  三四节点拿出来创建Vm2。这里我们这样指定，但是hyper-v他是如何知道呢？而不会把节点的边界搞乱呢？我们理解起来就是是内部规范的（http://blogs.technet.com/b/windowsserver/archive/2012/04/05/windows-server-8-beta-hyper-v-amp-scale-up-virtual-machines-part-1.aspx）！因此hyper-V在运行时我们可以认为，宿主机会将Numa创建的这些节点动态分配来实现，而且我们用过hyper-v的都知道，动态内存只是指定一个范围，这样就好理解多了！创建虚拟机时，划分这些节点，哪台虚拟机需要更多的内存时就通过分配节点实现！也是为了避免Numa节点过多造成性能下降，因为不能跨越NUMA边界！

当你的虚拟机迁移到不同规格的主机时，会发生什么情况？原来的配置要被保存。虚拟机正在运行。它会采取原来的NUMA节点规模到新的主机，并利用它们。隐藏在vCPU的设置，可以自定义虚拟机的NUMA节点，以适应最小的NUMA节点的主机。这意味着，不同规格的主机之间实时迁移，虚拟机将不能跨NUMA边界（远程运行一个CPU上的进程是在一个NUMA节点分配的RAM）。

FROM：http://blog.sina.com.cn/s/blog_68503a7d0101eg5b.html