利用跨虚拟机零下陷通信的加速器虚拟化框架

人工智能技术的长足发展对于云计算的算力提出了更高的要求，云服务提供商在数据中心内添置了拥有大量并行计算单元的加速器，这些加速器需要与已有的虚拟化平台相结合以进行计算资源的划分.当前主流的加速器虚拟化方案是通过PCI透传的方式，但是该方式不支持细粒度的资源划分;部分特定型号的加速器还支持了时分复用的方案，通过硬件与虚拟机监视器配合划分计算资源和时间片，但是该方案可移植性差，对于任何新型加速器的适配都要重新开发，固定的资源划分策略也导致可扩展性有限;另有基于API转发的方案，通过分离式驱动的模式将虚拟机的请求转发给后端驱动处理，而转发通信的过程中存在着性能瓶颈.本文提出了Wormhole，一种基于C/S架构的、支持跨虚拟机快速代理执行的加速器虚拟化框架，旨在为上层用户提供高效透明的加速器API转发虚拟化的同时保障多用户间的强隔离性.本框架利用硬件虚拟化技术，允许CPU控制流在虚拟机间快速切换而不触发任何下陷，大幅降低了虚拟机间通信带来的虚拟化性能开销.实验结果表明，Wormhole的原型系统相较于具有代表性的开源虚拟化方案GVirtuS在经典模型的训练测试中能够有高达5倍的性能提升