管理机制与环境监测论文提纲

论文题目：虚拟化环境中资源管理机制的优化研究

摘要：在云计算等虚拟化环境中,资源管理机制负责资源的分配、调度与管理,为多租户之间的高效资源共享提供了基础。高效的资源管理机制不仅可以通过提升资源利用率来大幅降低成本,还可以通过满足用户资源需求来保证服务质量。但是软硬件技术的快速发展和用户需求的多样化,使得现有的虚拟资源管理技术一方面不能充分利用日渐增强的硬件资源,另一方面也不能满足日益复杂的用户需求。因此如何针对上述问题,结合新硬件、新需求和新场景特点,优化虚拟化环境中的资源管理机制已经成为一个亟待解决的问题。本文主要从虚拟化环境中最重要的三种虚拟资源（内存资源、计算资源、存储I/O资源）出发,研究了虚拟资源的管理优化问题,具体包括面向混合页虚拟化系统的内存重删机制研究、面向虚拟GPU的在线任务调度机制研究和面向容器的I/O去重和缓存管理机制研究。主要研究内容和贡献如下:（1）面向混合页虚拟化系统的内存重删机制研究现有的虚拟化系统大多采用混合页（即大页加小页）的内存管理方式,其中大页可以显著提升TLB（Translation Look-aside Buffer）命中率并提升内存访问性能。但是在混合页虚拟化系统中使用现有的内存重删技术会导致大量大页被拆分,进而导致内存访问性能严重下降等问题。针对该问题,我们研究并提出了面向混合页虚拟化系统的内存重删机制SmartMD。具体来说,我们首先通过研究内存监测机制来实时地监测内存页面的状态,在该机制中我们提出了一种基于扫描访问位的冷热监测策略和基于计数型布隆过滤器的页面重复率监测方案;然后我们通过研究轻量级的大页重构方法来实现大页的快速重构,该方法能够以较小的开销将被拆分的大页进行聚合,并且对它的页描述符和页表项进行重构;最后我们通过研究一种自适应的大小页转换策略来实现大小页的动态转换,该策略可以自动地根据页面的访问频率和重复率选择合适的大小页进行拆分和合并,同时还可以根据内存使用情况自适应地调整内存中大页的比例。通过使用SmartMD,我们可以同时获取大页管理的高访存性能和小页管理的高重删率。（2）面向虚拟GPU的在线任务调度机制研究在GPU虚拟化场景中,任务调度机制是提升GPU利用率和保证用户服务质量的重要手段。但是现有的静态GPU调度方法既不能准确感知应用的资源需求,也不能在GPU负载发生变化时做出及时的调整,由此导致了现有的静态GPU调度方法存在负载不均衡、能耗高和公平性低等问题。为了进一步提升GPU利用率、改进能耗效率、加强资源分配的公平性,我们设计并实现了一个虚拟GPU调度平台DCUDA。该平台支持在多个GPU之间“动态”地调度应用程序。首先我们提出了一种基于跟踪API参数的低开销监测方法,通过该方法我们可以实现对GPU负载和应用需求的实时监测;然后我们还研究了如何实现对用户透明的在线任务迁移机制,在该部分研究中我们提出了一系列技术来保证迁移过程中运行环境的一致性、内存数据的一致性以及任务状态的一致性,此外我们还提出了一些优化策略来降低迁移开销,例如运行环境预初始化和内存数据预取等;最后我们基于在线任务迁移机制提出了一种多阶段多目标的动态调度策略,该策略不仅可以实现多GPU之间的动态负载均衡,还可以通过时间片和优先级调度策略来保证高负载GPU上资源分配的公平性,并且通过任务合并调度策略达到了减少低负载GPU能耗的效果。实验结果表明,DCUDA可以将GPU过载时间减少78.3%。因此,对于不同工作负载,DCUDA可以降低应用的平均执行时间高达42.1%。此外,在轻工作负载的场景下,DCUDA可以减少13.3%的GPU能耗。（3）面向容器的I/O去重和缓存管理机制研究Docker容器技术作为一种轻量级虚拟化技术被广泛部署在数据中心和云计算平台中。但是容器的性能和缓存效率仍然受到存储驱动的限制,主要原因在于现有存储驱动存在I/O冗余度高、写时复制开销大以及缓存重复数据等问题。针对上述问题,我们研究并提出了一种面向Docker容器的高效存储驱动HP-Mapper,用于优化容器I/O流程和缓存管理机制,主要包括以下三个方面的研究:首先我们研究了一种两级块映射策略和按需块分配机制,可以灵活地支持多种粒度的写操作,在支持细粒度写时复制功能的同时只引起了很小的开销;然后我们研究了一种高效的重复I/O探测与拦截机制,通过记录很少的元数据以及使用少量的查询操作就可以探测到重复I/O,并支持从其它容器的缓存中读取需要的数据;最后我们研究了一种高效的缓存管理方法,可以自动地将一些重复且访问频率低的缓存页驱逐出去,进而提升系统的缓存效率,此外还可以根据内存使用情况自适应地调整缓存副本的上限,从而在任意情况下都能达到很好的缓存命中率。我们的实验结果表明,HP-Mapper由于其更细粒度的写时复制方案,显著降低了写时复制操作的延迟。此外,由于消除了缓存中的重复数据,HP-Mapper还可以平均减少容器59.2%的缓存使用。因此,HP-Mapper将测试应用的吞吐率提升了39.4%,并将容器的启动速度提高了4.5倍。

关键词：虚拟化;资源管理;内存重删;GPU调度;I/O去重;缓存管理

学科专业：计算机软件与理论

摘要

ABSTRACT

第1章 绪论

1.1 虚拟化技术概述

1.1.1 基于Hypervisor的虚拟化技术

1.1.2 基于容器的虚拟化技术

1.2 虚拟化环境中的资源管理机制

1.2.1 内存虚拟化及其管理机制

1.2.2 GPU虚拟化及其管理机制

1.2.3 存储虚拟化及其管理机制

1.3 虚拟资源管理的相关研究工作

1.3.1 虚拟内存管理优化

1.3.2 虚拟GPU的任务调度优化

1.3.3 容器的存储管理优化

1.3.4 现有研究工作的不足

1.4 虚拟资源管理的新挑战

1.5 本文的主要研究内容

1.6 本文的组织结构

第2章 面向混合页虚拟化系统的内存重删机制研究

2.1 前言

2.2 混合页虚拟化系统中内存重删的问题描述

2.2.1 混合页内存管理

2.2.2 现有重删算法的不足

2.2.3 国内外研究现状

2.3 高效重删机制SmartMD的系统设计与实现

2.3.1 内存页监测模块

2.3.2 页面选择模块

2.3.3 大小页转换模块

2.3.4 SmartMD的优化版本SmartMD~+

2.4 实验评估

2.4.1 SmartMD的开销

2.4.2 访存性能和内存重删效果

2.4.3 与Ingens的对比

2.4.4 NUMA架构下SmartMD引起的性能下降

2.4.5 内存过载情况下性能评估

2.4.6 SmartMD~+的性能改进

2.5 本章小结

第3章 面向虚拟GPU的任务在线迁移与调度机制研究

3.1 前言

3.2 虚拟化GPU在线迁移与任务调度的问题描述

3.2.1 GPU虚拟化及CUDA编程模型简介

3.2.2 本工作的动机与出发点

3.2.3 国内外研究现状

3.3 高效虚拟GPU调度系统DCUDA的设计与实现

3.3.1 GPU监测模块

3.3.2 动态调度模块

3.3.3 在线迁移模块

3.4 实验评估

3.4.1 实验设置

3.4.2 DCUDA开销

3.4.3 DCUDA对负载均衡的改进

3.4.4 DCUDA对应用性能的改进

3.4.5 DCUDA对Qos和公平性的改进

3.4.6 不同负载下DCUDA的效果

3.5 本章小结

第4章 面向容器的I/O去重与缓存管理机制研究

4.1 前言

4.2 Docker存储管理的间题描述

4.2.1 Docker存储驱动工作原理简介

4.2.2 现有Docker存储驱动的不足

4.2.3 国内外研究现状

4.3 面向容器的高效存储驱动HP-Mapper的设计与实现

4.3.1 地址映射模块

4.3.2 冗余I/O拦截模块

4.3.3 缓存管理模块

4.4 实验评估

4.4.1 实验设置

4.4.2 HP-Mapper的开销

4.4.3 HP-Mapper对I/O冗余性的改进

4.4.4 HP-Mapper对I/O性能的改进

4.4.5 HP-Mapper对缓存效率的改进

4.5 本章小结

第5章 总结与展望

5.1 本文的主要工作与成果

5.2 未来研究计划

参考文献

致谢