摘要：在基础设施作为一种服务（Infrastructure-as-a-Service， IaaS）云计算环境下，计算资源以租赁形式提供给远端客户，一个云用户可以同时请求多个云服务。这种情况下，云环境下的并行处理能够提高其系统性能。在云计算环境中应用并行处理技术时，需要实现合理的资源分配和任务执行顺序安排机制。该文就目前国内外的相关机制和技术进行整理和分析。
关键词：基础设施作为一种服务；云计算；并行处理
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）30-0067-03
Research on Parallel Processing Technology in IaaS Cloud Computing Environment
CHEN Shu
（Department of Computer and Information Security Management， Fujian Police Academy， Fuzhou 350001， China）
Abstract： In Infrastructure-as-a-Service （IaaS） cloud computing environment， computing resources are leased to remote clients， and a cloud user can request multiple cloud services at the same time. In this case， parallel processing in cloud environment can improve the performance of the system. When applying parallel processing technology in cloud computing environment， it is necessary to implement reasonable resource allocation and task execution scheduling mechanism. In this paper， the relevant mechanisms and technologies at home and abroad are collated and analyzed.
Key words： IaaS； Cloud computing；Parallel processing
云计算是继20世纪80年代大型计算机到客户端-服务器的大转变之后，资源和服务分配的又一巨变。云计算中，云是通过网络向远程用户提供按需计算资源或服务的一个分布式计算机群集[1]。在基础设施作为一种服务（IaaS）的云中，资源或服务以租赁的形式提供给用户。
依托于自由且高效的虚拟化解决方案，例如，Xen超级监督程序[2]，用户可以安全地控制资源。 IaaS云的优点之一是提供给最终用户的计算能力是灵活且高效的。亚马逊的弹性计算云中虚拟机（VMs）以每小时10美分的价格租赁给用户。其中每个VM大概有1.2 GHz Opteron处理器的计算能力，1.7 GB内存和160 GB磁盘空间。例如，当一个用户需要一定的磁盘空间来维护某个数据库一个月，他可以从云中租用一定数量的虚拟机，使用一个月后再返还云中。这种情况下，用户使数据库维护费用减至最低。用户可以添加或删除云资源，以满足峰值或起伏不定的服务需求，只需为所使用的资源容量支付相应费用。
1 存在的问题
随着云计算的日益普及，它被应用到生活中的各个方面[3]。然而，现实社会中不存在具有无限容量的数据中心。因此，在大量的客户需求前提下，将数据中心某些溢出的工作负载转移到另一个数据中心是必要的[4]。这些工作负载共享可以发生在私有云和公共云之间，私有云之间或公共云之间。工作负载共享能够扩大资源池容量，并提供更灵活和便宜的资源。在多个云之间协作执行工作负载，监控和管理机制是一个关键组成部分，需要考虑其配置，调度，监控和故障管理[4]。传统的监控和管理机制是专为企业环境而设计的，特别是一个统一的环境。然而，大规模、异构资源供应的多数据中心给资源管理和监控机制带来严峻的挑战。例如，Open Cirrus，一个云计算试验台，由14个分布在世界各地，并且由不同领域管理的数据中心组成。每个数据中心独立管理至少1000个核[5]，整个试验台是一个异构联合云系统。对监测和管理机制来说，在多数据中心环境下向客户提供不需要处理太多复杂问题的资源池，如资源异构和工作负载分配等，是非常重要的。云计算的虚拟化技术，如虚拟机，近年来已经社会各界进行深入研究。然而，在相关文献中，跨越多个异构数据中心的工作负载调度并没有得到很好的解决。
大量大型数据集计算的应用程序运行在云系统上[6]。这些“大数据”应用程序从信息源，如数字媒体库，虚拟世界，仿真轨迹，科学仪器获得的数据和企业的业务数据库获得数据。这些数据饥饿应用程序需要大量可扩展的计算资源。幸运的是，这些应用程序具有非常良好的并行计算性[6]。云计算中使用“map/reduce”方法进行应用程序开发，大规模的批处理过程可以被划分为一组离散的相关处理进程，称之为任务。这些任务可以被并行执行，以提高响应时间[7]。在联邦快递（FedEx）数据中心，需要四个小时的批处理过程，应用“map/reduce”方法之后，可以成功地将运行时间减少到20分钟 [7]。在执行这些可采用并行处理方式的任务时，需要考慮以下几个问题：
（1） 如何将资源分配给任务；
（2） 因为任务间有数据依赖关系，执行任务的顺序该如何安排；
（3） 当虚拟机准备接受、终止或切换任务时，该如何进行费用管理。
資源分配和调度可以解决以上三个问题。在高性能计算[8，9]和嵌入式系统 [10，11] 中已经对资源分配和任务调度进行了深入研究。然而，云数据中心的高度自治性和资源异质性[3]，以及虚拟技术的实现，在IaaS云计算中需要不同的资源分配和任务调度算法，特别是在联合异构多云系统中。
2 相应的工作
近几年，云计算系统已经被进行广泛研究。许多公有云也对客户和研究人员开放使用，如亚马逊的AWS[12]，GoGrid[13]和Rackspace[14]。其他一些公司也提供云服务，如微软[15]，IBM[16]，谷歌[17]和HP[18]。为有益于云计算的研究，许多组织提供开源云服务，如Eucalyptus[19]，Open Nebula[20]，Tashi[6]，RESEVOIR[21]和Open Cirrus[22]。Open Cirrus是一个云计算试验台，它由14个分布在世界各地的数据中心组成，从本质上讲，它是一个联合异构云系统。
2.1 数据密集型应用程序
数据密集型应用程序是运行在云计算平台上的主要应用类型。大多数的数据密集型应用程序可以通过MapReduce的编程模型[23]进行建模。在MapReduce模型中，用户指定map函数和reduce函数，前者可以独立执行，后者收集前者的处理结果并产生最终的结果。运行时，系统会自动将map函数并行化处理，并将它们合理分配到云系统中。Apache Hadoop是受MapReduce思想启发的一个流行框架，用于在IaaS云系统中运行数据密集型应用程序。在Hadoop框架中，可靠性保证和数据迁移都是对用户透明的。MapReduce编程模型和Hadoop分布式文件系统是在开源Hadoop框架下实现的。All-pairs，一种高层次抽象化形式，使数据密集型应用程序易于表达且执行高效[24]。Liu等人，设计一种用来处理大规模数据密集型批处理应用程序的编程模型GridBatch[25]。在GridBatch模型中，用户可以指定数据如何分割，并决定计算任务的分布情况，隐藏并行编程的复杂性。文献[26] 设计一种动态分割模型来提高MapReduce平台的资源利用率。这个动态分割模型实现基于优先级的资源分配方法以及资源使用管道。文献[27]中通过软硬件的服务等级协议（SLA）对各种数据密集型服务调度方法进行评估。但是，在异构多云平台环境下的工作负载调度问题在上述相关工作中并没有被考虑。
2.2 虚拟化技术
虚拟化技术是云计算中一个重要组成部分。Emeneker等人提出一种图像缓存机制来减少虚拟机加载磁盘映像的能耗[28]。Fallenbeck等人提出一种用动态方法创建虚拟集群，处理并行和串行工作之间的冲突[8]。这种方法在不运行时间预测前提下对工作负载进行自动调整。文献[36]利用挂起/恢复机制来提高物理资源的利用率，从而降低能耗。由于该文献所考虑的VM模型是同构的，所以该调度算法在异构虚拟机环境中是不适用的。
2.3 计算资源管理
大量文献对云计算的计算资源管理进行深入研究。为方便用户共同管理资源，CloudNet[50]通过企业物理主机提供虚拟私有云，并通过公共云对它们进行分配。计算密集型用户可以保留计算资源，根据自身需求特点创建自己的虚拟私有云[29-34]。然而，CloudNet专注于为企业用户提供安全到云端的链接，资源合理分配不是CloudNet的主要目标。以租赁为基础的体系结构[35，36]，被广泛用于为云用户提供保留资源。文献[35]中，应用程序可以通过租赁或票务方式来保留来自多个站点的一组资源。 Haizea[36]支持尽力而为和提前预订两种租赁方式，这两种租赁方式的优先级是不同的，它们提高整个系统的利用率。这两篇文献的作业模型是批处理作业模型，这意味着每一个应用程序的调度都是独立的，任务间不存在数据依赖性。因此，这种方法不能在多数据中心之间“map/reduce”和并行处理。
Wilde等人设计一种分布式计算的脚本语言Swift[37]。Swift专注于大型独立计算任务的并发执行，组成和协调。Swift中实现一种基于资源可用性的含自适应调度算法的工作负载平衡机制，设计了一种动态评分系统来对一个站点的负载承受能力提供经验估算。但是在Swift中，只有当站点执行工作出现故障时，其分值才会下降。因此，即使是“延迟但成功”地完成作业，也将导致该站点下一轮运行的估计完成时间较长。ReSS是Swift中的资源选择服务。但是，ReSS需要一个中央信息库，来收集来自不同节点或集群的信息。
文献[38]中设计一种可以自动扩展其基础设施资源共享的系统，自适应管理器监视资源并自动给用户动态分配资源。然而，这种集中的方式不适合未来的多提供商云计算环境，因为不同的供应商不希望这样的集中化管理控制方式。文献[39]提出另一种资源共享方式，它是在不侵犯站点各自自主权前提下，可以在不同站点之间交换主机。数据中心的主机代理负责本地数据中心与其他数据中心之间进行主机交易过程，这是一种多数据中心之间共享资源的分布式方法。但是，该文献没有考虑资源分配优化问题。
3 结束语
随着客户需求的激增，云计算正在迅速增长，在客户的需求不断扩大情况下，多个数据中心甚至多个云服务提供商之间共享工作负载是必要的。工作负载的共享能够扩大资源池，并提供更灵活和便宜的资源。但目前缺少一种适用于未来的多提供商，并且改善联合异构云系统性能的云系统，这将是我下一步研究和探索的方向。
参考文献：
[1] Germain-Renaud C，Rana O， The convergence of clouds， grids， and autonomics. IEEE Internet Computing. v13 i6. 9
[2] Sotomayor B， Montero R， Llorente I. et al. Virtual infrastructure management in private and hybrid clouds. IEEE Internet Computing. v13 i5. 14-22.
[3] http：///it/content/1286700/1286717
[8] Fallenbeck N， Picht H， Smith M， et al. Xen and the art of cluster scheduling， in： Proceedings of the 2nd International Workshop on Virtualization Technology in Distributed Computing， Tampa， Florida， USA， 2006， p. 4.
[9] Huang H， Wang L.a combined push-pull model for resource monitoring in cloud computing environment， in： IEEE International Conference on Cloud Computing， Miami， Florida， USA， 2010， pp. 260-266
[10] Rimal B P， Choi E， Lumb I. A taxonomy and survey of cloud computing systems， in： International Joint Conference on INC， IMS and IDC， 2009， pp. 44-51.
[11] Qiu， M. and Sha， E.H.-M.， Cost minimization while satisfying hard/soft timing constraints for heterogeneous embedded systems. ACM Transactions on Design Automation of Electronic Systems （TODAES）. v14 i2. 1-30.
[12] http：///
[13] http：///
[14] http：///en-us/cloud/
[15] http：///ibm/cloud/
[16] http：///apps/intl/en/business/index.html
[17] HP cloud， http：//www8.hp.com/us/en/solutions/solutionsdetail.html？compURI=tcm：245-300983&pageTitle=cloud.
[18] http：///
[19] www.reservoir-fp7.eu
[20] C. Moretti， J. Bulosan， P.J. Thain， D. Flynn， All-pairs： an abstraction for data-intensive cloud computing， in： IEEE International Symposium on Parallel and Distributed Processing， 2008， pp. 1-11.
[21] www.reservoir-fp7.eu
[22] Avetisyan， A.I.， Campbell， R.， Gupta， M.T.， Heath， I.， Ko， S.Y. and Ganger， G.R.， Open Cirrus a global cloud computing testbed. IEEE Computer. v43 i4. 35-43.
[23] Dean， J. and Ghemawat， S.， MapReduce： simplified data processing on large clusters. Communications of the ACM. v1. 107-113.
[24] A. Pavlo， E. Paulson， A. Rasin， D.J. Ababi， D. DeWitt， S. Madden， M. Stonebraker， A comparison of approaches to large-scale data analysis， in： SIGMOD， 2009， pp. 1-14.
[25] Open computing facility - ocf， https：//computing.llnl.gov/？set=resources&page=OCF-resource.
[26] Wilde， M.， Hategan， M.， Wozniak， J.M.， Clifford， B.， Katz， D.S. and Foster， I.， Swift： a language for distributed parallel scripting. Parallel Computing. v37 i9. 633-652.
[27] Chi， H.J.M.Y. and Hacigumus， H.， Performance evaluation of scheduling algorithms for database services with soft and hard SLAs. In： International Workshop on Data Intensive Computing in the Clouds， pp. 1-10.
[28] W. Emeneker， D. Stanzione， Efficient virtual machine caching in dynamic virtual clusters， in： SRMPDS Workshop of International Conference on Parallel and Distributed Systems， Hsinchu， Taiwan， 2007.
[29] Aron， M.， Druschel， P. and Zwaenepoel， W.， Cluster reserves： a mechanism for resource management in cluster-based network servers. In： Proceedings of the ACM Sigmetrics， Santa Clara， California， USA.
[30] G. Garzoglio， T. Levshina， P. Mhashilkar， S. Timm， ReSS： a resource selection service for the open science grid， in： International Symposium on Grid Computing， 2007， pp. 1-10.
[31] J.S. Chase， D.E. Irwin， L.E. Grit， J.D. Moore， S. Sprenkle， Dynamic virtual clusters in a grid site manager， in： International Symposium on High-Performance Distributed Computing， HPDC， Seattle， Washington， USA， 2003， pp. 90-103.
[32] X. Wang， J. Zhang， H. Liao， L. Zha， Dynamic split model of resource utilization in mapreduce， in： International Workshop on Data Intensive Computing in the Clouds， 2011， pp. 1-10.
[33] M.A. Kozuch， M.P. Ryan， R. Gass， S.W. Schlosser， D. O"Hallaron， et al. Cloud management challenges and opportunities， in： Workshop on Automated control for datacenters and cloud， 2009， pp. 43-48.
[34] https：///techreports/2011/HPL-2011-129.pdf
[35] Hagras， T. and Janecek， J.， A high performance， low complexity algorithm for compile-time task scheduling in heterogeneous systems. Parallel Computing. v31 i7. 653-670.
[36] B. Sotomayor， R. Llorente， I. Foster， Resource leasing and the art of suspending virtual machines， in： 11th IEEE International Conference on High Performance Computing and Communications， Seoul， Korea， 2009， pp. 59-68.
[37] T. Wood， A. Gerber， K. Ramakrishnan， J. vander Merwe， The case for enterprise-ready virtual private clouds， in： Workshop on Hot Topics in Cloud Computing， San Diego， Califoria， USA， 2009.
[38] W. Smith， I. Foster， V. Taylor， Scheduling with advanced reservations， in： IEEE International Parallel and Distributed Processing Symposium， Cancun， Mexico， 2000， pp. 127-132.
[39] P. Ruth， J. Rhee， D. Xu， R. Kennell， S. Goasguen， Autonomic live adaptation of virtual computational environments in a multi-domain infrastructure， in： IEEE International Conference on Autonomic Computing， 2006：5-14.