基于云集群实现高性能计算的最优实践

日期:2015-06-01点击次数:1454

时至今日,云计算已经开始将关注重点转移至应用程序架构的改进方面,旨在借此提高系统的客户吸引力,然而这一诉求在高性能计算领域始终拿不出切实的成果。目前,各大领先云服务供应商都在重构自己的产品与相关基础设施,旨在以更具实用性及成本效益的方式提供计算密集型应用程序。

AD:干货来了,不要等!WOT2015 北京站演讲PPT开放下载!

时至今日,云计算已经开始将关注重点转移至应用程序架构的改进方面,旨在借此提高系统的客户吸引力,然而这一诉求在高性能计算领域始终拿不出切实的成果。目前,各大领先云服务供应商都在重构自己的产品与相关基础设施,旨在以更具实用性及成本效益的方式提供计算密集型应用程序。

从传统角度看,云技术已经成为一套将应用程序与Dropbox、Gmail、iTunes以及Evernote等存储方案相结合的综合性服务交付架构。“集群的架构方式旨在超越存储而带来其它资源供应机制,例如在自定义网络之上执行来自特定供应商或者由用户自行构建的应用程序,”Bright Computing公司CEO Matthijs Van Leeuwen表示。

与运行在专用硬件平台之上的传统集群方案类似,基于云的集群同样可以将多种不同类型的分布式资源合并起来以支持特定负载用途。其中可能包含利用一套平台实现集群化数据库管理系统(或者简称为DBMS)、高性能计算应用程序或者大数据分析应用程序。以Amazon以及Rackspace为代表的公有云供应商会对自己的资源实例进行预定义,从而在其自己的云基础设施之上构建起多种集群体系。

OpenStack允许企业用户定义自己的资源实例,而后利用这些实例在自己的私有云环境内实现集群构建。物理服务器或者在物理服务器之上通过虚拟机管理程序实现的虚拟机系统通常适用于构建专用型内部集群。对于开发人员而言,各类资源实例之间的最大差别在于抽象化方式的不同,而这也将成为云与专用集群间的本质区别所在。

常见集群使用情况

Leeuwen指出,云集群能够被用于取代或者补充现有的专用型资源。对于运行在最小化专用型硬件——例如笔记本电脑——上的应用程序,云能够作为其“实例化、使用与去实例化”集群。在这种情况下,笔记本电脑本身仅仅充当最终用户进行云集群访问的设备——具体而言,它并不提供任何用于执行计算或者构建网络体系的实例化资源。

而在第二种常见用例当中,基于云的资源能够被作为补充性专用资源。在这类情况下,内部资源会通过云爆发流程成为云环境内的扩展资源组成部分。这部分基于云的资源只需要根据具体需求进行实例化、使用及去实例化。内部环境与云资源之间的这种差别能够以透明化方式呈现给最终用户及多种不同类型的应用程序。

这两类用例都能够应用于公有或者私有云环境当中。企业用户能够建立起自己的应用程序架构,从而直接或者利用Bright Cluster Manager等工具在AWS公有云或者OpenStack私有云内建立集群,这将显著降低前端开发及配置任务的实际工作量。

桥接不同抽象模式的裂隙

基于云集群实现高性能计算的最优实践

开发人员所面临的最大挑战在于,相对于专用型硬件而言,网络、CPU以及存储等云资源在配置方面采用完全不同的抽象模式。云环境的运行依托于实例化资源。除了存储之外,基于云的CPU实例在公有与私有云方案中已经相当成熟。最新的云服务产品一般会提供面向特定外部要求的服务与钩子,例如InfiniBand网络连接、GPU加速以及自定义IP网络等等。

任何一种资源都需要经由同样的路径才能为任何一类云环境所使用。由于集群会以路由方式采用具备低延迟与高传输带宽水平的互连体系、加速器与协助处理器以及其它指定资源,所有这些都会在基于云的集群实例当中同时带来严峻的挑战与良好的业务扩展机遇。

“企业用户需要完全依赖于云服务供应商的思路来支持除存储与计算之外的资源实例化效果,”Leeuwen指出。举例来说,AWS能够通过Amazon VPC支持自定义IP网络以及英伟达GPU实例。其中一类优秀的实践在于开发标准化配置或者利用第三方云管理方案来管理存储、计算、网络以及加速器资源,无论它们处于内部环境还是AWS体系之下。

时至今日,云计算已经开始将关注重点转移至应用程序架构的改进方面,旨在借此提高系统的客户吸引力,然而这一诉求在高性能计算领域始终拿不出切实的成果。目前,各大领先云服务供应商都在重构自己的产品与相关基础设施,旨在以更具实用性及成本效益的方式提供计算密集型应用程序。

 

 

 

AD:

干货来了,不要等!WOT2015 北京站演讲PPT开放下载!

 

时至今日,云计算已经开始将关注重点转移至应用程序架构的改进方面,旨在借此提高系统的客户吸引力,然而这一诉求在高性能计算领域始终拿不出切实的成果。目前,各大领先云服务供应商都在重构自己的产品与相关基础设施,旨在以更具实用性及成本效益的方式提供计算密集型应用程序。

从传统角度看,云技术已经成为一套将应用程序与Dropbox、Gmail、iTunes以及Evernote等存储方案相结合的综合性服务交付架构。“集群的架构方式旨在超越存储而带来其它资源供应机制,例如在自定义网络之上执行来自特定供应商或者由用户自行构建的应用程序,”Bright Computing公司CEO Matthijs Van Leeuwen表示。

与运行在专用硬件平台之上的传统集群方案类似,基于云的集群同样可以将多种不同类型的分布式资源合并起来以支持特定负载用途。其中可能包含利用一套平台实现集群化数据库管理系统(或者简称为DBMS)、高性能计算应用程序或者大数据分析应用程序。以Amazon以及Rackspace为代表的公有云供应商会对自己的资源实例进行预定义,从而在其自己的云基础设施之上构建起多种集群体系。

OpenStack允许企业用户定义自己的资源实例,而后利用这些实例在自己的私有云环境内实现集群构建。物理服务器或者在物理服务器之上通过虚拟机管理程序实现的虚拟机系统通常适用于构建专用型内部集群。对于开发人员而言,各类资源实例之间的最大差别在于抽象化方式的不同,而这也将成为云与专用集群间的本质区别所在。

常见集群使用情况

Leeuwen指出,云集群能够被用于取代或者补充现有的专用型资源。对于运行在最小化专用型硬件——例如笔记本电脑——上的应用程序,云能够作为其“实例化、使用与去实例化”集群。在这种情况下,笔记本电脑本身仅仅充当最终用户进行云集群访问的设备——具体而言,它并不提供任何用于执行计算或者构建网络体系的实例化资源。

而在第二种常见用例当中,基于云的资源能够被作为补充性专用资源。在这类情况下,内部资源会通过云爆发流程成为云环境内的扩展资源组成部分。这部分基于云的资源只需要根据具体需求进行实例化、使用及去实例化。内部环境与云资源之间的这种差别能够以透明化方式呈现给最终用户及多种不同类型的应用程序。

这两类用例都能够应用于公有或者私有云环境当中。企业用户能够建立起自己的应用程序架构,从而直接或者利用Bright Cluster Manager等工具在AWS公有云或者OpenStack私有云内建立集群,这将显著降低前端开发及配置任务的实际工作量。

桥接不同抽象模式的裂隙

基于云集群实现高性能计算的最优实践

开发人员所面临的最大挑战在于,相对于专用型硬件而言,网络、CPU以及存储等云资源在配置方面采用完全不同的抽象模式。云环境的运行依托于实例化资源。除了存储之外,基于云的CPU实例在公有与私有云方案中已经相当成熟。最新的云服务产品一般会提供面向特定外部要求的服务与钩子,例如InfiniBand网络连接、GPU加速以及自定义IP网络等等。

任何一种资源都需要经由同样的路径才能为任何一类云环境所使用。由于集群会以路由方式采用具备低延迟与高传输带宽水平的互连体系、加速器与协助处理器以及其它指定资源,所有这些都会在基于云的集群实例当中同时带来严峻的挑战与良好的业务扩展机遇。

“企业用户需要完全依赖于云服务供应商的思路来支持除存储与计算之外的资源实例化效果,”Leeuwen指出。举例来说,AWS能够通过Amazon VPC支持自定义IP网络以及英伟达GPU实例。其中一类优秀的实践在于开发标准化配置或者利用第三方云管理方案来管理存储、计算、网络以及加速器资源,无论它们处于内部环境还是AWS体系之下。(文/核子可乐/译 51CTO )


版权所有 金名计算机系统集成股份有限公司 备案号:京ICP备13027063号