联想HPC的底气:让高教领域HPC不再难
作者: 互联网
责任编辑: 阚智
来源: 互联网
时间: 2015-12-30 17:17
浏览: 7991
点赞: 43
收藏: 5
在HPC的很多领域,联想是一个托底的单位,很多其他公司不行的、不愿意做的、不在乎的,联想可以顶的上,能够保证用户的应用,联想以在HPC领域的产品品质、可靠性、服务综合实力,使他们相信联想。”
这是联想集团首席科学家祝明发在2015年全国高性能计算学术年会会后接受媒体采访时说的一段话,是日,联想在《2015年中国高性能计算机TOP100排行榜》中以34套上榜系统的份额再次获得榜首,但同时受到行业内密切关注的,还有榜单撰写人之一,中国科学院软件研究院姚继峰博士所公布的一个数字:28%。
以数据挖掘、视频分析、事务处理等新兴应用等为代表的“非传统(HPC)应用”领域正逐渐侵占中国HPC市场的主流份额,不仅在TOP100排行榜上的份额已经连年稳定超过70%,更是渗透到当前几乎每个大型互联网公司和新兴应用领域,也让许多传统HPC供应商“调转船头”,逐渐减少在以科学计算、工业仿气象气候等应用领域为代表的“传统(HPC)应用”领域的投入。
尤为值得注意的是,在TOP100榜单的诱惑下,来自新兴应用的上榜系统逐渐增多的背后,隐藏着一个“低成本,高效益”的故事:鉴于移动互联网、信息安全、视频、电子商务、云计算、大数据、互联网服务等行业和技术领域的快速发展,此类客户普遍拥有更多的资金以建立大规模的计算系统,于是“拿来跑一跑Linpack,冲一下榜单”顺理成章。
虽然不是专为科学计算等传统高性能计算应用所设计,也不是专为Linpack测试所调优,但依靠其庞大的系统规模和强大的系统性能,“Linpack数值也总能跑到非常高的水平”。
唯一的问题是,这些系统所提交的成绩显示,“系统效率往往处在非常低的水平”。事实上,这也就是全球高性能计算TOP500排行榜撰写人对部分中国上榜系统略有微词的原因,但这不是此文的重点,在此不再赘述。
回到中国HPC市场的话题,诚然,云计算、大数据、移动互联网、社交等新兴需求的出现,催生了一大批对计算量极为渴求的企业,而随着互联网公司表现出对认知计算、机器学习、神经网络计算的极大兴趣,这种计算量的爆炸式增长显然还会持续相当长的一段时间,但从另一个方面来说,“传统(HPC)应用”虽然听起来不是那么“高大上”,却是支持和促进国民经济生活基础行业发展、提高国家科研水平及科技竞争力的重要力量。
承担国家大量科研课题和高等教育的高校,是国内“传统(HPC)应用”的主战场之一,与商业企业不同,高校在HPC领域长期致力于科学计算领域,是包括计算或应用数学、计算化学、计算物理学、计算生物学等学科研究的重要保证和基础,而也正是这些以“计算”为前缀的学科研究,极大的拉近了我国在科研计算领域与国际先进水平之间的差距。
这也就是为什么当今年中国高性能计算TOP100排行榜上第100位出现北京大学的一套高性能计算系统时,受到了现场观众密切关注、榜单撰写人之一姚继峰也破费笔墨的重点介绍这一套系统的重要原因:虽然与互联网巨鳄相比,在资金、人力、物力等方面完全不可同日而语,但在联想这样的“中国高性能计算领域‘托底’的最后一道防线”的支持下,我们仍然能够看到中国高校HPC建设仍然持续着它的发展步伐。
而持续坚持为“传统(HPC)应用”战场和高等院校HPC建设服务的联想,也在这种坚持的过程中,收获了越来越多中国高校HPC建设者的青睐,让2015年的高教领域HPC建设中,出现了越来越多联想的身影。
让两“南”院校HPC建设不再难
在我国,如今有三所以“南”字开头的著名院校,一是北方的南开大学,二是华东地区的南京大学,第三则是被誉为“中国高等教育的改革试验田”的南方科技大学,2015年,联想分别与其中的两所大学:南京大学和南方科技大学,开展了一系列的HPC方面的合作,成为两所学校在教学科研方面的有力保证。
“最大的总是最引人瞩目的”,2015年南京大学可谓是在国内高教HPC领域“放了一颗大卫星”:南京大学与联想共同宣布达成重要合作,共同打造896节点的校级计算平台,这一平台将有力支持包括南京大学的“王牌院系”——天文系——在内的全校理科教学,而且规模则达到了令人咋舌的896(以上)计算节点,同时还有1套完整的并行存储系统。
要说南京大学可是我国高教HPC领域的早期开拓者和领导者,早在1980年,该校天文系就为其应用需求建设了第一套HPC系统,19年后,南京大学搭建的以x86架构及刀片服务器为基础的校级计算平台,则以34万亿次的性能指标位列当年TOP100第七名,92%的Linpack测试效率,则“在学术界名噪一时”。
联想之所以能够在南京大学HPC竞标中力压群芳,一是靠联想在高教HPC领域常年的经验积累,以及提供个性化服务的精神;二是提供了包括计算、网络、存储和软硬件一体的,经过兼容性测试的完整系统——对于人力、物力相对缺乏的高校来说,这是最重要的选择指标之一。
而从技术方面来说,这套系统通过部署65套联想Flex机箱,可以确保系统总体计算能力的峰值达到每秒860.16万亿次,运算效率超过76% (理论最高值为81%),其次,在Infiniband交换机部分,系统通过两台配置了612个接口的交换机,实现计算和存储的全线速交换。
最重要的一点是,此套系统采用了联想全SSD分布式并行存储和稳定可靠高性能的GPFS并行文件系统,可满足PB级海量数据文件的汇存需要,本系统使用的GPFS保持着实际测试中带宽可达208GB/s的速度,该设计可以满足随需扩展的容量需求,支持存储带宽随容量线性扩展。此外,基于互联网的7*24小时HPC在线运维服务系统也将极大提高系统平台的运营管理效率。
“南”字辈的另一家学校南方科技大学,虽然是一所成立于2011年的年轻院校,但一开始就以国际领先的创新研究型大学为发展目标,该校物理研究领域涵盖了新能源物理,新型功能材料,以及与之相关的凝聚态物理等前沿理论,研究领域涵盖不同维度下的半导体、金属、绝缘体等多种材料,以及对新材料的设计和预测等学界前沿地带。
所以,这家眼界开阔、思维前沿的“改革试验田”对HPC平台的要求也是同样的前瞻和严苛,南科大为“搭建一套全新的、符合平衡设计的高性能材料分析模拟平台”而发布的招标书中明确提出:高性能材料分析模拟平台需要提供强大的计算能力,具备高度的智能管理能力,以及高速/高吞吐量/低延迟的交互网络,并且可进行灵活高效的任务调度和快速部署扩展——每一项都是高标准严要求。
基于对高教HPC领域的重视,联想能够迅速集结起一支由Lenovo System x高级专家和HPC系统优化高级工程师组成的专家队伍,在经过数月的沟通讨论之后,“一套共有153个节点的Leovo System x HPC综合解决方案最终浮出水面”。
就技术方面来讲,联想充分利用了Lenovo System x HPC软件包支持自动并行化、线程并行(OpenMP)、进程并行(MPI)以及混合模式等多种并行技术的先进功能,通过单点管理,管理命令和界面使得日常集群管理工作量与单一映像系统相当。
就管理方面来说,联想为了让平台具备更灵活高效的调度能力,借助专业作业调度软件,可将不同作业分配到不同节点上,保证多个作业同时提交时的高效有序运行,完整的管理系统保证所有不同类型节点都可被充分运用。根据方案设定,这150多个节点具有数年平均无故障时间的高稳定性设计,特别适合南科大物理系在计算材料物理时的高可靠性要求。
作为国内计算材料物理的先行者,南科大高性能材料分析模拟平台的效率将直接关系到我国计算材料物理领域的发展速度和水平,南方科技大学的严苛要求与联想的认真对待,着实是一点也不过分。
南京大学是896个计算节点,南方科技大学则是153个计算节点,联想为北京大学搭建的Lenovo Intelligent Cluster高性能计算系统,则拥有个976颗英特尔至强E5-2670 V2和48颗英特尔Xeon Phi 5110P处理器、8颗NVDIA K20协处理器,就高教HPC领域来说,这三套系统都是规模相对比较大的HPC平台,但必须要指出的是,在高教HPC领域,普遍的情况是低于100左右的节点,甚至是低于50个节点左右的HPC集群,而对那些将目标矛头指向互联网巨鳄的HPC供应商来说,这部分业务在很大程度上交给了部分国内HPC领域的中小型服务商。
但对教育科研任务来说,每一次计算、每一个结果、每一个HPC集群,无论大小都有成为一次学科研究爆发点的潜力。因此,就规模相对较小、范围更加广泛但学科研究价值一点不比前述HPC集群低的诸多高校HPC集群需求来说,仍然需要有技术更好、服务更专业、产品更优秀的供应商参与进来。这就是联想作为“中国HPC领域‘托底’单位”最大的价值。
校企合作 无论大小:拿出中国HPC的“底气”
无论是北京大学、南京大学,还是南方科技大学,总体来说有几个共性:第一,都处于相对发达的经济地区,经济水平较好、高校科研资金较为充足、学校高尖端人才储备非常丰富;第二,这些学校或是在高性能计算领域有着短则十几年年、长则三十多年的HPC构建经验,要么是吸引了国内外顶尖学科带头人的顶尖院校——与此不同,在更为广阔的国内高教HPC领域,同样存在着发展不均衡的现象。
这就是前述所说,规模相对较小、范围更加广泛的市场,在这一市场上的高等院校往往不是国内顶尖院校,地理位置也往往处于经济发展水平一般甚至是欠发达地区,但也正如前面所说,其构建的HPC所产生的科研价值、应用价值同样不可小觑,更何况,作为高等院校发展的重要参考标准和核心支撑力,一套优秀的HPC系统对此类院校及其周边地区所产生的积极影响是不可估量的。
青海大学就是这样一所大学。作为作为国家“中西部高校综合实力提升工程”重点建设大学之一,以及清华大学直接对口支援的“211工程”高校,青海大学承载了西部发展的重要使命,其科研水平的提高对助推国家西部建设方面具有不凡的意义。
比如说在水资源研究方面,青海大学就有着先天优势:青海地处青藏高原腹地,又是长江、黄河和澜沧江的发源地,客观上就站在了我国水利资源建设、三江源水利研究的最前沿。正因如此,青海大学在清华大学的帮助下共同成立了水沙科学与水利水电工程国家重点实验室和三江源协同创新中心,专门从事三江源水利工程研究。
与此同时,随着IT技术的发展,水利研究也进入了以大数据和云计算为支撑的水联网时代,实现水信息的准确预报、水资源的智能调度和高效管理都需要超级计算能力的支撑和配合。于是,三江源水联网建设与云服务平台的建设迫在眉睫。
谁能支持这一平台的建设?当然是联想,毕竟,在产品运输交付困难、相关专业人员环境薄弱的青海,对很多追求大规模HPC系统的供应商来说,30节点的高性能计算系统并不是一个性价比非常高的项目,特别是在建设时间非常有限的前提下。
为什么是联想?因为早在2005年,清华大学成立水利数字实验室时就采用了System x服务器,清华大学对联想及System x服务器的信赖使得清华大学也做出了同样的选择,更重要的是,联想具备将“这套系统将与清华大学的水利研发计算平台无缝对接,更加专注于三江源地区的数据分析”的能力——一是“托底”,二是开放,三是长期服务,这就是联想获得青海大学青睐的原因,而联想也确实成为了国内高教领域HPC的“底气”。
厦门大学信息与网络中心副主任许卓斌曾经在谈到高校HPC建设的选择标准时曾说到:“x86谁都能生产,但高性能计算还需要服务器有更多不一样的东西,这会直接决定运营成本,而合适的合作伙伴要有针对高性能计算领域的产品、深入了解高性能计算领域、拥有完整的高性能计算运营团队、有自己的软件开发和管理能力,特别是合作伙伴的作用是让我们的团队,在他们的支持下,建设、部署、管理和优化HPC硬件基础架构,搭建更具有经济性的集群。”
在许卓斌及其同事们的努力下建立的厦门大学信息与网络中心第三代HPC平台,Linpack性能达到25TFlops,使用了50个节点的联想HPC计算节点。