阿里云打造异类神龙服务器，备战云计算下一个十年
时至今日，已经没有人怀疑云计算是最主流的企业IT基础设施之一，大多数企业已经或多或少的开始使用云计算，没有使用的也在考虑迁移到云上，何时上云，只是时间问题，而不是上不上的问题。
|
时至今日，已经没有人怀疑云计算是最主流的企业IT基础设施之一，大多数企业已经或多或少的开始使用云计算，没有使用的也在考虑迁移到云上，何时上云，只是时间问题，而不是上不上的问题。 云计算也有从娘胎里带出来的问题 不过即使云计算已经如火如荼的发展起来，在IaaS层面，云计算的底层技术并没有根本性的变化——大规模标准化的X86服务器+可以将这些资源池化的并提供虚拟机服务的Hypervisor系统软件。Hypervisor系统通过管理标准X86计算机集群，为上层的租户提供虚拟机服务。用户因此得到弹性的计算资源，也不需要自己去运维复杂的底层硬件，只要关注业务即可。 对于单纯的WEB服务来说，这样服务问题并不大。体量大如Netflix这样的流媒体巨头，其主要的IT系统都是运行在AWS上的，云计算承诺的弹性、方便的横向扩展、秒级的部署、零硬件运维等天然优势，对大多数互联网应用来说是极具吸引力和性价比的。
不过，单纯依靠软件来实现Hypervisor，实际上也有其自身的缺陷。其一、虽然英特尔等芯片厂商，都提供了硬件级别的虚拟化支持，但这种支持是非常有限的，虚拟化带来的性能开销再所难免，虚拟机的性能和物理机还是有较大的差距。其二、在同一宿主机上的虚拟机之间资源调度无法做到完全的平衡，虚拟机之间存在资源抢占的情况，因此虚拟机的性能是会波动的，而且这种波动无法避免。其三、虚拟机无法嵌套虚拟化，或者说嵌套虚拟化效率极低，基本没有使用价值。 以上这些缺点，对于云计算来说，可以说是从娘胎里带出来的，因为云计算的软件和硬件是单独发展出来的。硬件系统由英特尔等芯片厂商主导，其发展的目的就是不断的提升硬件性能，以给软件更多的资源做更多的事；软件系统则由不同的开源组织或者商业组织来实现，通过调用通用的硬件接口，实现自己需要的功能。这样做的好处，是软硬件可以解耦，无论是哪个厂商的设备，都可以跑一样的软件；而只要在标准硬件体系里，不同的软件都能适配；灵活性非常高。 对于体量巨大的头部云计算厂商来说，其服务器部署规模可以达到百万级别。这个时候，其硬件采购规模，已经允许他们定制任何可能的硬件，如果设计自己的软硬件一体化系统，以提供更好的服务，便成了具有性价比的选项。 以国内最大云计算厂商阿里云为例，阿里云便推出了自己的云计算底层架构——“神龙X-Dragon架构”，它通过软硬件一体化的设计，将云计算的基础设施带到一个全新的层面上。 半路杀出程咬金——软硬一体的神龙 “神龙X-Dragon架构正在从虚拟化的角度定义计算基础设施，做像虚拟机一样灵活使用的物理机。”这个话看上去有些拗口，但当你深入理解后，发现这是阿里云多年云计算服务下沉淀出来的底层需求。 2017年10月，阿里云在全球率先推出了同时融合物理机和虚拟机特性的“跨界”云服务器——弹性裸金属服务器神龙X-Dragon，它采用了自主研发的虚拟化2.0技术，兼具“虚拟机的心脏”和“物理机的肌肉”，被认为是云计算领域的新物种。
神龙X-Dragon架构的精髓，主要就在X-Dragon芯片和弹性裸金属服务器上。想要具体了解神龙服务器的细节，可以移步观看《神龙首次开箱直播评测》。
X-Dragon芯片是装在弹性裸金属服务器中的MOC卡的核心。这个阿里云自研的MOC卡拥有独立的处理、存储、I/O等单元，MOC卡承担了原来通过软件实现的网络、存储以及外围设备的虚拟化。而神龙服务器的的主板也是阿里云定制的版本，专门针对MOC卡进行优化，以便X-Dragon Hypervisor可以方便的管理整个机器。 在这样的构架下，每台神龙服务器，可以像虚拟机一样被X-Dragon Hypervisor调用，创建和释放一台神龙弹性裸金属服务器在阿里云控制台中和创建一台ECS是一样的。但是由于这种调用是通过硬件来实现的，所以基本没有性能开销，整个机器的运行性能和裸机无异。
与此同时，神龙服务器的外部存储、网络等资源，都通过MOC卡来远程调度。我们知道，低速的外围设备，是现代服务器主要的性能瓶颈，等待硬盘等的存储消耗掉大量的计算资源。神龙构架的做法，是将该部分功能，通过硬件直接独立出去，做到MOC卡上，因为使用了专属硬件，其效率非常高，而且实现了和阿里云原有的云计算体系的完全兼容。神龙裸金属服务器可以像云主机一样，通过挂载镜像进行初始化，还可以通过API操作，完全免去了人肉运维的痛苦，使用效率极高，和一台普通ECS使用体验基本相同。 这样一来，神龙弹性裸金属服务器便克服了上面提到的公有云遇到的几个问题。首先、神龙弹性裸金属服务器没有软件虚拟化带来的性能开销，可以完全发挥处理器和内存的性能。其次、神龙弹性裸金属服务器的资源是独占的，其性能非常稳定，不会出现性能起伏不定的状况。第三、神龙弹性裸金属服务器支持嵌套虚拟化，主流的虚拟化系统都可以在上面运行。在克服传统云计算主机缺点的同时，又保留了云主机的优点，比如上面提到的弹性部署、API操作、镜像启动、VPC网络等特性一样不少。 正是因为上面这些特点，神龙弹性裸金属服务器已经成为阿里云的基础架构，据阿里云智能创新产品线负责人张献涛透露，阿里云所有的新增服务器皆基于神龙X-Dragon架构。 “唯快不破”的神龙成为云上计算资源的底座 书云“天下武功，唯快不破”，而放到计算世界，这也是颠扑不破的真理。神龙X-Dragon架构“快”的特点，让它几乎适合承担从轻量级计算到高性能计算所有的云计算任务，例如可以支持ECS，还可以通过灵活的配置，组成计算力强大的超算集群，为高性能计算提供驱动力。 以人工智能为例，训练一个模型可能需要几个月时间，这在现在这个分秒必争的社会是不能容忍的。传统的超算面对这类场景也束手无策，通过异构计算集群来加速训练是工业界和学术界的最常用的途径。
而神龙则把异构超算能力带到了云上，可以轻松满足这种大算力场景的需求。在刚刚结束的2019阿里云峰会·北京上，阿里云发布了神龙异构超算集群，结合低延时RDMA网络、百万级IOPS性能的ESSD、高性能并行文件系统CPFS以及分布式加速框架Ali-Perseus(擎天)，最高可以实现100%的性能提升，从而最大限度发挥芯片的计算性能。以ImageNet竞赛的128万张图片的数据集为例，用普通计算资源训练ResNet50模型，如要达到75%的精度需要数天甚至一周的时间，而使用神龙异构超算集群，模型训练可以缩短到几分钟。 去年下半年，旷视科技获得COCO+Mapillary物体识别联合挑战赛4项世界第一，这背后就有神龙异构超算集群的功劳。 不仅如此，神龙还非常适合目前最流行的容器技术，张献涛表示“在容器方面神龙裸金属服务器是超越物理机的计算实体。”
容器技术是当下最热门的技术，几乎所有的互联网公司都或多或少的应用容器技术来部署自己的服务，而神龙神龙裸金属服务器的种种特性，正好和容器技术紧密结合，提供超越预期的性能。张献涛透露“就目前来看，神龙裸金属服务器运行容器对比物理机有10%-30%的性能优势。” 张献涛解释说容器最大的好处，就是对计算资源的切分更高效，容器技术需要对存储、网络等进行虚拟化，而神龙裸金属服务器已经将网络、I/O等的虚拟化卸载到MOC卡上面去，所以就减少整个系统在这部分虚拟化上的开销，容器技术只需要对CPU和内存进行隔离，其开销比物理机还要小。所以在这样的情况下，神龙裸金属服务器比实体机不仅不慢，而且更快。 云计算行业的新十年，深度软硬件定制成为核心能力 正如之前所说，在云计算蓬勃发展的这10多年时间里，实际上云计算的软硬件基础设施并没有出现太多的变化。依旧是软件厂商做软件，硬件厂商做硬件，集成的厂商做集成，打包在一起，一套云计算基础设施便搭建出来了。这时候，云计算似乎成了一场资本游戏，谁能覆盖更大规模的市场，获得更好的规模优势，似乎成为了唯一的竞争点。 但随着云计算的近一步深入，很多发展初期并没有被注意到的需求逐渐显现出来，这个时候，只是资金的累加，规模的扩大，并不能解决相应的问题。这种由于底层构架造成的缺陷，只有从最底层入手才能解决。这种解决不再是贴创口贴式的小修小补，而是大型外科手术。 从阿里云的神龙X-Dragon架构来看，阿里云定制研发了专用的主板，研发了专用的芯片，开发了专用的MOC卡，开发了整套配到的软件，从BIOS到客户机软件，到上层的整体调度软件等一整套复杂的系统。这是非常巨大的投入，但是从结果来看，这种投入换来的核心竞争力也是巨大的。 提到神龙X-Dragon架构云计算服务器搭建，张献涛不无自豪的说，“全世界目前有能力开发这样系统并投入使用的企业只有两家，而且我们可能比对方还走的快一点。” 白鼠窝 长按下面二维码 （编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
