自主可控大数据存储管理系统应用案例

自主可控大数据存储管理系统立足自主可控、安全可信关键软硬件，采用软硬件协同创新方式，具备高效能、高可靠、强实时等特点，面向军事大数据应用技术领域，解决海量多类型数据安全存储、开放融合数据体系构建、多云协同运行等关键问题。通过实施运用自主可控大数据存储管理系统，有效提升了海量多元数据的高安全融合存储与多样化协同分析的能力，促进了快速形成以军事大数据为核心的新型战斗力。

一、案例背景与主要问题

随着大数据技术的迅猛发展及其在军事上的广泛应用，大数据已成为战争制胜的新要素。分析军事领域大数据，可以更加直观、快速的实现多元信息融合、有效增强战场全域感知和联合指挥能力，只有掌握数据资源，才能在未来战争中占据主动优势。然而，军事领域大数据技术的应用仍存在诸多挑战：

（1）海量多类型数据安全存储问题

战场态势的复杂性，以及感知技术、网络技术的广泛运用，导致了军事数据爆发式增长，而其中80%以上的数据为非结构化数据，如何存储多类型海量数据对大数据存储提出了挑战。同时，军事数据作为核心资产，保障数据安全是重中之重，对于军事应用领域，必须满足“自主可控、安全可信”的大数据系统规划和建设要求。

（2）大数据存储管理开放融合问题

多元数据融合与多样化计算分析是构建战场信息模型的必要基础，大数据的存储系统一方面要具备海量、安全、高效存储能力，满足大数据的存储需求，另一方面需要提供丰富访问协议接口，以满足不同计算分析工具或平台的高性能访问需求。针对大数据的计算分析方式是多样的，例如实时流分析、批处理、Ad-hoc SQL分析等，每一种计算分析方式往往都要需要构建相应的底层基础架构，包括存储引擎与计算引擎，这就要求对于大数据的多样化计算分析需要针对不同的存储引擎、计算引擎，设计开发不同的应用程序，数据需要在多个存储引擎中复制，在造成开发工作负担的同时，给系统运维也带来了难度。

大数据存储管理需要具备多元数据、多样化计算分析的开放融合能力。

（3）大数据存储管理系统运行模式问题

计算、存储等基础设施资源是支撑大数据管理分析的基础，一方面由于时效性、安全性等要求，以及战场环境限制，部队分支机构根据作战需求会构建私有化基础设施资源，如自建数据中心，建立车载、舰载大数据存储系统等；而另一方面，随着数据规模的不断增加，私有化基础设施在资源量、建设成本等方面不能满足使用要求，并且存在与其他数据中心（例如上级数据中心）进行数据交互的场景需求，这都要求私有基础设施具备与外部数据中心共同组成混合云、多云基础设施形态的能力。

二、解决方案

自主可控大数据存储管理系统依托于自身的软硬件协同能力，针对军事大数据技术应用领域，有效解决存在的以上问题。自主可控大数据存储管理系统组成包括基础硬件设施层、大数据多样化计算分析统一平台、大数据文件系统，以及可视化交互与运维平台。

基础硬件设施由国产申威3231弹性计算服务器及申威3231弹性存储服务器组成，提供计算、存储基础设施资源；大数据文件系统运行在存储服务器之上，以对象存储为底座，提供HDFS、POSIX、NFS存储服务；大数据多样化计算分析统一平台通过数据与计算抽象，形成面向异构数据的多模式计算分析能力；可视化交互与运维平台统一管理基础设施，以及计算、存储平台，提供便捷的使用和运维服务。

基于自主可控处理器的大数据存储管理系统的总体实施方案具有以下能力特点：

（1）采用计算存储分离架构，能够灵活的对计算、存储等基础资源进行独立配置及弹性伸缩，具备良好的经济性和节能降耗水平；

（2）计算、存储基础资源的弹性伸缩涵盖3个层面：弹性服务器设备级纵向弹性伸缩；弹性服务器集群级横向弹性伸缩；混合云模式的跨集群、跨地域弹性伸缩；

（3）软硬件协同创新设计，具备高度可定制能力，开箱即用的高度集成能力。

自主可控大数据存储管理系统的硬件基础设施层实施方案：

（1）基于新一代国产申威3231处理器设计多路高性能服务器；

（2）高度模块化及可定制化，具有良好的硬件层弹性，能够独立拓展计算能力及存储能力。

自主可控大数据存储管理系统的大数据文件系统实施方案：

（1）对象存储基于纠删码机制，在充分保证数据可靠性的基础上，大大提高了磁盘空间有效利用率。为解决纠删编码带来的性能损耗，利用申威3231处理器SIMD指令级进行编码计算加速，兼顾了空间利用率与性能；

（2）元数据与数据分离架构，以内存式KV数据库存储元数据、对象存储系统存储业务数据，实现高性能与高吞吐量；

（3）混合云模式充分拓展资源空间，无缝开展数据共享。

基于自主可控处理器的大数据存储管理系统的多样化计算分析统一平台实施方案具有以下能力特点：

（1）基于计算与存储抽象，兼容多类型数据存储系统及大数据引擎，实现大数据分析平台的统一；

（2）结合大数据文件系统的混合云扩展模式，扩展至外部云环境存储的数据，可以通过计算平台的混合云扩展模式，在外部云上获得与本地大数据分析一致的体验。

三、解决方案先进性、独创性

自主可控大数据存储管理系统在面向军事大数据技术领域解决关键问题，解决方案先进性、独创性主要体现在4个方面：

（1）立足自主可控、安全可信关键软硬件，设计高性能且具备硬件弹性的高度可定制大数据存储管理基础硬件平台；基于自主可控处理器的大数据存储管理系统有效解决了信息系统底层安全问题；

（2）建立开放的大数据存储管理基础体系，包括1）数据开放：支持海量异构多源数据的融合存储；2）计算开放：统一计算平台，解耦底层计算引擎，支持多样化大数据计算分析模式；具备开放的基础体系，适应于多业务数据融合应用场景，高效支持业务分析模式的创新发展；

（3）无缝对接多云服务，支持混合云工作模式；支持混合云运行模式，能够获取足够的资源弹性及数据共享性；

（4）高度集成，开箱即用大数据存储系统，有效提升大数据存储管理能效，降低运维管理复杂度，提高大数据存储管理的效能，进一步拓展了其应用推广范围。

四、实施效果

通过在某部实施运用自主可控大数据存储管理系统，有效解决了海量多元数据的高安全融合存储与多样化协同分析的问题，促进了快速形成以军事大数据为核心的新型战斗能力。

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!