云存储技术解析：对象存储服务器,分布式存储架构

云存储技术解析：对象存储服务器,分布式存储架构

当下，AI正与云计算进行深度融合，未来会变得更加智能，但在智能化的背后是对海量数据存储的刚性需求。据不完全统计，单是一辆无人驾驶汽车每秒产生的数据容量就在1G左右，相当于每秒发送20万封纯文本电子邮件或上传100张高清数码照片。因此，没有大容量和超稳定的存储系统，这一切都将无从谈起。无存储，不智能。为了更加清晰的了解云存储技术的实现过程，UCloud存储研发部将对云存储——对象存储（UFile）技术进行深度解析。

▌对象存储UFile概念

对象存储（UFile）是为互联网应用提供非结构化文件存储的服务；相对于传统硬盘存储，UFile具有存储无上限、支持高并发访问、成本更低等优势；解决业务架构的文件存储问题，有效降低海量文件的存储成本，支持热点数据的高并发访问，提升终端用户访问体验。

▌单地域UFile存储架构六大集群

?ULB(UCloud Load Balancer) 实现外网的对接及接入层的负载均衡与容灾处理，该模块通过定期向接入层模块端口发送心跳以检测接入层模块的可用性，发现异常模块及时进行剔除；?接入层提供文件访问服务，该模块为无状态设计，因此可以平行扩容及缩容；

?索引层保存文件对象的元数据信息，包括对象名称、对象大小、创建时间、存储位置等；?存储层是实际存储文件数据的模块集群，主要实现文件数据的多份分布及高可靠存储；

?数据处理层主要实现UFile图片及数据处理，包括图片的实时裁剪、缩放、旋转、水印、格式转换、信息获取等操作，客户还可以使用自己的通用计算镜像对数据进行处理；

?名字服务主要实现索引层及数据处理层模块的容灾剔除，以上3个集群的模块会定期在名字服务注册自身服务，当其中有部分模块因机器异常或者网络中断导致无法提供服务时，名字服务会将该机器从名字中剔除，并且通知接入层，从而实现后台模块的容灾剔除。

▌重点设计解析

UFile索引层设计

UFile索引层为一套分布式KV存储系统，其主要目标是保证UFile对象元数据的高性能、高可靠、高可用及可扩展的存储，其主要分成两层架构：

?索引接入集群解决索引存储集群的管理及元数据的分布，这一层模块为无状态设计云计算及其应用，通过名字服务实现异常状态的容灾剔除；

?索引存储集群实现对象元数据的分布式存储，每个对象元数据将存储3份，保证数据的可靠性及高可用性，同时对象存储采用SSD（固态硬盘）作为存储介质，也保证了元数据存储的高并发低延时访问特性。另外，该模块采用固定集群规模的方式进行管理，每个集群支撑的存储量、访问量固定，存储可实现以集群为单位的水平扩容，保障业务不断增长情况下的高性能稳定访问支持。

UFile存储层设计

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!