青云U10000,敢说全自研的国产存

好多人可能觉得这是明知故问，毕竟好多人都在说数据就是数字化时代的“石油”，石油又怎么会没有价值呢？好多人可能都没见过石油真正的样子。在我国新疆的克拉玛依市东北部有座“黑油山”，在这里你可以看到许多泉眼一样冒出的石油。但是问题来了，这与我们汽车里添加的汽油真的一样么？显然不是。

事实上，即便是宝贵如石油，也需要人工的开采、提炼等一系列工作才能体现出价值。数据也是同理，单纯的数据生产并不会产生价值，唯一的有效方式就是让数据流动起来。从主机时代开始，我们产生的数据大多都是结构化的图表、文本，使用的存储协议也多为文件、块存储，动辄都是几百上千块磁盘组建阵列。但是到了数字化时代，特别是伴随着音视频应用的普及和人工智能应用的崛起，越来越多的非结构化数据出现了，原本的存储协议也需要迭代和改进，伴随着分布式存储应用的流行，海量非结构化存储设备也登上了舞台。

相关的调研数据也证明了这一点。来自权威分析机构IDC的《数据时代》报告显示，年全球每年产生的数据将增长到ZB，这都得益于新一代信息技术的迅速发展与普及、全球数据的“井喷式”生产、数据收集存储和处理成本的大幅下降、机器计算能力的大幅提高等因素。而为了存储这些数据，我们也需要性能强大、运行稳定的海量数据存储平台。日前，青云发布了一款名为QingStorU的统一存储平台，帮助客户将非结构化数据“存得稳、算得快、管得好”。

开启全自研的国产存储之路

“存储没有银弹”，青云科技存储产品总监冯相东介绍说。他口中的“银弹”传说中驱魔神器，后来被用来指代极端有效性的解决方法，相当于我们更熟悉的“杀手锏”。在冯相东看来，要解决海量数据的存储和应用问题，指望单一的某一款设备或者某一个平台是不太现实的，毕竟数据在产生之时就从结构特征上分为结构化数据和非结构化数据；本着“各尽其用”的原则，就应该使用不同的存储平台进行管理。也正是本着这样的理念，青云为海量存储提供了两款解决方案——QingStorNeonSAN和QingStorU。

青云存储产品线

QingStorNeonSAN主要面向的场景是云盘、数据库以及虚拟化存储资源池等应用，这大多是传统意义上的结构化数据。凭借多年在存储领域特别是金融领域的应用经验，青云存储已经为多家金融行业客户提供OracleRAC集群服务，这也是青云存储在块存储领域应用的经典场景。而针对非结构化存储，青云本次推出的U就侧重于多媒体数据、AI场景、大数据等等，这也是当下最热门的存储应用内容。U提供的对象、文件、大数据等多种接口协议，更适合海量数据应用。

“U的设计初衷就是帮助客户更好地实现海量数据的价值挖掘，产品的核心特点包括：同时提供对象、文件、大数据接口，不同协议之间实现数据无损访问互通；单存储桶支持多亿个对象，并且性能不会随之下降。”在介绍产品特性的时候，冯相东如数家珍。事实上，QingStorU也的确是一款%全自研的产品，青云的研发团队放弃了业内常用的开源平台，亲手敲下了每一行代码，这在国际关系日益紧张，各国科技竞争加剧的情况下更为难得。

熟悉存储设备的人都知道，传统存储的代码非常复杂，而即便是采用开源软件编写，由于开发团队更迭的原因，许多应用的代码量都是非常庞大的，甚至达到了几十万、上百万行，即便是专业人士也不敢随便进行改动。这就造成了一定程度的恶性循环，一旦面对复杂故障的时候，工程师们往往无能为力，因为不知道哪块代码就成了“多米诺骨牌”。

全自研产品就解决了这个问题。不过说起这事儿，青云并非是一开始没考虑过使用开源平台，而是在经过系统的评估之后，发现开源平台难以满足需求，加上考虑到后期的运维与迭代问题，才决定通过全自研的手段满足通用大规模云计算平台对存储的需求。“自主研发使得技术百分百可控，不存在技术盲区”，冯相东解释说。于是，在冥冥中的巧合与注定下，青云开启了一条全自研存储的发展之路，也才有了今天我们看到的QingStorU。

全面升级的统一存储

U实现对象存储与文件存储融合

许多人都知道青云是从云计算开始的，但正所谓“存算不分家”，青云存储同样也经历了10年的发展历程。也正是因为服务了私有云、公有云乃至混合云等众多用户，积累了大量的实践经验，青云存储也顺理成章的开启了软件栈全自主设计与自主研发。就整个产业的存储来看，如今分布式存储已经成为应用主流，在协议方面传统的对象存储、文件存储也越来越趋于统一，这一次青云推出的U存储也同样是一款能够应对众多场景的统一存储。

U产品架构图

多层级的架构设计是保障U性能与应用的关键。从图中我们可以清楚的看到，抛开底层的硬件基础设施不谈，U主要由接入层、存储服务层、运维平台三大模块构成。其中接入层主要是支持各种协议，包括对象存储S3、NFS以及HDFS大数据接口等等，这也正是我们刚刚提到的统一存储的模式。

换句话说，面对非结构化数据存储，U已经提供了全面的支撑能力，可以提供文件、对象、大数据三种接口的数据存储业务。“U的产品架构可以很好地取对象存储与文件存储的优势，结合协议互通，用户就可以很好地把数据做接驳，再在两者之间做流转。在这样的场景里，我们把对象存储和文件存储揉合起来，客户的体验上会好很多。”在谈到对于对象存储和文件存储协议的统一支撑时，青云科技产品技术解决方案总监张忠华解释说。

而在存储服务层方面，青云也进行了特别的细化，分为高级特性、多维度资源管理功能以及核心机制等多个维度，既有在数据安全、数据加密上的支持，也有EC纠删码、多副本数据安全等等功能，保障了数据存储和处理的可靠性，兼顾了数据备份和恢复。

如果说上面提到的还是存储性能与安全相关的部分，统一运维管理平台的实现，则是通过可视化管理平台，帮助运维人员实现了对存储集群的多维度配置、操作、预警和监控。“当做完数据本身的聚合、计算、分析、处理之后，可能还需要从一些性价比的角度做数据生命周期的流转。”冯相东表示。

得益于上述架构特征，QingStorU在实际使用中表现出了强大的扩展能力。作为分布式存储，它可以支持从3节点到上千节点的集群组建，并保证了在所有节点规模增长的时候均可以保证性能和容量的线性增长。而在得盘率方面，U提供了灵活的EC纠删码选择，用户可以根据业务的实际情况选择合适配比，最高可用空间率达到90%以上。

QingStorU的另一个特征保证了小文件的卓越吞吐能力。我们知道，许多AI场景下的训练任务通常都是小文件，这些文件从几十KB到几MB不等，别看它们很小，但是数量庞大，对于AI系统的训练也起到了关键的作用。不过在传统的存储读写中，小文件一直是性能瓶颈，数量越大越琐碎，读写的效率越低。但是在U存储上，青云使用了当下行业流行的Rust语言，在技术语言层面给予存储性能安全方面更优的保障，通过内存的更有效调用，解决了小文件的读写效率问题，使得单桶单目录能支持百亿级小文件存储，并且能做到性能不衰减。

作为云服务商，青云提供了多种云平台的服务，并支持图片处理、音视频转码、AI大数据分析、HPC超算平台等一系列应用。因此在设计之初，青云也为U存储提供了丰富的接口能力，这样借助于完善的API、SDK，就可以轻松地对接大数据平台、数据处理的框架和服务，一来帮助客户实现与原有平台的互联互通，二来也实现数据和算力的高效结合，更好地发挥数据价值，实现“点石成金”。

作为一款全自研存储，许多人都担心QingStorU的生态能力，有多少平台支撑？有多样应用运行？其实对于生态的兼容性，青云很早就开始布局。据冯相东介绍，“青云从底层的国产芯片、OS、上层PaaS以及SaaS应用”等等，都在信创领域找到了众多国产化的支撑——“包括鲲鹏、飞腾、海光等目前主流的国产硬件平台，还有麒麟软件、统信、openEuler等国产操作系统，青云都已实现完整的生产化兼容”。

凭借强大的性能、多元化的数据包容性、丰富的扩展能力和众多生态合作伙伴的支持，青云U存储展示出了不俗的实力，自然赢得了众多用户的

转载请注明：http://www.kelamayizx.com/klmyszy/15139.html