大数据存储,让预测更准确

互联网IDC圈12月30日报道：在日常的生活中,人们越来越关注天气的变化,并根据天气预报来安排生活和工作。比如平常的雨天会给人们的出行带来不便，雾霾天气更是不利于户外活动，另外许多季节性的疾病也与天气变化密切相关，关乎人们的身体健康。所以能够预知近期的天气情况,可以及早的做好各种准备，能让人更加从容的安排生活和工作。

随着人们对生活质量的要求不断提高，对天气预报要求也越来越高，要求天气预报的精度高，预报刷新周期短，预测时间范围广。这对支撑观测业务、预报业务的IT系统，尤其是对存储的性能及容量提出了严峻的考验。因为气象观测，会产生大量的观测数据，接着把这些观测数据汇聚到地面应用系统的存储系统，再经过复杂的计算，最后才能生成未来天气的预测结果。因此，输入的数据越全面，数值越准确，数据的计算处理速度越快，生成的结果就越及时。

传统的预测领域，存储系统普遍采用IBM的GPFS和开源的Lustre技术，它们都兴起于20世纪90年代，用于生产系统有着共同的特点：

1) 与SAN阵列技术发展同步，存储的组网模式基本以SAN为主;SAN的组网比较复杂，购买、使用和运维的门槛都比较高

2) 可靠性依赖传统的存储节点内的RAID，节点间的可靠性弱

3) 随着单盘容量越来越大，传统RAID在出现磁盘故障，其数据重构时间长达数十小时，而且在重构过程中，存储系统变得非常脆弱，性能下降，数据丢失风险高;

4) 另外随着数据爆炸性增长，传统SAN的容量和性能扩展性越来越成为主要瓶颈。

相比于以上两种传统分布式存储，以普通X86服务器为存储介质，通过对象存储技术、并行访问技术、Scale-out横向扩展技术和单一组网为特征的新型分布式存储架构得到迅猛发展。分布式存储系统将大量节点组织成统一系统，提供增删节点的能力，大大增加了系统可扩展性。其次，将数据分片打散到系统内多个节点的硬盘上，分布式存储的可靠性大大提升。 再者，每个存储节点上都提供服务的能力，提升了性能，减少了瓶颈点的发生。

分布式存储，在业界有代表性的产品是华为的OceanStor 9000存储。OceanStor 9000大数据存储系统是华为推出的全对称架构的分布式存储系统，在业界以领先的卓越性能、大规模横向扩展能力和超大单一文件系统著称。

在容量和扩展性方面，OceanStor 9000采用全对称结构，将所有节点的命名空间整合为统一命名空间，将整个系统的所有节点的存储容量组成一个大的虚拟存储池，元数据和数据保存在每个节点上，每个节点都是元数据服务器。同时也是数据服务器，保障了系统的扩展性。

在性能方面，为实现数据保护和高性能读写，OceanStor 9000对数据进行按节点条带化处理，读写数据时文件系统将用户的数据平均分布在各节点上，保障了系统的性能。OceanStor 9000支持全局缓存功能，在高性能计算应用场景时，根据业务对数据的访问模型进行预测，提前将预计即将被访问的文件或某些目录中的所有文件提前预先存储到系统的全局缓存中，从而提高应用获取数据的效率。

在可靠性方面，OceanStor 9000的数据保护技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以OceanStor 9000存储系统中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。通过数据重构过程，系统可以恢复出损坏的数据，恢复整系统的数据可靠性。

除此之外，OceanStor 9000还支持灵活的负载均衡功能，可以根据当前CPU利用率、当前内存利用率、当前网络吞吐量、当前客户端连接数等信息，平均的让每个节点均对外承担服务。

在真实的应用中，以某气象机构为例，华为的OceanStor9000的3个节点，单节点写性能可以达到1.3GB/s,而读性能可以达到1.9GB/s，由于3节点是其最低配置，后续通过增加节点数量，性能容量均能线性提升。

经过以上对OceanStor 9000产品的架构分析以及实际的应用性能分析，该存储平台能够很好的满足气象应用中非结构化数据对存储容量、性能的需求。它能够根据业务增长进行平滑扩容，系统每增加一个存储节点，都能够自动识别，将该存储空间加入到整系统中，并根据负载均衡的原则，优先选择新的节点存储，从而简化了系统扩容的管理，降低了操作成本。扩容时容量和性能支持线性扩展，真正实现"应需而变"，为业务的长期髙效可靠运行提供保障。