海量数据存储系统研究

海量数据存储系统研究

作者：姜宇鸣

来源：《电脑知识与技术》2011年第08期

摘要：该文分析了数据记录存储系统的总体结构；根据高速接收海量数据的特点选择了合适的服务器平台；通过对存储设备和存储模式的优缺点的比较，在该设计中选择磁盘阵列作为在线存储设备，LTO磁带库作为离线存储设备。

关键词：遥感数据；磁盘阵列；直接连接存储；网络附加存储；存储区域网络 中图分类号：TP274文献标识码：A文章编号：1009-3044(2011)08-1922-01

在遥感卫星地面应用系统的建设中，实时接收记录卫星数据是各种后续处理手段应用的前提。海量数据存储系统作为遥感数据接收地面站重要的一个组成部分，是实现接收遥感卫星原始数据的最直接的记录存储技术手段。

本论文主要以遥感地面站的工程研制为研究背景，对实现地面站数据记录存档子系统的主要技术进行了深入研究，并以此为基础，提出了满足系统工程研制需求的设计方案。 1 系统总体结构设计

海量数据存储系统主要由高速数据采集卡、数据记录服务器、磁带库、RAID磁盘阵列、网络设备、数据记录存档管理软件等组成。

高速数据记录卡完成输入信号ECL到TTL电平的转换、串并转换、数据缓存、数据管理及高速PCI接口。高速数据记录卡上设置4个缓冲区数据，并由数据管理模块来保证不同通道间的数据同步。

数据回放卡采用与数据记录卡类似的PCI技术，并与数据记录卡一同插在数据记录服务器中。工作时，需要解决数据记录卡和数据回放卡的并存和工作协调。

在高速数据的记录系统设计中，高速数据在主机内部的传输受到计算机系统结构的影响，如果在高速数据传输系统的设计中忽略对现代微机系统内部数据传输通道结构的分析，会成为设计系统中的一道潜在的瓶颈。服务器作为系统架构的平台是必不可少的，它必须具有较强的处理能力和较强的I/O能力，才能够适应海量数据存储和交换的要求。

磁盘阵列作为实时数据的存储介质，与高速服务器的接口采用SCSI以保证传输速度。RAID盘具有高速度、高可靠性，支持RAID硬盘具有热插拔功能。支持多种RAID模式，这些RAID功能保证了用户数据的高可用性，保证数据的高可靠性。同时磁盘阵列容量具有扩展

龙源期刊网 http://www.qikan.com.cn

性，支持后续任务的增加，易于扩容。数据记录子系统中提供的LTO-2磁带驱动器，作为数据备份设备，用于事后数据的转存。

时码模块主要接收站内时频设备的时间信号，完成时间信息的转换，实现对数据记录存档系统的时间统一，用于数据记录存档数据的时间标记。

卫星数据接收过程中，在记录存档管理软件的管理和调度下，解调后的基带数据I、Q数据实时数据经过高速数据记录卡实时读入服务器，并实时记录在RAID磁盘阵列上。也就是说，在主机管理和调度下，经过解调后的高速基带数据流首先输入到高速数据记录卡，在完成接口匹配及速率调整后进行数据缓冲，然后经主机PCI总线将数据写入到RAID盘上，实时完成卫星数据的记录。卫星过境后将数据事后转存到磁带上。数据记录存档子系统具有卫星侦察数据的网络传输能力，通过千兆网络接口可以实现与外部之间的数据导入与导出。 2 系统存储结构模式

由于每颗遥感卫星设计上的独立性，无论下行数据码速率还是数据格式都没有一个统一的规范。从卫星地面站数据记录系统的发展来看，工作站的处理能力不断提高，所处理数据的码速率和数据容量不断提高，存储技术也不断更新提高。因此，如何选择相对通用的数据存储方法和存储介质，是遥感卫星地面站运行中的一个重要问题。

在存储技术中，应用比较广泛的存储模式有三种：直接连接存储（Direct Attached Storage，DAS)、网络附加存储（Network Attached Storage， NAS )及存储区域网络（Storage Area Networks ，SAN）。它们都是以RAID技术为基础，一般都会提供RAID0、1、5的支持。

DAS是指将存储设备直接连接至一台服务器上。NAS是一种特殊的、可以通过网络对各种的系统平台提供文件共享服务、能完成单一或一组指定功能（文件服务、HTTP服务、EMAIL服务等)、基于网络的存储模式。SAN是一种类似于普通局域网的高速存储网络，是一个独立的、专门用于数据存取的高速专用网络。

由于本课题直接应用于遥感地面站的数据记录存档系统，对数据安全性、存储性能要求高，在系统存储方面方面需要有可扩展性和灵活性。同时，站内接收存储的数据存储时物理集中，数据管理逻辑上又彼此独立，并要求能够对物理分散的两个地面站的数据完成高速集中备份。

根据对以上存储设备和存储模式的优缺点的比较，选用DAS与SAN相结合的混合存储结构模式。选择磁盘阵列作为在线存储设备，LTO磁带库作为离线存储设备。 3 结束语

龙源期刊网 http://www.qikan.com.cn

海量数据存储系统是遥感卫星地面站重要的一个组成部分，本文简要介绍了遥感地面站各部分的功能和数据存档系统的总体结构。由于卫星数据存档时，要求达到较高的速率，因此对服务器的选择尤为重要。卫星数据实时接收后存档到RAID磁盘阵列，一定天数后备份到磁带库，系统存储结构选择DAS与SAN相结合的混合存储结构模式。 参考文献：

[1] 葛成辉,朱正中.气象卫星遥感原理[M].北京:清华大学出版社,1992:13-15. [2] 梅安新,秦其明.遥感导论[M].北京:高等教育出版社,2001:21-23.

[3] 伍尚志,杨仁忠.高速遥感卫星数据采集系统的研究与实现[J].微计算机信息,2005(21):69-70.

[4] 徐洪信,申景诗,王凤阳.高速率数据接收存储系统设计[J].航天器工程,2009(18):43-47.