虚拟化存储系统

华中科技大学

集群与网格计算湖北省重点实验室 信息存储系统教育部重点实验室

2003 年 12 月

1. 课题研究背景

当今社会， 信息正以超乎人们想象的速度增长， 这对信息存储系统的容量和 速度提出了空前的要求， 由此引发的各种问题也随之而来。 人们对信息数据日益 广泛的需求导致存储系统的规模变得越来越庞大， 管理越来越复杂， 信息资源的 爆炸性增长和管理能力的相对不足之间的矛盾日益尖锐。 同时，这种信息资源的 高速增长也对存储系统的可靠性和扩展性提出了挑战， 信息资源的共享也显得越 来越重要。

在广域网中存在大量相互独立的数据孤岛，它们之间的数据资源不能共享， 存储空间不能得到有效使用， 数据的传输性能不足。 存储虚拟化是指将用户看到 的存储资源同具体的物理存储设备分隔开来，为存储用户提供统一的虚拟存储 池。它是具体存储设备或存储系统的抽象， 展示给用户一个逻辑视图， 同时将应 用程序和用户所需要的数据存储操作和具体的存储控制分离。 存储虚拟化的任务 首先是在多个物理存储设备或存储系统上创建一个抽象层， 屏蔽复杂性， 简化管 理；其次是对存储资源进行优化。 本课题研究了广域网范围和存储局域网 （SAN ） 内部的存储虚拟化技术，以及支撑这种技术的文件系统。

据统计，在企业网、局域网内部采用分布式存储技术的企业， 其存储服务器、 磁盘阵列甚至 PC 的存储空间利用率一般只达到 50%，很多设备甚至还达不到， 用户投资被大量浪费。由于文件服务器系统缺乏对并行 I/O 的支持，在大量用户 访问或遭到恶意访问攻击时， 系统将很快达到饱和而无法完成服务。 通过存储虚 拟化技术， 不仅可以简化异构存储管理的复杂性， 更可以高效充分地利用存储空 间。通过在互连网络环境中引入分布式

RAID 功能，能够实现数据有效备份和容 灾，提高信息的安全可靠性。 通过将三级存储设

备虚拟为二级存储， 可以为用户 提供快速海量存储。

局域网的网络存储技术基本上可以分 NAS 和 SAN 两大类， 而 NAS 和 SAN 又各有其优缺点。因此，提供一种技术将NAS和SAN统一整合起来是一个很有 意义的研究课题。

在由高速串行 SCSI 接口构建的 SAN 中，如果没有 SAN 管理软件的管理和 调度，只要存在两台主机， 就必然存在共享冲突的问题， 存储设备就无法正常工 作，光纤通道的优点就无法体现出来。 相反，如果 SAN 管理软件管理调度得当， FC 所具有的优势就能被充分发挥出来，在此基础上，还可在系统中增添如并行 存储、负载平衡和数据迁移等功能， 将使系统具有非常高的性能， 全方位解决在 信息高速公路中服务器存储系统的瓶颈问题。

SAN 的管理问题，已成为当前学术界和产业界最为重要的一个热点。但是， 目前处于

领先地位的Veritas、IBM和HP等国外著名公司的SAN管理软件产品， 多采用静态 /动态

配置的分布式管理策略，即把存储网络中的存储设备集合成为 磁盘池(disk pool)并划分为卷

(Volume)空间后把各卷配置给SAN中的各台主机， 卷只能被其拥有主机进行读写操作，不

同主机之间不能直接共享同一卷中的数 据，而只能通过传统文件服务器的 C-S 模式共享卷中的数据。 采用配置文件进行 分布式管理的 SAN 系统实现了存储设备和存储空间的共享，但还不具备文件共 享和元数据共享的能力。

随着客户对数据的依赖性迅猛增长， 数据存储的可靠性和可用性正日益成为 企业信息化进程中的一个关键环节。 而文件系统作为连接底层物理磁盘与上层应 用层之间的纽带， 在信息存储中起着至关重要的作用， 如何为文件系统提供故障 恢复功能以及如何提高文件系统的可用性成了目前亟待解决的关键问题。

在 863 项目“存储虚拟化及其文件系统研究” 的资助下， 我们对存储虚拟化 及其相关技术进行了深入研究。 经过两年的探索、 研究和开发， 本项目组成功研 制了虚拟化存储系统。

2. 系统总体结构

虚拟化存储系统可以将分布在互联网上的各种存储资源整合成具有统一逻 辑视图的高性能存储系统， 因此又成为 GDSS(Global Distributed Storage System) 系统。整个系统主要包括存储服务点 SSP(Storage Service Point、) 全局命名服务 器 GNS(Global

Name Server)、 资源管理器 RM(Resource Manager)、 认证中心 CA(Certificate Authority) ＞客户端、存储代理SA(Storage Age nt以及可视化管理， 如图 1 所示。

SSP是整个系统的入口，对系统所有模块的访问都通过 SSP,它主要提供 FTP接口、CA接口、RM接口和GNS接口；系统中SSP的个数可以根据需要动 态增加；SSP接管

了传统方案中GNS的部分功能，减轻了 GNS的负载，提高了 系统的可扩展性。

GNS负责系统的元数据管理，主要包括元数据操作接口、元数据容错系统、

元数据搜索系统

RM包括资源调度模块和副本管理模块，其主要负责资源的申请和调度，同 时提供透

明的副本创建和选择策略。副本技术减少了文件数据访问延迟和带宽消 耗，有助于改善负载平衡和可靠性。尤其是动态的副本创建机制，即自动的选择 存储点以创建副本，并根据用户的特征而自动变化创建策略， 为副本机制提供了 更高的灵活性。

客户端目前支持三种形式：通用 FTP客户端、文件访问接口和特制客户端。 用户通过系统提供的特制客户端，不但能够进行用户组操作，具有搜索和共享等 功能，还可以获得更高性能的服务。

CA包含证书管理系统，主要负责系统的安全性和数据的访问控制，同时它 记录了用户

的注册信息。

SA屏蔽了存储资源的多样性，为系统提供统一存储访问接口，同时提供了 文件操作方

式和扩展的FTP操作方式，另外它对文件复制管理操作提供支持, 为高效传输提供服务。同时SA这一级实现了局域存储资源的虚拟化，包括统-

SAN内部共享管理等。

权限认证服务 = *控制通道 数据通道

CA …CA ■-丁 — 2

存储服务点

SSP

SSP Storage Service Point r' CA’] Certificate Authority

全局命名服务―

SAN和NAS，分布式的磁盘虚拟化、磁带库虚拟化和

SSP

SSP •

► GNS

1

4

〔GNS

(GNS Global Name Server

、2 GNS

SA Storage Agent

3 •系统功能及关键技术

GDSS系统的功能模块划分如图2所示

图2:系统功能模块图

3.1 多样的数据访问接口

GDSS系统为终端用户提供形式多样的访问方式： 1. 标准 FTP 协议的服务。 2. 特定的 GDSP 协议的服务。 3. 兼容 MPI I/O 文件读写接口。 4. 客户端的类 Java 文件 I/O。 5. GDSS图形客户端。

终端用户的服务访问点是SSP。SSP采用协议分离的层次式结构，支持三方 数据传输，并具有平台无关、语言无关的特性。

3.2 元数据管理和容错

元数据管理涉及的关键研究内容包括： 定义元数据信息， 包括存储资源、 文 件、用户等信息；元数据服务器的扩展；基于用户的资源分配方案，系统提供基 于用户的资源存储视图， 实现逻辑文件名与物理文件位置的分离及映射功能； 元 数据信息与其他相关应用的兼容性； 元数据信息的检索； 元数据服务器性能的优 化。采用LDAP目录服务器（DS）来进行元数据的组织管理。

元数据是描述数据的数据， 一旦丢失， 影响全局， 因此需要对其容错功能进 行研究。元数据的数据量相对较小，所以本系统采用多副本对元数据进行容错。 不同的用户有不同的权限， 可以对其元数据要求不同的安全级别。 对于安全级别 比较高的元数据，可以分配较多的副本。

3.3 全局范围内的数据共享与访问控制

虚拟化存储系统的一个首要目的是消除分布在广域范围内的多个信息孤岛， 在更大范围内更好地实现数据共享，从而尽可能地使用户找到他想得到的数据。 数据资源的共享要实现两个目标：a.数据在两个用户之间的交流共享；b.数据同 时在多个用户之间的交流共享。 由数据共享所引申出来的一个问题是数据的访问 控制。不同的用户对共享的数据具有不同的访问权限， 必须把用户限制在他所能 操作的数据和所能实施的权限上。

GDSS系统的物理存储资源以域的形式来划分。 每个域都是一个自治的资源

实体，可以设定自己的资源使用策略和对外服务提供策略。 GDSS 系统负责把这 些物理资源实体组织和管理起来对终端用户提供统一的存储服务。 这里，我们把

GDSS系统的资源使用者称为终端用户。 现实世界中的实体可以根据自己的资源 需要和不同域所能提供的资源服务类型， 使用GDSS系统的数据资源和存储资源 务点(SSP)。GDSS

系统提供许多分散的

来选定一个域进行注册。 然后他就可以

GDSS 系统引入一个新的概念， 存储服 SSP,它们独立于所有的域,

是用户访问

存储资源的入口。 SSP 向最终用户提供数据存储服务,并负责和所有域的 GNS 和 SA 进行控制交互。

3.4 全局统一的文件名字空间

文件命名空间用于帮助用户如何发现一个存在于特定位置的数据文件。名 字空间通常有两种实现方法：一是建立一个完全全局统一的名字空间,所有的 用户可以看到系统中的所有数据文件；二是多名字空间系统,不同的用户或不 同位置使用的名字空间不同,可以访问数据资源也有所不同。虚拟化存储系统 中存在大量分散的用户和大量分散的数据,如何建立一个文件命名机制是一个 重要问题。它必须实现文件定位的高效率、位置透明性和访问透明性。

GDSS 系统的名字空间结合了单一名字空间和多名字空间的特点,建立了 一个全局统

一的文件命名空间,对所有的用户提供相同的文件命名、定位和访 问机制。同时针对不同的用户的兴趣,为他们提供不同的数据视图,这样,系 统针对特定用户要维护的元数据信息也相应减少从而提供了数据定位的效率。

整个 GDSS 系统的物理资源由分散的多个自治域构成,但给用户提供的名 字空间是逻辑的,以屏蔽数据物理位置的分散性,实现数据的透明访问。就是 说，用户对数据文件的各种访问操作都是在逻辑名字空间上进行的。

SSP负责

逻辑名字空间的构建，而 SSP与域中的GNS和RM来共同完成数据文件的完 全逻辑限定名到实际数据物理位置的转换。

3.5 数据副本管理技术

GDSS系统提供数据副本管理技术。主要的研究内容有：副本创建的时机； 副本创建

的策略；副本的更新时机；副本的替换的时机；副本的选择的策略；副 本的传输。

GDSS系统动态副本模型主要由副本目录、资源管理器、访问纪录器、副本 管理器、

副本传输器等五部分构成。 其中，副本目录提供文件和对象的逻辑名字 到具体物理存储位置之间的映射；资源管理器负责存储资源的调度分配和管理， 收集域内存储系统的物理属性， 资源管理器同时充当着资源选择器的角色； 访问 记录器记录本域或远域用户对文件的访问情况， 如访问用户、 用户所在域、 文件 访问时间、文件大小、访问回复延迟；副本管理器是整个副本模型的中枢，可以 对副本目录进行条目的添加、删除、更新操作，并监控和触发副本实际过程。

3.6 数据安全

如何保证数据不会被越权访问是存储虚拟化所面临的关键问题之一。 GDSS 采用访问控制和安全认证相结合的方式保证数据的安全。 访问控制在前面已经介 绍过，本节介绍系统的安全认证架构。 GDSS 综合考虑 Kerberos 私钥认证方式和 PKI 公钥认证方式两者的特点， 并将其有效结合， 提供了一种能够适应广域网环 境下身份认证和授权访问要求的安全模型，具有以下优点：

1. 通过使用层次 CA 认证架构在广域全局范围内发放证书。同时，密钥的 管理、分

配、存储都采用证书的方式。

2. 实现了一次性签放的机制，所有签放票据都有一个有效期。 3. 使用访问控制服务器，有效加强本地域内安全策略的实施。 4. 支持双向的身份认证。

3.7 数据传输

虚拟化存储系统需要一种高效可靠的数据传输机制以支持大量数据的移动、 传输和复制，这种传输机制具有以下几种功能：

1. 快速数据传输：可以采用并行数据传输，分块传输和流水线技术等多种 机制来保

证；

2. 分块数据传输：由于系统的数据是广泛分布的，所以需要支持多个数据 块的并发

数据传输；

3. 部分数据传输：可以支持断点续传；

4. 第三方数据传输：由于应用和数据都是分布式的，许多应用需要用到多 个资源，

所以必须提供一种机制， 允许一个地点的用户或应用能够启动、 监视和控制其他

两个地点存储系统的数据传输， 为应用使用多个地点的 资源提供保障； 为了保证存储虚拟化中数据的高效、可靠传输，我们在 和文件访问接口里面都插入了传输控制模块。

SSP、SA、 Client

3.8 文件访问接口

GDSS 系统向用户提供文件系统访问接口， 同时系统提供对 MPI-IO 的支持。 文件

接口由多个功能模块组成，例如文件打开模块、文件读模块、文件写模块、 文件定位模块、文件大小截取模块、文件 flush 模块、文件删除模块和文件关闭 模块。ROMIO是MPI-IO规范的一个高性能、可移植实现。ADIO (Abstract-Device

In terface for Parallel I/O)是ROMIO的一个关键部分，它不是提供给编程人员的 新的APIs，

而是实现其他APIs的一种策略。ADIO在不同的文件系统上实现， 提供一组最基本的并行

I/O 访问的函数。 ROMIO 对 GDSS 系统的操作是先将操 作转化为 ADIO 层对文件的操

作，之后转化为 GDSS 系统对其文件的操作。

3.9 全局可视化管理

GDSS 通过分布的、全局统一的 Web 服务器来提供全局一致的服务管理。 管理员可

以通过支持 Java plug-in 的浏览器方便的从远程对整个系统进行监控管 理。监控管理主要分为四个模块：

1. 全局信息和证书的管理：负责注册、管理全局的域信息和

及证书的管理；

SSP信息，以

2. SSP管理：负责对SSP服务器的资源状态信息进行启动管理、 链接管理、 监控；

3. GNS 管理：负责对 GNS 服务器的资源状态信息进行启动管理、链接管 理、监控； 4. RM管理：负责对RM和Age nt的资源状态信息进行监控，对 RM服务 器进行

启动管理、配置管理、策略配置以及副本数据的维护。

所有的管理模块通过 Http 服务的方式进行链接， 统一在全局信息服务器上。

3.10 虚拟化分布式磁盘阵列

分布式磁盘阵列可以将各个网络结点的空余存储空间按照一定的磁盘阵列 级别进行组织， 使得在客户端将分布式磁盘阵列虚拟成本地逻辑磁盘驱动器， 利 用本地已有的文件

系统管理虚拟磁盘上的数据，这样客户端可以不需通过服务 器，就可在本地驱动程序栈中生成对虚拟磁盘访问的逻辑块命令。 同时，服务器 的职能转换成为一种功能单一的网络控制台， 负责将分布的磁盘阵列空间统一为 一个大的存储池，提供给客户端的用户使用。

3.11 虚拟化磁带库

在传统存储梯次结构中， 磁带库通常作为归档、 备份等第三级存储设备使用， 在这里它被虚拟化为块设备作为二级存储设备使用。 无论是磁盘驱动器还是磁带 库，最终向上层呈现的都是可管理的存储区间。 虽然系统为不同类别的外部存储 设备提供不同的中间层驱动程序， 但这些驱动程序功能是相似的， 都把文件系统 的 I/O 命令化为可以被底层驱动理解并执行的标准 I/O 命令。因此在中间层对它 们进行虚拟化管理是可行的，这是磁带库缓冲调度系统得以实现的基础。

磁带库缓存调度系统向用户提供一个容量与磁带库存储空间相同的、 可以进 行随机 I/O 访问的虚拟设备，用户可以像使用常规物理硬盘一样使用它。缓冲存 储调度的实现中利用了虚拟化概念。当收到上层驱动派生的 I/O 命令后，驱动程 序首先访问缓存空间，若数据命中则直接完成 I/O 处理，若数据不命中则需要访 问磁带库，经过磁带库调度完成 I/O 。

3.12 文件系统容错机制

文件系统作为连接底层物理磁盘与上层应用层之间的纽带， 在信息存储中起 着至关重要的作用， 如何为文件系统提供故障恢复功能以及如何提高文件系统的 可用性成了目前亟待解决的关键问题。 我们对文件系统中存在的同步写、 异步写 问题，数据结构中复杂的指针从属关系引起的数据不一致性问题， 异常掉电、 系 统突然崩溃、 磁盘物理故障等导致磁盘文件系统故障的问题作了研究。 针对这些 问题，我们提供文件系统高可用性的解决方案，提出了文件系统镜像分布策略， 研制开发了针对文件系统的文件快照技术( Snapshot)。

快照技术是一种保留某一时刻文件系统映像的技术， 它用最短的时间和最低 的消耗实现文件系统的只读备份，其目的是在应用层有效地保护数据不被破坏。 文件系统快照就是对文件系统的元数据的复制和监控。 我们通过记录整个文件系 统的元数据在某一时刻的状态， 建立文件系统在这一时刻的快照。 我们使用写时 拷贝(Write-on-Copy)技术保证快照文件的一致性。在建立了文件系统快照后， 所有应用 I/O 对相应的文件系统所使用的磁盘

块写入时， 都需要将待修改的原始 磁盘块复制到快照文件的数据区， 并将快照文件中相应的磁盘块指针指向新复制 的磁盘块。这样，通过快照文件就可以获取文件系统在某一时刻的完整静态备份。

3.13 SAN 系统的共享冲突与管理

在 SAN 中，存储设备与主机之间不再有从属关系，任意主机都可向存储设 备发送SCSI命令，而存储设备所具有的功能仅只是忠实地执行所接收到的 SCSI 命令，存储设备并不知道命令的内容和数据的逻辑意义。 这样，多台主机共享存 储设备时就必然存在着共享冲突问题。为了解决这一问题，必须对 SAN 进行有 效的管理。在 SAN 中共享冲突主要表现在如下几个方面：缓存数据一致性；节 点间的数据一致性；元数据一致性。

解决 SAN 中共享冲突问题的方法主要有两种：集中控制和分布式管理。集 中控制的管理系统结构简单， 容易实现， 适宜于小规模或中等规模系统。 其缺点 是系统的管理开销极大地决定于管理策略， 而管理策略制订较为困难， 存储管理 服务器容易成为瓶颈。 为了解决集中控制的性能瓶颈问题， 本系统使用光纤通道

(FC)技术实现了一个具备三方传送功能的 SAN系统。在这个系统中，客户机 从存储管理服务器获得授权和控制信息之后， 数据的传送直接在网络设备和客户 机之间进行，无需存储管理服务器的“存储 -转发”，从而解决共享冲突的同时， 也提高了传输的效率， 实现了文件元数据的共享。 为了提高管理效率， 避免存储 管理服务器成为系统瓶颈，采用数据流与命令流分离的方法。

3.14 统一存储网

网络存储技术基本上可以分 NAS和SAN两大类，而NAS和SAN又各有其 优缺点。结合目前IP存储的最新发展成果，我们提出基于TCP/IP的统一存储网 体系结构——

USN( Unified Storage Network)0其原理是：采用TCP/IP作为存储 网络的构建技术， 利

用 IP 互联设备来构建存储区域网， 其中存储设备包括 iSCSI 设备（为块设备）和 NAS 设备（为文件设备） 。

从体系结构的角度来说，USN具备了传统SAN高性能、易扩展等特点；同 时，通过高速附网通道将存储子系统直接联入 LAN ，从而形成了一个广义的 NAS 。为将整个存储网络中存储设备整合成单一的存储池，在

USN 中有一个专

门的元数据服务器Metadata Server（MS），用于对USN中的存储设备进行集中管 理。

在 USN 中，有两类数据通道：服务器通道和附网直连通道（ Network Attached Channel）。数据从存储设备读出之后，对于需要由应用服务器处理的数据，通过 服务器通道由服务器处理之后转发；对于不需要应用服务器进一步处理的数据， 则由 NAC 直接返回客户，从而真正实现客户与存储设备之间的数据传送。

4. 技术特色

（1） 广域的虚拟化分布式存储架构

GDSS系统将分布在广域范围内的数据资源统一管理， 屏蔽了底层数据资源

的异构性、 分散性，采用多个分布的存储服务点为用户提供了一个透明的全局数 据视图。

（2） 多样的数据访问接口

GDSS系统为终端用户提供形式多样的访问方式：1.标准FTP协议的服务。 2. 特定的GDSP协议的服务。3•兼容MPI I/O文件读写接口。4•客户端的类Java文 件I/O。5.GDSS图形客户端。

（3） 全局统一的文件名字空间

GDSS系统的名字空间结合了单一名字空间和多名字空间的特点， 建立了一 个全局

统一的文件命名空间， 对所有的用户提供相同的文件命名、 定位、和访问 机制。同时针对不同的用户的兴趣，为他们提供不同的数据视图。

（4） 面向用户特性的数据共享

GDSS系统根据用户使用数据资源的特性将用户分为各人用户和组用户， 并 且相应的提供两种数据共享方式： 简单数据共享和 带目录一级 ACL 访问控制的 数据共享。

（5）动态的副本管理机制

在 GDSS 系统中，通过创建同一数据的多个副本可以有效减少访问延迟和带 宽消耗，同时数据副本技术有助于改善系统负载均衡和可靠性。 尤其是动态副本 机制，即自动选择存储点进行副本创建、 删除和管理， 并根据用户的特征而自动 变化副本策略，给用户提供了更高的灵活性。

（6）高性能数据分片传输技术

存储虚拟化涉及大量数据的移动、 传输和复制， 我们初步建立了一个在广域 网上的高效数据传输机制，具体包括： 1. 分片传输； 2. 部分数据传输； 3.分布 式合作传输； 4. 断点续传； 5. Socket 复用。

（7）全局可视化统一管理

GDSS 通过分布的、全局统一的 Web 服务器来提供全局一致的服务管理。 管理员可

以通过支持 Java plug-in 的浏览器方便从远程对整个系统进行监控管 理。监控管理主要分为四个模块：全局信息和证书的管理；

SSP 管理； GNS 管

理；RM管理。所有的管理模块通过Http服务的方式进行链接，统一在全局信息 服务器上。

（8） 灵活的安全认证机制

GDSS系统采用PKI/CA的身份认证和Kerberos的访问控制相结合的底层安 全架构。 PKI/CA 的 CA 中心采用网状和层次相结合的布局方式，极大提高了安 全架构的灵活性和

动态可扩展性。

（9） 基于低层驱动的并行 I/O 能力和热点数据自动迁移

针对高带宽任务情况下的传输瓶颈， 采用了一种分布存储 -并行传输的策略， 将分配到单服务器的传输任务分配到多个结点执行。 结合网络中热点数据服务损 失问题，实施数据自迁移， 根据用户请求量的变化， 调整迁移策略改善对特定数 据的服务能力。支持对Sn apshot的中断、删除等操作

（10） 基于系统内核的多层次存储虚拟

基于操作系统的存储设备驱动栈， 在不同驱动层次实现虚拟化存储： 在原有 多种中间层驱动程序基础上提出公用中间层驱动概念，将各种存储资源集中管 理，构建虚拟化存储池； 在适配器驱动层实现虚拟化存储并通过多通道并行调度 提高系统 I/O 性能。

（11） 流水 I/O 技术

流水I/O技术将一个I/O任务中涉及到的网络I/O、磁盘I/O和数据搬动、协 议变换等处理功能划分为多个操作环节， 通过实时调度软件使多个 I/O 任务通过 流水方式并行处理。对于系统底层存储 I/O 部分也采用了同一技术思想，利用外 部I/O协议所提供的排队等功能在预取操作中采用了简单有效的两段流水操作方 式，即一次发送多条 I/O 命令，通过底层的并行 I/O 调度，在前一条命令通过外 部 I/O 总线向主机传送数据时， 后一条命令正在从底层存储设备上存取数据， 提 高了主从通道和设备通道的利用率。对于能够较准确预测

下一次I/O地址的应用， 如视频应用，可以在存储系统采用这种流水预取数据方法有效提高性能。

（12）文件系统快照 文件系统快照对文件系统的元数据的复制和监控， 通过记录整个文件系统的 元数据在某一时刻的状态， 建立文件系统在这一时刻的完整静态备份。 支持基于 块设备的快照处理方法， 以磁盘分区为单位， 进行一对一的快照操作。 支持多级 快照。

（13）SAN 和 NAS 的统一

USN 通过 IP 互联设备将应用服务器、存储设备等互连成为一个基于 IP 的 SAN。从

体系结构的角度来说，具备了传统 SAN高性能、易扩展等特点。同时 通过高速的附网直连通道直接联入 LAN 回路，从而形成了一个广义的附网存储

（NAS ）。和国际上现有NAS/SAN融合方案相比，USN具有如下特点：1、支持 两类设备的接入， 可以同时对块设备和文件设备进行统一管理， 并形成为单一的 命名空间； 2、存储网络中文件设备的引入，使得 USN 可以同时提供两种服务： 块 I/O 和文件 I/O 服务；

3、附网直连通道的引入，使得不需要由应用服务器作 进一步处理的数据可经 NAC 直接返

回，避免了应用服务器的存储转发，从而真 正实现客户与存储设备之间的数据传送。

5. 主要技术指标

存储虚拟化的功能是将各种存储资源集中起来， 为用户提供统一的视图和方 便的访问入口，其主要技术经济指标如下：

1. 实现了广域网的各种存储设备、文件系统、操作系统、平台架构（ IA32 和 IA64 ）

的虚拟化；

2. 实现了可视化的共享、实时管理、三方传输等具有特色的功能；

3. 存储空间：根据系统的设计和实现原理，系统具有良好扩展性，系统的 存储空间

等于各个存储资源的总和， 所以理论上系统的存储空间可以无 限大，目前至少提供 300GB 的存储空间；

4. 系统带宽：根据系统的设计和实现原理，用户、存储资源和访问点是分 布的，那

么系统的整体带宽基本等于各个存储资源的带宽和；

5. 对批量小文件的传输，传输效率比没有优化的情况下提高了 2－20 倍；

6. 文件系统能够提供与 POSIX 标准相类似的文件系统接口，支持基本的 卷管理功

能以及文件和目录的操作， 文件系统的的相关操作应该具有稳 定的性能。支持多机共享，保持统一的数据视图，并提供较好的文件系 统服务性能。峰值数传率为

lOOMBps有效载荷稳定数传率（四块FC硬 盘） 为 68MBps；

7. SAN 和 NAS 的虚拟化系统：已经完成了相关产品的国产化和产品化， 部分成果

已经转移给企业；

8. 分布式磁盘阵列虚拟化系统：在交换式以太网环境下，分步式磁盘阵列 的容量理

论上可以无限扩展，只受限于客户端文件系统。在单用户负载 时，分布式磁盘阵列系统提供的读写性能不低于对本地磁盘的读写速 度，当存在多用户较大负载时，由于用户数据的 I/O 操作被分散到多个 存储结点，减小了平均服务等待时间，相对提高了数据传输率；

6、系统的研发过程

本项目的研制工作经历了以下几个阶段：

1. 国内外现状研究

收集分析了国内外相关领域的研究现状，调研了 Globus 项目，欧洲的 Data Grid 项目， SRB 项目，国内北京大学和国防科大的相关项目；调研分布式磁盘 技术，存储网络技术的研究情况和现状。 认真摸索分析了本项目的应用背景， 了 解应用需求，并于 2002年 6月完成“虚拟化存储系统研究现状报告” 。

2. 概要设计

我们于 2002年6月到 2002年8月进行系统的概要设计。 在确定系统总体结 构、模块结构的同时， 对有关的技术实现进行了可行性分析， 并确定需自行设计 和开发的软件。在此工作基础上，于 2002年 8月底完成“虚拟化存储系统设计 分析报告”。

3．简单原型系统实现 在对广域虚拟化存储系统进行概要设计的基础上，利用可以使用

的开源资 源，从2002年8月到 2003年1月我们开发出了基本符合系统概要设计框架的简 单原型系统，在客户端提供标准的 FTP 服务，在服务器后台支持数据的透明分 片，简单并行传输。 验证了系统全局架构的可行性， 数据透明分片传输的可行性， 基于 LDAP 的元数据管理方式的可行性，基于 XML 的数据交互的可行性。

4. 详细设计

在实现简单原型系统的基础上， 总结开发原型系统的经验和不足， 同时广泛 查阅国

内外的文献资料及有关的软件， 进一步确定了系统模块的设计方案， 并进 行了可行性分析，研究在该系统中关键技术的实现方法。于 2003年 2月开始进 行系统详细设计， 并与

2003年 4 月底完成“系统详细设计报告” 。详细设计报告 说明了要达到的预期目标和待

完成的各模块的算法设计，实现思路。

5. 编码测试与系统完善

2003年 4月至 2003年 11月进行编码、调试工作，完成如下几个主要功能 模块的

设计实现：

存储服务点SSP的设计实现

域元数据管理器的设计实现 域副本和资源管理器的设计实现 全局信息服务器和 CA 的设计实现 特定客户端的设计实现 底层高效数据传输机制的设计实现 基于 Web 的统一监控管理界面的设计实现 支持 MPI I/O 的文件读写接口的实现 统一存储网络实现 分布式磁盘阵列实现 文件系统容错机制实现 磁带库虚拟化存储实现

6．文档整理

2003 年 11月开始进行相关的文档整理工作。