图书馆网络数据存储平台的构建_数据存储论文

图书馆网络数据存储平台的构建_数据存储论文

构建图书馆网络数据存储平台,本文主要内容关键词为:数据存储论文,图书馆论文,平台论文,网络论文,此文献不代表本站观点,内容供学术参考,文章仅供参考阅读下载。

Internet和网络技术应用的发展,极大促进了信息数字化的进程,使数字化信息爆炸性地增长,从而引发了数字技术发展的又一次浪潮——存储技术浪潮。现代化的图书馆是一个电子化信息的仓储,负责对有价值的文献资料、图像、语音、影像、科学数据、全文数据进行收集,进行数字化加工、存储和管理,并提供基于网络的电子存取、检索服务,因此如何架构网络存储承载平台对数字化图书馆的建设尤为重要。

这几年图书馆网络数据存储技术有了飞跃式的发展。专家们已经认识到数据的重要性远远超过主机硬件设备本身,在安全性、I/O速度、扩展能力方面应为数据存储提供一个完全独立于主机的空间。目前磁盘阵列技术以RAID校验带来的高可靠性,宽带SCSI智能CPU管理,冗余和热插拔等技术优势,在容量和速度上突破了传统主机的约束,在数字图书馆的建设中得到广泛应用。

NAS,网络附加存储器,是一种新发展起来的特殊的专用数据存储技术,内嵌专为存储优化的独立系统软件,可提供跨平台文件共享功能,现在图书馆界越来越多的人开始关注NAS网络数据存储解决方案。

SAN,存储区域网技术,从1997年出现到目前日趋成熟。SAN技术是将存储设备连接成网,统一管理,独立于传统的服务器网络,同时提供高效有机的连接,该技术代表了图书馆网络数据存储的发展方向。

1、 磁盘阵列(RAID)技术

1.1 磁盘阵列(RAID:Redundant Array of Inexpensive Disks)

磁盘阵列是指将多个磁盘连成一个阵列,并以某种方式写入磁盘,该写入方式可以保证一个或多个磁盘失效时能有效地防止数据丢失。磁盘阵列是最广泛应用的存储系统,它用并行带来了高性能,用冗余带来了高可靠性。

磁盘阵列的硬件除了有多个硬磁盘组成的磁盘库外,还有一个在主机和磁盘组之间提供管理的磁盘控制器和SCSI接口控制器。相对主机来讲,磁盘控制器可以使得整个磁盘组就像一片又快、又大、又可靠的虚拟磁盘,而SCSI控制器则可为主机提供透明的磁盘操作功能。

磁盘阵列技术解决了如何增加磁盘的存取速度及有效的利用磁盘空间的问题,它将数据以分段的方式储存在不同的磁盘中,存取数据时,阵列中的相关磁盘一齐动作,大幅降低数据的存取时间,同时有更佳的空间利用率。

1.2 技术特点

目前许多磁盘阵列产品具有共同的技术特点:RAID控制器一般采用IBM PowerPC RISC处理器,使用L2 cache技术,提高RAID控制器工作效率,并可支持双控制器工作模式,提供4—8个主机通道。支持最新的UItra 3 SCSI规范,硬盘传输速度提高到160MB/Sec,并实现热插拔技术,单机箱最大可接硬盘8—12个,通过级连扩展柜可使容量无限增长。使用双电源及三电源冗余备份系统,达到负载均衡。可监控RAID控制器、硬盘温度及电压、电流,设有报警装置。

生产磁盘阵列的厂商有很多,著名的有IBM、HP等公司,其产品以良好的信誉、可靠的质量、优越的性能深受图书馆界好评,但其价格也很高。有许多中小公司生产的磁盘阵列以较高的性能价格比受到中小图书馆的欢迎。如台湾建联公司的NEPTUNE DA-8424P3,太科公司的ISD Pinnacle RAID 400,研华科技公司的RAID-500U3等。

1.3 磁盘阵列技术在图书馆网络系统中的应用

目前许多图书馆都在进行数字化建设。电子图书、学位论文库、特色数据库、学术期刊库以及视频点播、多媒体光盘等大量密集型、多格式的数据,对图书馆的网络存储系统提出了很高要求。目前RAID技术已经很成热,具有安全的容错机制,高速的数据吞吐量和较好的扩展性,并且考虑到现有的以太网应用的规模、成熟度和相对较低的成本等因素,使得RAID技术在图书馆的网络数据存储系统中得到广泛应用,是图书馆网络存储平台主要使用的技术。

就目前来说,根据RAID所采用的方法不同,可将其分为0—5六个级别:

(1)RAID 0(级联模式):在向硬盘写入时,将数据分成n块,同时向n块硬盘写入,读取时反之,因此是RAID级别中速度最快的模式,安全性比较低。

(2)RAID 1(镜像模式):在主硬盘存取同时向镜像盘存取同样数据,具有非常高的安全性,但存储空间利用率低。

(3)RAID 0+1:既作级联又作镜像,既安全又高效。

(4)RAID 3:在RAID 0基础上增加数据奇偶教验方法,提高RAID 0的安全性。

(5)RAID 5:在RAID 3基础上提高数据奇偶教验的手段,既增加安全性又提高存储空间的使用。

(6)JBOD:只是硬盘容量的简单叠加。

在对硬盘组作RAID处理时,除了用控制器所提供的功能外,还可利用WINDOWS2000进行软RAID实现。现在很多图书馆的网络操作系统都选择的是WINDOWS平台,在WINDOWS2000中可将磁盘升级为动态磁盘,并创建多种卷的形式。

动态磁盘上有五种卷:

(1)简单卷:单个物理磁盘空间中单个区域或多个区域的组成。

(2)跨区卷:多个物理磁盘空间组成的卷。

(3)带区卷:等同于RAID 0。

(4)镜像卷:等同于RAID 1。

(5)RAID 5卷:等同于RAID 5。

图书馆在利用RAID技术构建自己的网络数据存储平台时可根据数据规模、数据安全等级,选择不同的软硬RAID方式、不同的RAID级别,达到高效、安全的网络存储环境。

2、附网存储(NAS)技术

2.1 附网存储(NAS:Network Attached Storage)

NAS是一种通过网络连接,以提供计算机系统进行文件存取的存储设备,NAS利用现有的以太网技术,通过以太网接口将存储设备连接到网络中,充分利用文件共享协议(NFS),可以在系统目录和文件级实现共享。由于NAS存储设备直接连在网络中,并且使用网络中最常用的TCP/IP协议,使客户端可以通过局域网甚至Internet来存取、访问NAS设备上的文件、数据,因此NAS设备可以单独作为一个文件服务器存在,网络中所有设备不同系统的数据全部都可以存储在NAS设备中,实现跨平台的管理,简化了网络架构。

2.2 技术特点

(1)跨多种系统平台:NAS产品都内嵌有专为存储优化的独立系统软件,可堤供多种平台(WINDOWS98/2000/NT,UNIX/LINUX,NETWARE,SOLARIS等)文件共享功能。

(2)简单的安装与管理:安装简便,不用改动现有网络架构,并且基于WEB的GUI管理界面,使NAS设备的管理一目了然。

(3)具有RAID0,1,5和热插拔磁盘存储特性。

(4)高安全可靠性:集成本地备份系统,生成日志文件,可用于快速恢复文件系统。

2.3 NAS技术在图书馆中的应用

由于NAS设备完全以数据为中心,将存储设备与服务器彻底分离,集中管理数据,提高网络整体性能,降低成本,因此在构建图书馆网络数据存储平台时,可以结合NAS技术,将NAS产品接入到现有的网络中,增加存储容量,提高各种网络服务功能。例如可将大量的电子图书、全文数据、多媒体数据存放到NAS设备中,减轻服务器为数据存储所占用的I/O,提高服务器应用性能,也可以将NAS设备为图书馆的书目数据库、读者数据库及各种数字图书馆元数据建立不同容量的存储空间,做到实时备份。还可以将NAS设备为读者做在线VOD点播、课件点播、检索资料的FTP下载等数字化服务。

NAS是随网络技术的发展而产生的一种存储设备,许多图书馆都购进了不同类型的NAS产品,并投入到网络存储系统中。NAS产品很多,其中根据硬盘的种类而区分为IDE和SCSI两种。如研华的NAS2120和威达电的NAS2108RW、MaxAttach的NAS4100均属IDE型,这些产品以很高的性价比在中小图书馆中得到广泛应用。其中威达电的NAS2108RW除具有存储功能外,还具有路由器、防火墙、DHCP服务器、打印服务器、无线网络存储器等功能。它集存储服务器、DHCP服务器、代理服务器、打印服务器、FTP服务器、DNS服务器为一体,为中小型图书馆构建网络存储平台提供了多种模式。

3、存储区域网(SAN)技术

SAN存储区域网是指独立于服务器网络系统之外的高速光纤存储网络,这种网络采用高速光纤通道作为传输体,将服务器和存储系统网络化,实现真正的高速共享存储。

SAN全面突破了传统存储技术的局限性,将网络管理概念引入到存储管理中。SAN技术面向大容量数据及多服务器的高速处理,包括高速访问、安全存储、数据共享、数据备份、数据迁移、容灾恢复等各个层面。完整的SAN系统包含存储设备(服务器和磁盘阵列、磁带库等)、一个高带宽网络通道(一股由光纤通道构成)、用于通道连接的共享式或交换式集线器、用于设备或服务器数据交换的路由器以及应用软件。

SAN技术代表着数字化图书馆的发展方向,建立以SAN技术为核心的网络数据存储架构是数字化图书管建设的基础。目前许多大型图书馆己经开始建设SAN存储系统平台。比如中国国家图书馆SAN一期工程已经完成。一期工程构建立起基于光纤通道技术的SAN存储平台,数据存储量达到2.5TB;建立起直接的备份通路,采用基于SAN的LAN__Free backup备份技术;建立起分级管理的数据系统,使用二级存储——磁带库达到合理的层次化数据处理系统;提高了灾难恢复能力。

目前,基于SAN技术的存储产品已被各大型图书馆所采纳并投入到网络数据存储的建设中,而SAN技术也被越来越多的图书馆所重视。随着SAN技术的不断成熟,数字图书馆即将到来。

标签:;  ;  ;  ;  ;  ;  ;  

图书馆网络数据存储平台的构建_数据存储论文
下载Doc文档

猜你喜欢