当前位置:主页>视频技术>

GPFS技术在央视制作系统中的应用与实现 - [1]

来源:作者:

    从2002年至今,中央电视台先后完成了面向新闻制作的业务系统、面向节目存储的音像资料馆系统以及面向体育节目制作和播出的业务系统等。2003年底中央电视台联合松下公司、大洋公司开始共同建设基于P2半导体存储技术的经济频道节目制作业务系统一期。

    一、GPFS定义及框架

    GPFS--GeneralParalletFileSystem,即通用并行文件系统。

    基于AIX或linux操作系统的并行文件系统(GPFS)允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS节点组(nodeset)中的任何节点访问相同或不同的文件(节点组nodeset被定义为一组运行相同版本GPFS的节点)。

图1为其基本框架。

图1为其基本框架。

    二、优点及特性

    1.高性能的并行文件系统

    GPFS文件系统的设计目标就是使数据分布在一个集群中的所有节点上,允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用,在这一环境下,增加文件服务器也不会提高特定的文件存取的性能。GPFS被设计成通过将I/O分布在多个硬盘提高性能,通过日志和复制的方式提高可靠性,和通过增加节点的方式提高系统的可扩展性。基于其特性,可以将其应用到中央集中存储架构当中,这就使得我们的系统能够承担成千上万的高码率并发冲突。将服务器以及存储本身的节点连接起来的技术,使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。

    2.虚拟化的分区

    经济频道节目制作业务系统在设计中要求采用开放标准的存储架构,使得系统可以支持层级存储。本系统中设计了节目在线制作存储区、媒体资产在线缓冲区和基于数据流磁带库的近线存储区。

     而GPFS分区化管理在存储本身是逻辑化的,而非物理化。数据文件的存储位置和数据文件本身位置指针关联,这就使得数据文件根据工作流模式在分区间进行迁移的时候,并不是真正数据拷贝迁移,而是数据文件本身位置指针内容的改变。    5.缓存管理

    虚拟化分区的特性使我们能够将数据文件本身和工作流程的关系分离,意味着不需要在存储管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来,不需要因为迁移管理服务器的服务器主机性能、网络带宽限制或者安全等因素制约,而增加成本。并且在GPFS存储的两级数据迁移效率得到大幅提升。通过图2可以简单的表达刚才提到的含义。

图2

图2

    3.冗余性

    GPFS在文件结构表上对于存储数据本身和文件系统本身是共存的结构,这一特点使得访问和锁定对于节点永远是可用的,所以基本不存在单点故障的可能性,其安全性和可靠性在文件系统级别上已经能够得到保证。

    4.同质性

    客户端无论是NIFS系统或者是苹果的AFP系统的文件协议,或者是CIFS的系统,对于GPFS这样的文件系统来讲都是等同性的,所以它们可以用同样的结构访问GPFS文件系统。

 

    每一个GPFS的节点都有独立的缓存管理空间,使得不同客户端通过不同的节点访问时,都有自己的缓存空间,令访问速度大大提高。


    本系统首次采用了GPFS+千兆以太的网络存储架构来实现各种业务数据的存储及传输,这在中央电视台以至国内广播电视行业内均属先例。该网络存储架构的传输链路完全基于千兆以太技术,并通过以太捆绑技术充分保证传输带宽和传输安全。经实际运营阶段的观察,其性能满足系统原设计预定指标并存在相当的扩展裕度。

免责声明:凡本站注明来源为xx所属媒体的作品,均转载自其它媒体转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。