7.2.3.3内容管理中对SAN的需求
SAN能够分解或减少在内容生产中,尤其是电视生产中,基于文件生产、归档和分发的许多问题和限制。这些生产环境要求数据具有时效性,并可以高速传输和符合所定义的质量标准。为了满足这些要求,在内容生产和电视应用中采用SAN不仅能够符合,甚至能够超过分布式视频生产的一些需求,如必须能够实时传输海量数据或者比实时传输还快。而且,要确保QoS,在保证高的系统有效性的同时,还要保证及时的数据传输。在这种环境中配置SAN,能实现内容的共享和并发访问。一个关键的要求是要能提供绝对的数据安全性和完整性。理想的情况是,SAN应该能在生产过程中区分具体的应用程序的优先次序。最后,SAN应该能整合不同供应商的存储产品到整个系统中。
在数字内容生产中,依赖于SAN的主要应用有:
·在分布式文档中(本地的或远程的),对音频文件、视频文件和元数据的归档和访问。
·NLE应用的文件共享。
·实时播放或传送的本地或远程控制,远程视频流的现场投稿。
·节目交换。
·视频传送的视频点播或电子商务解决方案。
为了在内容生产环境中使用SAN,必须将其设计成这种方式,即能够将生产、编辑、播放和归档进行整合。它们也可以进一步被连接到版权管理和执照管理中,这些管理可以由本地的或地理上分散的区域来完成。在定义的时间内,通过SAN可使处于不同位置的内容都被能有效地用来实现整个生产过程。
7.3大规模存储解决方案
尽管芯片技术的不断发展减少了在线存储的成本,但在内容丰富的组织中要将所有的内容都在线存储也是不可行的。以中等规模的视频文档为例,大概要有10万小时的内容。为了存储大约4Mb/s的广播格式,需要180TB。如果文档资料要以较高的比特率存储(如25Mb/s),必须另外附加1.125PB,另外还需要68TB的MPEG-1浏览副本。因此,与在线存储系统一起还应该有一个节省成本的大规模存储系统,能够访问存储在它上面的内容而不需要较长的时间延迟。
基于磁带的大规模存储系统仍然是处理视频归档中所需要的最经济的大容量解决方案。将视频考虑进去有2种主要的选择,即对标准录像带格式和标准IT存储设备的技术支持。目前,录像带仍被用于内容生产链中,有各种磁带库用于支持这些磁带格式和匹配记录器。例如,相关的IT存储设备有数据磁带、光存储设备和硬盘,也有大量的机器人技术来支持这些设备。2种方式都有它们各自的优点和缺点,正如接下来的部分所描述的。
7.3.1基于录像带的系统
视频带库管理系统(video Library Management System, LMS)被看成是一种广播设备组件。一般这些组件是由广播公司提供商供应的。一些供应商建议使用能够以50Mb/s处理20万节目小时的存储系统,导致了4.5PB的存储容量。在这样的系统中,由磁带机器人技术整合的录像机数量决定了同时播放和记录的数量。这样的LMS的整体执行效率可与基于数据磁带的大规模存储系统相比。然而,在一个广播环境中,LMS也有其他的优点,例如实时LMS输出流可在当前的生产中直接使用;而且,时码控制的视频、音频和元数据的部分检索也能够很容易地完成。如果使用视频压缩,甚至可以达到比实时更快的传输。
不过,LMS方式仍然有很多局限。由于在库中使用了标准的VCR,解决方案实质上是与库中安装的记录器所支持的格式连接的,因此这种方式缺乏灵活性。而且,由于解决方案实质上是为视频设计的,因此与音频和数据文档不兼容,它们都需要各自的解决方案。因为只使用VCR技术,所以只支持流媒体而不支持文件传输。随着内容数量的增长,能自动检查数据的完整性、将内容从一种格式转换成另一种格式(或从一种存储媒体到另一种存储媒体)是必须的,而目前可用的LMS还不能够提供这种功能。因此,LMS提供了一个巨大的存储池,但是没有足够的操作支持。另一个缺点是广播媒体格式不被主流IT行业的产品所支持。
最近几年来,与传统的LMS一起建立了数据磁带库。从基于视频的载体(磁带)到数据磁带载体的迁移已被看成是开发现代自动归档系统的一个必要步骤。这样的迁移过程会花若干年的时间,因此,在这样的环境中建立内容管理系统,必须能够同时管理传统的录像带和新的数据磁带,这在整个迁移阶段中都是必须的。即使在将来,录像带仍然可能是一种存储选择。对于完全整合的、基于文件的数字解决方案或者其他更有效的、基于IT的大规模存储系统,LMS的方式是一种有效的中间步骤。
7.3.2基于IT的大规模存储系统
基于IT的大规模数据存储系统(Mass Data Storage System, MDS)已经成为传统IT界的行业标准。MDS的主要优点在于它灵活的体系结构和有效的管理工具。这些工具能够实现从旧的存储格式到新的存储格式的后台自动迁移。而且,通过对媒体进行标引能够保证迁移数据的完整性,并采取一些预防性的措施。这种方式也允许对新技术及时和自动的适应,新技术是用来控制文档的物理大小和利用改进达到竞争优势的一种方式。MDS还提供至少2~3代以前技术的兼容性。
由于这些存储技术能保证对内容有更加完整的保存方式,因此那些易受攻击的元数据的完整性也能够被维护。基于IT的存储系统是与格式无关的,即它们能以各种格式和不同的数据率来接受内容。它能够在一个较大范围的存储体系结构内管理不同的存储媒体。
与只支持流的LMS相比,文件传输模式是MDS的本质特征。MDS能够应用缓存适应不同的网络带宽和传输要求,因此,既支持流也支持文件传输。然而,经由SDI的流并不是标准特征设置的部分。
后一点已经指明了在广播环境中使用MDS技术的一个主要问题。上面所提到的优点只有当MDS系统的订制与广播生产环境接口时才能完全开发出来,而标准的IT系统并不提供这些接口。市场的开发带来了一些具体的归档管理解决方案。这些解决方案是添加了相关功能的软件系统。这些功能有基于时码的部分文件恢复、广播行业相关文件格式的支持、版权制作系统的接口以及大规模数据存储系统供应的接口。
基于IT的大规模数据存储解决方案的主要优点在于其灵活的存储体系结构,在涉及成本、容量、产出、访问、功能、生命周期等方面时,能用某种存储媒体(数据磁带、磁盘驱动、CD-R及DVD等)的特殊属性来满足用户的需求。因此可以订制这样的存储系统来满足特定的应用,如用于在线归档、近线归档和深层归档等。
7.3.3长期存储的存储设备
当为大规模存储系统选择技术时,很重要的就是将存储技术的快速发展考虑进去。硬盘存储密度的提高和所期望的可记录光媒体性能的提高,在较长的时间内将为除了数据磁带以外的大规模存储提供另外一种选择。尽管硬盘和光盘目前并不如磁带节省成本,但它们确实比磁介质的数据磁带更具有优势,即大大缩短了访问时间。
接下来的部分将探讨长期大规模存储的存储设备的选择问题,这包括对LMS基础结构部分的录像机(VTR)的讨论。
7.3.3.1录像机
将VTR记录输入的视频信号写到录像带上,这个过程不要求数据透明。如果采用视频压缩,数据率就能减少,但这会导致不可逆转的信号衰减。衰减量主要取决于压缩算法和结果比特率(见3.2)。
选择回放一个节目片断,要参考磁带上与材料相关的时码,时码用于起始和结束点。在回放过程开始时,磁带跳到片断的开始处,从所选择的视音频或元数据片断的具体帧的位置开始或停止回放。回放能否实时或快于实时地进行要取决于VTR的属性。数字视频和音频通过SDI或SDTI接口以固定的数据率传向目的地,在那里直接用于生产过程。
在某种程度上能通过VTR处理错误。漏检字节错误率要在10-11范围内。如果错误纠正过载,视频和音频中的隐藏机制被用于减轻主观错误。这些隐藏机制会导致图像或声音质量的衰减,但不会导致信号传输的中断。由于通过SDI的流视频或音频不允许数据的重传,所有的帧都要按顺序传输,这样才能保证收看或收听的体验不被削弱。因此,设计隐藏机制是为了保持流动性,尽管这种方式会带来信号的衰减。
7.3.3.2光盘驱动
目前适合内容归档的光盘格式有CD和DVD产品家族。与企业范围的内容管理系统相关的是DVD的。目前DVD的容量和吞吐量限制了它在近线存储中的使用,浏览质量的视频和音频流设备要有1.5Mb/s。这使得DVD目前只能适用于EDL浏览质量的视频或未压缩的PCM编码的音频。因此,它只能被用于特殊的应用类。而且经验表明,通常的光盘阵机制不具有企业范围的内容管理系统的超负荷访问能力。在考虑到大多数据都要处在24×7的环境中时,这的确是个问题。尽管有这些缺点,但在部门水平的具体环境中(如在无线电广播中),将CD和DVD作为近线存储的选择仍是值得考虑的。
7.3.3.3数据磁带驱动
数据磁带驱动可用于存储数字媒体,它是用文件的格式来存储的。它与基于VTR的近线存储(如LMS)的主要区别是数据磁带驱动并不提供广播流接口,如SDI或SDTI,所有的存储操作都是基于文件的。当传输内容时,是以包含元数据和不同素材组件的封闭文件格式进行的,完整的文件包含所有的元数据和处理信息,它被看成一个单元进行整体存储。对于系统来说,存储在上面的数据是完全透明的,它会被作为一系列的字节进行解释。
数据磁带可以以很高的数据率进行记录和播放,但是当数据磁带以预定的常量数据率接收和传递数据流时,其工作效果最好。持续不变的数据率与输入、输出对数据率的不同要求可以使用快速缓存来消除。例如SAN中的高效磁盘系统。数据从缓存到磁带可以通过一个专门的传输协议来保证传递,即保证所有的字节被接受并正确地写到磁带上。
对于数据检索,控制系统首先要定位内容的编码磁带,找到驱动来回放磁带,然后找到磁带上所选文件的开始提取位置。完整的包含在文件中的有效载荷的检索将以与本地驱动相同的数据率进行。没有修改的基于IT的磁带库通常是对文件和字节级的操作。检索操作有一定的上下限,但是对检索时间没有保证。在大多数情况下,数据并不是被连续读出的,而是同时从磁带读出的,这取决于磁带持续不变的数据率、缓存尺寸以及网络数据率限制间的关系。如果要通过重传纠正只读错误,还会发生进一步的延迟。因此,缓存或高速缓存必须将流出文件的传输速度调整到符合用于传输文件的网络(如GB以太网或光纤通道)要求。漏检字节错误要限制在10-17的范围内。然而,这里没有隐藏机制。
标准的IT解决方案没有提供对广播文件内容的时码的准确访问。对文件的局部检索依赖于字节偏移量的操作方法。与标准的IT解决方案不同的是,对视听文件的局部检索需要能够按照时码进行访问。因此,为了提供数据磁带库内的这种文件检索,内容是以文件的形式存在于数据磁带库中的,在文件中所包含的时码信息或索引表需要使片断的位置和逻辑文件的结构相关联。这就意味着,即使只有某些要素(如视频或所选的音频磁道)要被恢复,也要能够对整个数据结构进行访问。基于时码的文件局部检索需要有专门的软件模块在数据库的环境中才能进行。这个组件要能够解释内容文件(如第5章所介绍的)并使用相关的文件结构和素材编码来映射时码到各自的字节偏移量上。这种功能通常由专门的广播文档管理解决方案来提供。
实际上,所有现代基于IT的存储格式都提供一个磁带内存(Memory In Cassette, MIC)来优化上下载时间和文件访问,并为性能监控提供数据。