登陆注册
9664100000038

第38章 内容管理系统的基础结构(5)

7.4.8查询和检索

内容管理系统所提供的标准查询界面应该是基于Web的。Web检索服务提供的这种界面是由一个或多个服务器系统来控制的。这种方式能够分散负载,使系统更容易升级。

Web检索服务可以运行在具有高带宽网络接口平台的应用服务器上,尤其是在需要将大量的关键帧提供给用户时。在安装中,嵌入的视频或音频播放器被用于播放运行在SAN上的视频或音频文件。

内容管理系统使用内部数据库来长久存储处理信息,以及描述性与素材相关的元数据等。为了确保最大化的容错性能和执行,这些关键数据库所在的服务器应被设计成服务器集群。用于数据管理和素材管理的2种数据库服务器集群。

查询是通过数据管理的各种组件来处理的。在现实的应用程序中,这些数据管理组件会在不同的服务器上运行以分散负载。典型的情况是,这些服务器与具体存储所有元数据的子系统数据库接口,或与它们固有的或具体的搜索引擎接口。数据管理通过多种数据库进行联合搜索,综合的结果单由数据代理提供。由于这些服务对访问素材没有要求,在大多数情况下,它们的主机就是应用服务器。

应用分布式的概念到数据管理的单个功能组件上也是可以的。一个例子就是应用多种全文本搜索引擎(每个引擎都运行在一个专门的服务器上)来分散查询负载。这些全文本搜索引擎要么直接从数据库表中索引属性,要么索引运行在共享存储媒体上的文档。对后一种情况,这些全文本搜索引擎就应该运行在SAN服务器上。

除了传统的搜索性能,内容管理系统还可以提供先进的检索功能(如图像相似性检索)。这些搜索引擎通常有大量的执行要求,因此应该通过分布式服务器系统给予支持。下面简单的例子强调了这个问题:

考虑每小时1 000个关键帧的视频,10万小时的视频会产生1亿个关键帧。为使用户能够接受图像的相似性查询,将一个图像和所有存储的关键帧比较,应该在10秒以内响应。

这种要求对搜索引擎的执行是个很大的挑战。由于这类高级检索系统的有效性还要在真实世界中建立(尤其是对于大的广播组织),评估利益和费用是很重要的。

素材管理过程要求有与素材相关的元数据(如格式、时码、期限、文件大小、位置等)。素材管理过程访问素材管理数据库,但是同数据管理一样,只处理数据不处理素材。因此,素材管理过程能运行在一个或多个类型的应用服务器上。

7.4.9制作和播出的界面

基于检索和粗编过程做出的决定,制作素材从高码率的归档中传输到一个制作系统中。制作系统可以是单独的编辑系统或是支持多个编辑共享同样内容的基于服务器的编辑方案。

素材从归档到编辑设备的传输可由3种不同的方式来完成:

·基带视频经由标准演播室SDI连接的实时流。根据内容管理系统和广播控制自动操作间的共享方式,可选择下面的方式执行传输:

内容管理系统传送文件到接口服务器(播放服务器),然后根据人工请求,在编辑设备的控制下完成到编辑设备的传送。

内容管理系统传送文件到接口服务器(播放服务器),然后由广播控制的自动操作完成到编辑设备的传送。

广播控制的自动操作传送文件到接口服务器,并控制编辑设备的播放。

·本地压缩的视频以实时或快于实时的流经过SDTI连接。这种传输可以用SDI传输同样的方式管理,主要的区别是信号质量。典型的SDI传输包含解码到基带和重新编码到目标系统的压缩域,这会导致信号质量的衰减。SDTI传输允许在压缩域使用SDI连接交换数据,其信号质量不会损坏。

·从IT网络(首选光纤通道或1 000baseT)拷贝。这种传输直接由内容管理系统管理,可能会需要通过文件格式转换器对文件封装格式进行转变以适应私有的文件格式。当制作系统与不兼容的编码格式协调时,往往需要这种转换。

从基础结构的观点看,内容管理系统处理经由传输服务器的,在归档和接口服务器或制作系统之间的文件物理传输。由于这些服务器要与SAN连接,它们必须成为SAN类服务器。过程的控制涉及到要与接口服务器、广播自动控制系统(设备管理的组件)和传输过程管理(输出服务)的连接。作为控制的组件,这些系统组件能够运行在应用服务器类的主机上。如果需要格式转换,转换服务器也要参与。理想的情况是,转换服务器被安装在SAN服务器上。

在制作系统,资料被编辑和组合成一个新的完整的节目。当节目在编辑工作站得到最后确认后,内容可以被传输到播放系统。这种传输可以用文档到生产环境同样的传输方式来处理,或者可以使用由制作系统自己提供的传输功能。播放本身是完全由广播控制系统来管理的。

制作完成的资料的浏览副本可以通过将资料移动到接口服务器上、使用实时浏览编码器产生,或者通过使用转换服务器的软件转码来产生。

已完成的稿件可以使用相同的传送功能从制作系统传送到归档系统进行永久保存。

7.4.10编目和归档

用于永久存储和归档的资料应由专业的归档员进行深度的编目和索引。编目人员从他们的台式计算机上访问和操作浏览副本、关键帧和元数据。在编目中的主要任务是提炼元数据的质量,其结果必须是整个组织按基于IT的访问协议来访问。关于硬件基础结构,所有包含支持这些任务的系统都已做过了描述。

7.4.11管理

系统管理员用他们的桌面计算机监控和管理内容管理系统。为了维护和监督系统的顺利执行,管理员必须能从自己的桌面访问所有系统。

7.5操作方面的考虑

在引入内容管理系统以后,必须能够对基础结构和软件进行操作、管理和维护。对基于IT的组件,在这种环境中所执行的是标准的维护程序。大多数计算机设备在3~5年后才会折旧,在到达使用期限后就要被替换或更新。软件的维护是一个不断持续的过程,软件的更新通常是维护协议的一部分。因此,一般的IT规则和协议也可用于内容管理系统。

在一定的范围内,操作、维护和替换是非常重要的,即对大规模存储系统和它的数据载体的维护很重要。有规律的检查数据的完整性和在数据有丢失危险时采取行动是很关键的,设计具体的迁移战略必须确保没有数据的丢失。理想的情况下,这类维护应该是后端的自动处理过程而不需要人的介入,甚至不被用户所察觉。

另一个要考虑的方面就是数据管理和迁移过程的成本。考虑到在内容丰富的组织中所要管理的数据量是相当可观的,因此,数据维护和迁移策略不仅仅取决于技术参数,也和成本因素有关。接下来将会介绍有关载体维护和迁移的技术问题及成本问题。

7.5.1迁移

对于数字的、基于文件的归档的一个关键问题就是创建能够维护长期数据完整性、独立于存储技术和媒介变化的外部数据集。这种保证显然不能轻易实现。IT硬件技术仍在快速的发展着,例如存储密度和计算能力,还有相关媒体软件技术的性能如压缩等也在快速发展,而且新的编码格式也在不断地出现。在传统的媒体生产中,这些格式要受到物理载体(如磁带)的局限,新的数字格式是独立于物理媒体的。

然而,编码的发展和进步要求迁移成为内容管理系统的内在设计范例,以保持数字归档技术能够与时俱进。这种环境中的迁移有时甚至要求改变初始的数据集。由于技术的进步和发展是不断的,迁移也不会是一次偶然的事件,而要成为数字归档系统完整操作的一部分。这和8.2.2所要讨论的从录像带生产的迁移是可比照的。因此,连续自动的迁移必须成为内容管理系统的一个内在功能。

7.5.1.1使用自动磁带库

数字数据文档必须能够保证数据的永久完整性。这意味着存储媒体的物理衰退不会影响所存储的数据的完整性。磁带格式(不管是录像带或数据磁带)是很容易产生物理衰退。因此,数据磁带文档必须能自动检测存储媒体存在的危险,并可执行自动恢复程序,自动磁带库是达到这样目的的很好的方式。自动磁带库是这样的系统,它能够控制磁带和磁带驱动在槽和驱动间的自动迁移,控制驱动中磁带的装载和卸载。

这样的磁带库在被用于大规模媒体系统高码率媒体的永久存储时,可由软件控制和自动的执行来维护数据的完整性而无需人的介入。因此自动磁带库不仅适合于作为近线大规模存储媒体,也可以通过自动迁移过程方便内容的保存。

7.5.1.2监控载体的完整性

监控载体的完整性是检查数据序列是否被正确地传送到存储媒体或载体的关键要素。而且,检查载体的“健康状况”是否已经衰减到预先确定的范围以外也是很重要的。如果这种情况发生,预防性的措施就是通过自动数据传输来重建新的载体。

当从数据磁带中读数据时,磁带中数据完整性的一个判断指标是位错误率(或由磁带驱动供应商提供的一个等价指标)。

了解数据序列中发生错误的地方和什么会使数据块上产生错误是很必要的。一个典型的数据块包括:

·地址。

·同步字或同步块。

·数据包。

·校验字或校验以及用于传送块的差错保护。

既然同步块中的错误会导致整个块的丢失,就要引入附加的错误保护机制,使用多个数据块信息来产生所谓的产品代码。使用产品代码,同步块中的错误就能被调和。一些供应商也使用正移技术将错误保护分布在多个数据块以及他们各自的产品代码中。

为了真正了解某个数据磁带上到底发生了什么,内容管理系统必须完全了解单个数据磁带驱动解决方案所支持的错误保护的执行方式。这很具有挑战性,尤其在考虑到快速的产品发布周期和供应商想要保护他们的竞争优势时。

然而,内容管理系统确实需要关于某个磁带或磁带驱动是否已经衰退和是否可靠的较早的指示。这意味着必须能够有效地获得大量的信息来建立错误的分类、错误的频率和错误随时间增加的情况。例如,当突发错误发生在某个磁带上时,可能是该磁带本身的问题所致;而单一的错误出现在多个磁带上时,就可能意味着一个具体驱动的写探头的衰退。

为了保护商家的竞争优势和最小化内容管理系统所需要具备的关于错误保护算法具体执行的知识,可以应用交通灯系统。不同灯的解释可以是这样的,第一个灯指示在给定时间范围内的最大错误率,第二个灯指示在给定时间范围内的所有错误率的整体情况。

时间范围是系统具体的常量值。例如在螺旋状的扫描记录情况下,合理的时间范围应该是写一个磁道所需的时间。应该将交通灯定义成:

·绿灯——设计参数内正常。

·黄灯——接近设计参数,仍然可恢复。

·红灯——不可恢复的错误发生了。

为了以这种不同颜色的交通灯的方式传递结果,需要由商家将内部的错误统计与具体商家的正常值相联系。而且,应由一个独立的组织测试和证明所传送的结果是否合格,以保证其兼容性。

然后内容管理系统要负责记录信息、存储信息、执行必要的统计评估和采取合适的行动以保护整个数据序列的完整性。

错误率或错误指标的统计指示了目前载体和磁带驱动的健康状态以及其状态随时间发展的情况。根据经验模式或从商家提供的应用信息中提取一个载体可能的生命周期,这样的附加信息是很有帮助的,如某个载体的最大承载数量和写的次数。而且,商家也可以根据经验提供某些参数,例如载体在可控环境中理论上工作的最大生命周期。在这种环境中,载体在可控环境之外的工作时间也要加以考虑。载体的剩余工作时间可从最大理论生命周期中得出,但是载体在不可控环境中工作的生命周期往往会更短。而且,根据公司或组织政策得到的任何生命周期的日期应该是具体的和可执行的。

如果把数据磁带归档作为机器人大规模存储解决方案中的首选,那么负责管理的系统必须给每个磁带保留下列可追踪的信息:

·最大容错率。

·最大承载数。

·最大读出量。

·最大写入量。

·服务程序间最大可容忍的间隔时间。

·磁带的最大有效生命周期。

·用户选择的结束日期和时间。

·为了获得磁带的寿命,第一次记录的日期和时间。

·为了跟踪由于某个记录设备的技术问题而导致的系统失败,记录设备的ID。

·最后读出访问的交通灯统计。

·当前载入数。

·当前读出数。

·当前写入数。

·下次服务计划的日期。

·状态。

基于这些信息,可以获得载体的完整情况,如果有必要的话,存储在载体上的数据可以迁移到新的载体。为了保证数据磁带载体的完整性,有许多任务需要自动完成。例如,这些任务包括1秒内磁带驱动写入的磁带,为减少由于探头的未对准或写入过程中的其他技术错误可能造成的写入错误,不同的磁带驱动和重读数据。而且,对一定时间未访问过的磁带需要定期地进行倒带和重装,以避免磁带的粘连。为了检查比特错误率(或磁带健康状态的等价指标),在一定的周期间隔内读磁带也是必须的。如果查出问题(即超过任何具体的参数)要立即采取行动,这包括拷贝比特错误率超过给定安全比特错误率的磁带到新的磁带上,及拷贝超过生命周期的磁带到新磁带上。当磁带在可控环境中使用的时间超过给定的安全时间时,它就达到生命周期了。

在内容管理系统基础结构设计时必须要考虑这些过程。尽管对存储媒体和迁移过程的检查是在后台进行的,但要确保检查能够定期进行。

同类推荐
  • 创意与责任:中国电视的本土化生存

    创意与责任:中国电视的本土化生存

    本书力图在理论与实践的结合中进行自上而下的演绎和自下而上的概括,从而为中国电视发展、创新的历史轨迹作一阶段性的梳理与描述,为中国电视不断提升自己的竞争力和影响力,提升其品质与境界提供一些思考与探索。
  • 那些“穿越”的孩子

    那些“穿越”的孩子

    农民工子女从不发达的乡村到繁华的大都市,从乡音、乡情到很不熟悉的语言与人文环境,从离别后的重逢到重逢后的离别,这些一次一次“穿越”的孩子值得关注。上海的发展离不开农民工,农民工离不开他们的子女,这些“穿越”的孩子也要有他们的精神家园,如何在经济社会发展与人的全面发展之间找到一个平衡点,让“以人为本”的执政理念在每一个具体的生命面前显示其温情,是本书提出的一个问题。
  • 抓住学生的心理

    抓住学生的心理

    教师成长是教育事业一个永恒的话题。从普通教师成长为一位名师,路有多远?有没有捷径?该遵循怎样的规律行进?
  • 想爱

    想爱

    每个人的情感都是一株葱郁的植被,需要用爱灌溉生长,想爱,为你揭秘情感世界。
  • 文化人类学专题研究:关于母系社会及其他

    文化人类学专题研究:关于母系社会及其他

    本集所收拙作,寥寥数篇,所涉及者只是文化人类学领域中有限问题。自知质量不高,却多据亲自调查搜集之新资料,提出自己一得之见,或可忝列于“采山之铜”。人类婚姻家庭史是否仍能按国内流行的看法,划分成几个相继的发展阶段?母系社会必然先于父系社会吗?游牧社会必然与父系嗣继制度相联系吗?族群关系及相互转化是当代文化人类学的热点问题。族群认同的改变取决于哪些因素?是否[野蛮的征服者]总是被他们所征服的较高文明所征服?少数民族原来是如何保护自己的生态环境的?为什么少数民族普遍喜欢饮酒?《文化人类学专题研究:关于母系社会及其他》一一告诉你!
热门推荐
  • 魔王的千年恋

    魔王的千年恋

    千年前,她是天上的百花仙子,无意间救了他,在此之后他天天缠着他,两人日久生情,无奈天公不作美,他们的恋情被发现,百花仙子被送上斩仙台,而他,只能拿着她的一丝魂魄去轮回。千年后,她是一个阴年阳月所生的孩子,总是被人追杀,意外拜师,成为九州的姣姣者。当她的身世之谜解开时,当被卷入一场阴谋时,她该何去何从,而他,是怎样留在她身边的?
  • 京国女贼

    京国女贼

    她,没认识他之前,只是一个小小的天青山贼头目。她吃肉喝酒,抢劫打架,活得自由自在,潇洒快活。直到一次偶然的下山,她认识了他,从此无法自拔,爱他爱得深入骨髓。因为他,她被骗的一无所有,无家可归,但也因为他,她遇见从来不会遇到的人,做了从来不会做的事,因为他,她的生活更加丰富,她的人生更加精彩!她还可以冷眼看着他的忧伤,那样淡然地说:“你的命太金贵,我要不起也不想要,所以你,别再硬塞给我。”
  • 故宫里的秘密

    故宫里的秘密

    旅游胜地故宫,这座承载着两代王朝的都城,为什么会只在白天开门,里面又藏着怎样的秘密呢?
  • 绝色元素师废柴倾天下

    绝色元素师废柴倾天下

    一个是优雅美丽的神医圣手,一个是神秘果断的杀伐狂魔,两个不该有交际的人,谁能想到她就是她。当她成为玄萧帝国最废柴的丞相府的三小姐身上,是继续扮猪吃老虎,还是锋芒初露?精彩片段一:“不就是一个废物,至于大姐如此冲动吗?沈贤莹藐视地说。”“我可是三星的魔法士,你呢?”沈莲清骄傲道。“小妹不才,一星魔法师罢了。”一道近乎冷漠的声音说。沈莲清脸色黑了下来,又道:“我可是有一只契约兽,你没有吧。”“兽兽们,出来,让大姐瞧瞧。”一个,两个,三个……“精彩片段二:“娘子~”一个邪魅男子深情凝望着女子,女子神情淡淡却没拒绝,哎~谁能想到,不过救了个人而已,竟然要以身相许?
  • 都市鸿蒙圣尊逍遥

    都市鸿蒙圣尊逍遥

    他是宇宙第一人,在一次练功被人偷袭,带着先天灵宝来到末法时代,看他如何逍遥,重会鸿蒙界
  • 意外空间

    意外空间

    这是一个弱者的悲剧故事。一次‘背叛’,致使他的人生轨迹偏离了轨道,在新的人生道路上,他挣扎,抗争,可命运的天平不是每次都向他这一方倾斜,在一次次的杀戮中,他努力的突破自我,却始终没有尽头,路途越来越迷茫,不知该何去,命运不公,到底是人定胜天,还是天规定人,他不知,只有硬着头皮前进……作者语:俗话说得好,不想当主角的配角没有好光环——我会告诉你这是一本配角的书吗?
  • 你会教孩子吗Ⅱ:情商和智商是培养出来的

    你会教孩子吗Ⅱ:情商和智商是培养出来的

    本书包括孩子品德,心理健康,人际交往能力培养的情商教育和想象思维能力,注意观察能力,记忆能力培养的智商教育两部分,为父母对孩子进行情商,智商的全面培养提供科学的帮助。
  • 无巧不成婚:我的二次元老公

    无巧不成婚:我的二次元老公

    一个人随缘邂逅了几个人,随时会变成恋人的人。寻觅到牵手放手已尽力学习,别强拥有。
  • 圣帝斯的夏影

    圣帝斯的夏影

    她是池影乔,所有人都心爱的女生,唯独只有那个叫仰夏旬的男生让她难以捉摸。十五岁时,她因为他冷漠无情的话语而选择远走他乡,遇上了一个与安特维亚&塔诺&卓然有一段不为人知的过去的阁汀优。三年后,她重新回到了回到了安特维亚古堡。物是人非,池影乔不再是爱整人池影乔,仰夏旬也不再是不懂感情的仰夏旬。敬请期待,上演在法国圣帝斯学院的爱情拉锯战。没看过《卡莱特的午后》的朋友,慎入。《卡莱特的午后》续集。献给一直支持我、鼓励我、喜欢我、喜欢《卡莱特的午后》的朋友们。
  • 考古英雄传

    考古英雄传

    简介:往古之时,四极废,九州裂,天不兼覆,地不周载,火炎而不灭,水浩洋而不息,猛兽食颛民,鸷鸟攫老弱。于是女娲炼五色石以补苍天,斩鳖足以立四极,杀黑龙以济冀州,积芦灰以止淫水。娲,古之神圣女,化万物者也。若干年之后,一位籍籍无名的男人,踏上了惊险刺激的冒险之旅。从武则天的万年寿域“乾陵”,规模宏大的秦始皇陵,神秘莫测的成吉思汗陵,再到玛雅泰奥提华坎古城,古埃及哈夫拉金字塔,亚特兰蒂斯海底遗址,林萧与来自异世界的怪物殊死相搏。他与千年不死之绝美少女的邂逅,相恋,最终驱使他穿越到了异世界......书友群:495160466