登陆注册
9664100000038

第38章 内容管理系统的基础结构(5)

7.4.8查询和检索

内容管理系统所提供的标准查询界面应该是基于Web的。Web检索服务提供的这种界面是由一个或多个服务器系统来控制的。这种方式能够分散负载,使系统更容易升级。

Web检索服务可以运行在具有高带宽网络接口平台的应用服务器上,尤其是在需要将大量的关键帧提供给用户时。在安装中,嵌入的视频或音频播放器被用于播放运行在SAN上的视频或音频文件。

内容管理系统使用内部数据库来长久存储处理信息,以及描述性与素材相关的元数据等。为了确保最大化的容错性能和执行,这些关键数据库所在的服务器应被设计成服务器集群。用于数据管理和素材管理的2种数据库服务器集群。

查询是通过数据管理的各种组件来处理的。在现实的应用程序中,这些数据管理组件会在不同的服务器上运行以分散负载。典型的情况是,这些服务器与具体存储所有元数据的子系统数据库接口,或与它们固有的或具体的搜索引擎接口。数据管理通过多种数据库进行联合搜索,综合的结果单由数据代理提供。由于这些服务对访问素材没有要求,在大多数情况下,它们的主机就是应用服务器。

应用分布式的概念到数据管理的单个功能组件上也是可以的。一个例子就是应用多种全文本搜索引擎(每个引擎都运行在一个专门的服务器上)来分散查询负载。这些全文本搜索引擎要么直接从数据库表中索引属性,要么索引运行在共享存储媒体上的文档。对后一种情况,这些全文本搜索引擎就应该运行在SAN服务器上。

除了传统的搜索性能,内容管理系统还可以提供先进的检索功能(如图像相似性检索)。这些搜索引擎通常有大量的执行要求,因此应该通过分布式服务器系统给予支持。下面简单的例子强调了这个问题:

考虑每小时1 000个关键帧的视频,10万小时的视频会产生1亿个关键帧。为使用户能够接受图像的相似性查询,将一个图像和所有存储的关键帧比较,应该在10秒以内响应。

这种要求对搜索引擎的执行是个很大的挑战。由于这类高级检索系统的有效性还要在真实世界中建立(尤其是对于大的广播组织),评估利益和费用是很重要的。

素材管理过程要求有与素材相关的元数据(如格式、时码、期限、文件大小、位置等)。素材管理过程访问素材管理数据库,但是同数据管理一样,只处理数据不处理素材。因此,素材管理过程能运行在一个或多个类型的应用服务器上。

7.4.9制作和播出的界面

基于检索和粗编过程做出的决定,制作素材从高码率的归档中传输到一个制作系统中。制作系统可以是单独的编辑系统或是支持多个编辑共享同样内容的基于服务器的编辑方案。

素材从归档到编辑设备的传输可由3种不同的方式来完成:

·基带视频经由标准演播室SDI连接的实时流。根据内容管理系统和广播控制自动操作间的共享方式,可选择下面的方式执行传输:

内容管理系统传送文件到接口服务器(播放服务器),然后根据人工请求,在编辑设备的控制下完成到编辑设备的传送。

内容管理系统传送文件到接口服务器(播放服务器),然后由广播控制的自动操作完成到编辑设备的传送。

广播控制的自动操作传送文件到接口服务器,并控制编辑设备的播放。

·本地压缩的视频以实时或快于实时的流经过SDTI连接。这种传输可以用SDI传输同样的方式管理,主要的区别是信号质量。典型的SDI传输包含解码到基带和重新编码到目标系统的压缩域,这会导致信号质量的衰减。SDTI传输允许在压缩域使用SDI连接交换数据,其信号质量不会损坏。

·从IT网络(首选光纤通道或1 000baseT)拷贝。这种传输直接由内容管理系统管理,可能会需要通过文件格式转换器对文件封装格式进行转变以适应私有的文件格式。当制作系统与不兼容的编码格式协调时,往往需要这种转换。

从基础结构的观点看,内容管理系统处理经由传输服务器的,在归档和接口服务器或制作系统之间的文件物理传输。由于这些服务器要与SAN连接,它们必须成为SAN类服务器。过程的控制涉及到要与接口服务器、广播自动控制系统(设备管理的组件)和传输过程管理(输出服务)的连接。作为控制的组件,这些系统组件能够运行在应用服务器类的主机上。如果需要格式转换,转换服务器也要参与。理想的情况是,转换服务器被安装在SAN服务器上。

在制作系统,资料被编辑和组合成一个新的完整的节目。当节目在编辑工作站得到最后确认后,内容可以被传输到播放系统。这种传输可以用文档到生产环境同样的传输方式来处理,或者可以使用由制作系统自己提供的传输功能。播放本身是完全由广播控制系统来管理的。

制作完成的资料的浏览副本可以通过将资料移动到接口服务器上、使用实时浏览编码器产生,或者通过使用转换服务器的软件转码来产生。

已完成的稿件可以使用相同的传送功能从制作系统传送到归档系统进行永久保存。

7.4.10编目和归档

用于永久存储和归档的资料应由专业的归档员进行深度的编目和索引。编目人员从他们的台式计算机上访问和操作浏览副本、关键帧和元数据。在编目中的主要任务是提炼元数据的质量,其结果必须是整个组织按基于IT的访问协议来访问。关于硬件基础结构,所有包含支持这些任务的系统都已做过了描述。

7.4.11管理

系统管理员用他们的桌面计算机监控和管理内容管理系统。为了维护和监督系统的顺利执行,管理员必须能从自己的桌面访问所有系统。

7.5操作方面的考虑

在引入内容管理系统以后,必须能够对基础结构和软件进行操作、管理和维护。对基于IT的组件,在这种环境中所执行的是标准的维护程序。大多数计算机设备在3~5年后才会折旧,在到达使用期限后就要被替换或更新。软件的维护是一个不断持续的过程,软件的更新通常是维护协议的一部分。因此,一般的IT规则和协议也可用于内容管理系统。

在一定的范围内,操作、维护和替换是非常重要的,即对大规模存储系统和它的数据载体的维护很重要。有规律的检查数据的完整性和在数据有丢失危险时采取行动是很关键的,设计具体的迁移战略必须确保没有数据的丢失。理想的情况下,这类维护应该是后端的自动处理过程而不需要人的介入,甚至不被用户所察觉。

另一个要考虑的方面就是数据管理和迁移过程的成本。考虑到在内容丰富的组织中所要管理的数据量是相当可观的,因此,数据维护和迁移策略不仅仅取决于技术参数,也和成本因素有关。接下来将会介绍有关载体维护和迁移的技术问题及成本问题。

7.5.1迁移

对于数字的、基于文件的归档的一个关键问题就是创建能够维护长期数据完整性、独立于存储技术和媒介变化的外部数据集。这种保证显然不能轻易实现。IT硬件技术仍在快速的发展着,例如存储密度和计算能力,还有相关媒体软件技术的性能如压缩等也在快速发展,而且新的编码格式也在不断地出现。在传统的媒体生产中,这些格式要受到物理载体(如磁带)的局限,新的数字格式是独立于物理媒体的。

然而,编码的发展和进步要求迁移成为内容管理系统的内在设计范例,以保持数字归档技术能够与时俱进。这种环境中的迁移有时甚至要求改变初始的数据集。由于技术的进步和发展是不断的,迁移也不会是一次偶然的事件,而要成为数字归档系统完整操作的一部分。这和8.2.2所要讨论的从录像带生产的迁移是可比照的。因此,连续自动的迁移必须成为内容管理系统的一个内在功能。

7.5.1.1使用自动磁带库

数字数据文档必须能够保证数据的永久完整性。这意味着存储媒体的物理衰退不会影响所存储的数据的完整性。磁带格式(不管是录像带或数据磁带)是很容易产生物理衰退。因此,数据磁带文档必须能自动检测存储媒体存在的危险,并可执行自动恢复程序,自动磁带库是达到这样目的的很好的方式。自动磁带库是这样的系统,它能够控制磁带和磁带驱动在槽和驱动间的自动迁移,控制驱动中磁带的装载和卸载。

这样的磁带库在被用于大规模媒体系统高码率媒体的永久存储时,可由软件控制和自动的执行来维护数据的完整性而无需人的介入。因此自动磁带库不仅适合于作为近线大规模存储媒体,也可以通过自动迁移过程方便内容的保存。

7.5.1.2监控载体的完整性

监控载体的完整性是检查数据序列是否被正确地传送到存储媒体或载体的关键要素。而且,检查载体的“健康状况”是否已经衰减到预先确定的范围以外也是很重要的。如果这种情况发生,预防性的措施就是通过自动数据传输来重建新的载体。

当从数据磁带中读数据时,磁带中数据完整性的一个判断指标是位错误率(或由磁带驱动供应商提供的一个等价指标)。

了解数据序列中发生错误的地方和什么会使数据块上产生错误是很必要的。一个典型的数据块包括:

·地址。

·同步字或同步块。

·数据包。

·校验字或校验以及用于传送块的差错保护。

既然同步块中的错误会导致整个块的丢失,就要引入附加的错误保护机制,使用多个数据块信息来产生所谓的产品代码。使用产品代码,同步块中的错误就能被调和。一些供应商也使用正移技术将错误保护分布在多个数据块以及他们各自的产品代码中。

为了真正了解某个数据磁带上到底发生了什么,内容管理系统必须完全了解单个数据磁带驱动解决方案所支持的错误保护的执行方式。这很具有挑战性,尤其在考虑到快速的产品发布周期和供应商想要保护他们的竞争优势时。

然而,内容管理系统确实需要关于某个磁带或磁带驱动是否已经衰退和是否可靠的较早的指示。这意味着必须能够有效地获得大量的信息来建立错误的分类、错误的频率和错误随时间增加的情况。例如,当突发错误发生在某个磁带上时,可能是该磁带本身的问题所致;而单一的错误出现在多个磁带上时,就可能意味着一个具体驱动的写探头的衰退。

为了保护商家的竞争优势和最小化内容管理系统所需要具备的关于错误保护算法具体执行的知识,可以应用交通灯系统。不同灯的解释可以是这样的,第一个灯指示在给定时间范围内的最大错误率,第二个灯指示在给定时间范围内的所有错误率的整体情况。

时间范围是系统具体的常量值。例如在螺旋状的扫描记录情况下,合理的时间范围应该是写一个磁道所需的时间。应该将交通灯定义成:

·绿灯——设计参数内正常。

·黄灯——接近设计参数,仍然可恢复。

·红灯——不可恢复的错误发生了。

为了以这种不同颜色的交通灯的方式传递结果,需要由商家将内部的错误统计与具体商家的正常值相联系。而且,应由一个独立的组织测试和证明所传送的结果是否合格,以保证其兼容性。

然后内容管理系统要负责记录信息、存储信息、执行必要的统计评估和采取合适的行动以保护整个数据序列的完整性。

错误率或错误指标的统计指示了目前载体和磁带驱动的健康状态以及其状态随时间发展的情况。根据经验模式或从商家提供的应用信息中提取一个载体可能的生命周期,这样的附加信息是很有帮助的,如某个载体的最大承载数量和写的次数。而且,商家也可以根据经验提供某些参数,例如载体在可控环境中理论上工作的最大生命周期。在这种环境中,载体在可控环境之外的工作时间也要加以考虑。载体的剩余工作时间可从最大理论生命周期中得出,但是载体在不可控环境中工作的生命周期往往会更短。而且,根据公司或组织政策得到的任何生命周期的日期应该是具体的和可执行的。

如果把数据磁带归档作为机器人大规模存储解决方案中的首选,那么负责管理的系统必须给每个磁带保留下列可追踪的信息:

·最大容错率。

·最大承载数。

·最大读出量。

·最大写入量。

·服务程序间最大可容忍的间隔时间。

·磁带的最大有效生命周期。

·用户选择的结束日期和时间。

·为了获得磁带的寿命,第一次记录的日期和时间。

·为了跟踪由于某个记录设备的技术问题而导致的系统失败,记录设备的ID。

·最后读出访问的交通灯统计。

·当前载入数。

·当前读出数。

·当前写入数。

·下次服务计划的日期。

·状态。

基于这些信息,可以获得载体的完整情况,如果有必要的话,存储在载体上的数据可以迁移到新的载体。为了保证数据磁带载体的完整性,有许多任务需要自动完成。例如,这些任务包括1秒内磁带驱动写入的磁带,为减少由于探头的未对准或写入过程中的其他技术错误可能造成的写入错误,不同的磁带驱动和重读数据。而且,对一定时间未访问过的磁带需要定期地进行倒带和重装,以避免磁带的粘连。为了检查比特错误率(或磁带健康状态的等价指标),在一定的周期间隔内读磁带也是必须的。如果查出问题(即超过任何具体的参数)要立即采取行动,这包括拷贝比特错误率超过给定安全比特错误率的磁带到新的磁带上,及拷贝超过生命周期的磁带到新磁带上。当磁带在可控环境中使用的时间超过给定的安全时间时,它就达到生命周期了。

在内容管理系统基础结构设计时必须要考虑这些过程。尽管对存储媒体和迁移过程的检查是在后台进行的,但要确保检查能够定期进行。

同类推荐
  • 国际危机传播

    国际危机传播

    由高晓虹和隋岩主编的《国际危机传播》结合丰富的案例,在厘清危机传播与国际危机传播的关系、剖析危机传播国际化趋势的基础上,对国际危机传播中媒介组织的社会功能、生产机制、报道策略,以及公共政策、文化在国际危机传播中的作用,进行了深入的探讨;创新性地引入修辞学和阐释学理论,对国际危机传播中的文本修辞和过度报道进行了详尽分析。国际危机此起彼伏,国际危机传播影响深远,如何临希不乱,有效地进行媒体传播,帮助各方面转“危”为“机”,是《国际危机传播》的宗旨所在。
  • 独山子文史(第八辑)

    独山子文史(第八辑)

    本书分人物春秋、流金岁月、沧桑纪事、炼化史踪、史海存真、他山之石、史林漫步、七个篇章,书稿中记载了革命老前辈们在这片曾经荒凉的土地上奉献青春,挥洒热情的激情岁月。真情记录了一些优秀的石油人在这片热土上克服万难、积极探索、认真钻研的难忘岁月。本书对研究新疆石油工业的历史,具有一定的参考价值。
  • 好课是这样炼成的

    好课是这样炼成的

    本书关注有效课堂的基本原理与方法,从教学设计、课堂资源、学习方式、教学模式、课堂互动、课堂伦理、多媒体辅助教学、课堂管理等十个专题讲解课堂教学的基本思路。
  • 对话:中国网络电视

    对话:中国网络电视

    前言在中国,做电视本来是广电系统的独家盛宴。近几年,各方力量都开始进入视频领域,这个领域的结构也随之发生了巨大的变化。在短短几年内,我们见证了在这个原本属于广电的视频领域,逐渐融入更多的行业,汇聚成一个“热闹江湖”的过程。我们花费一年时间,对进入视频领域的各方力量的“掌门人”进行了采访。他们的探索、实践、思考,体现了这个行业从萌芽、野蛮生长、混战到逐渐规律发展的过程,是“网络视频”或“网络电视”领域的宝贵财富。我们将这些思想汇集成册,希望能够成为这个行业发展到此阶段的一个见证。在本书的书名中,我们提到“网络电视”这个概念。目前在行业中,出现了很多……
  • 好学生是这样培养出来的

    好学生是这样培养出来的

    如何“让每一个学生都成为最好的自己”?怎样“成为一名真正的初中生”?什么是“初二现象”?“面对压力,家长该走出哪些误区”? …… 张凤兰与其教育团队将通过八中初中部十余年的教育探索为您自己作答。本书不仅体现了北京八中初中部的办学特色,更体现了现今初等教育的发展。本书可以视作学生初中三年学习与生活的指南性读物,对于广大校长、教师、学生以及学生家长都有很好的指导与借鉴价值。
热门推荐
  • 秋恋夏散

    秋恋夏散

    他是上个世纪的将军的孙子,他玩世不恭,笑看人生,随心所欲。她是被父母抛弃的姜家之女,14岁那年被接回了她那所谓的“家”。她曾说“怪我声音不动听唤你多声未肯应”他却没说他最忘不掉的就是她的声音。作者大大温馨提示:此文高能,有甜可是本文是纯天然的虐文,如果写的不好误喷,这是我第一次写小说,如果有雷同纯属意外。
  • 超级海岛

    超级海岛

    抠脚男杨光意外车祸,来到一个类似于地球的平行世界,历史的轨迹发生偏移,世界的舞台因为他的到来而颤抖。。。
  • 寻仙逍遥传

    寻仙逍遥传

    重生千年前的普通修士江枫,手持上古帝器,修炼逆天神魄,结交天下英豪,感悟人间百味,阻挡魔界阴谋,逆转历史之轮。有“虽千万人吾往矣”的豪情,亦有“有情人终成眷属”的柔情;有万千河山风起云涌的壮阔,也有草长莺飞云卷云舒的惬意;有迎战强敌奔赴沙场的热血,也有逍遥天下与友对饮的洒脱……这,是一个在追求自由和梦想的路上,不断让自己变强的故事!
  • 冷面杀手萝莉心

    冷面杀手萝莉心

    他嗜血无情,让人闻风丧胆,更是少女们心中的白马王子。她在拍卖会上大闹一场骂他是个负心汉!他却把她抱在怀里“老婆,玩够了么?玩够了就回家吧,家里的宝宝该喂奶了。”单身黄金男竟然有了老婆还有了孩子?而且对老婆一心一意温柔之至?然,理想很美好,现实很骨感。她刚来不到一星期就挨了两巴掌!不是说讨厌她么,她逃跑,他却发了疯似的满世界找她,最后终于连骗带哄的把小萝莉带回家“云梦梦,如果你想用这种欲擒故纵的把戏来吸引我的注意力的话,我告诉你…你做到了!”从此,他宠她上天!而某只小萝莉闲着没无聊,时不时的出出墙啊,闹闹失踪啊,甚至还上房揭瓦!乐此不疲!“拜托,你不要以为你喜欢我,我就不能喜欢别人了!反正最后我老公绝对不会是你!”“没关系,孩子他爹是我就行了。”终于,卧底身份被揭穿,却换来他的冷嘲热讽!七年后,她主动找到他,却撞见他跟别的女人约会?云梦梦上前献上香吻一枚,“小姐,这个男人是我的,请你管好你的大腿和春心。”
  • 人生不必太计较

    人生不必太计较

    《人生不必太计较》从财富、欲望、名利、处世、人际交往、个人生活等几个方面,通俗地将一些不计较的智慧贯穿其中,不失为当下人们让心平静恬淡的上乘之选。 愿此智慧能引导你走出浮躁、摆脱困顿、避开炎凉,活出真实圆融的自己,并收获一个幸福、快乐、成功的人生。
  • 地球“发烧”了(趣味地理卷)

    地球“发烧”了(趣味地理卷)

    地理是研究地球表面各种自然现象、人文现象以及它们之间的相互关系和区域差异的学科,是最美丽的科学,也是与我们的生活联系最紧密的科学。为什么这样说呢?
  • 我的奇妙女友

    我的奇妙女友

    见过把男人比喻为蛋挞的吗?见过一碰到喜欢的男生就会化身为狼的吗?我的女友,便是这样的大明星。外星生物。WTF!!外星生物是什么鬼!
  • 此处花开,你是否还在

    此处花开,你是否还在

    在青葱时光里,或许迷茫,或许疑惑,或许忧伤,或许甜蜜。但他们终将会奏成美好的乐章。因为他们记录了我们即将或已然逝去的青春。这本充满纠结,憧憬,朦胧的书,献给处于花季的你们。希望你们用心读完,体会心灵深处最柔软的地方。
  • 妃你莫属:毒医嫡长女

    妃你莫属:毒医嫡长女

    21世纪最强毒医的她,在21世纪拥有双重身份:医者、杀手,生活交替与光明和黑暗间,却被人暗算,穿越到这历史中没有出现的大陆,两世她始终遵循自己的宗旨:你毒,我比你更毒。但遇上宠她如命的他,也只能缴械投降……传说凌天宫宫主冷酷无情,杀伐果断,那谁能告诉她这只不明物体是什么!看她如何与他齐心协力,在这异世闯出一片天下!本文轻虐绝宠,欢迎跳坑。
  • 霸道宠婚:鲜妻,撩不够

    霸道宠婚:鲜妻,撩不够

    【新文求支持,这是宠文,男女皆身心干净】【欢迎加入读者群:517133846】“老公,我要……”包包~“好!”话音未落,她的人已经在床上。……他是禁欲系总裁,帅气多金有颜值,是全市女人的梦中情人。一不小心得罪他,夏天悠的生活不再安宁。男神夜夜爬上她的床,要了她的人,夜夜笙歌到凌晨。咳咳……说好的禁欲系男神呢?