登陆注册
9664100000038

第38章 内容管理系统的基础结构(5)

7.4.8查询和检索

内容管理系统所提供的标准查询界面应该是基于Web的。Web检索服务提供的这种界面是由一个或多个服务器系统来控制的。这种方式能够分散负载,使系统更容易升级。

Web检索服务可以运行在具有高带宽网络接口平台的应用服务器上,尤其是在需要将大量的关键帧提供给用户时。在安装中,嵌入的视频或音频播放器被用于播放运行在SAN上的视频或音频文件。

内容管理系统使用内部数据库来长久存储处理信息,以及描述性与素材相关的元数据等。为了确保最大化的容错性能和执行,这些关键数据库所在的服务器应被设计成服务器集群。用于数据管理和素材管理的2种数据库服务器集群。

查询是通过数据管理的各种组件来处理的。在现实的应用程序中,这些数据管理组件会在不同的服务器上运行以分散负载。典型的情况是,这些服务器与具体存储所有元数据的子系统数据库接口,或与它们固有的或具体的搜索引擎接口。数据管理通过多种数据库进行联合搜索,综合的结果单由数据代理提供。由于这些服务对访问素材没有要求,在大多数情况下,它们的主机就是应用服务器。

应用分布式的概念到数据管理的单个功能组件上也是可以的。一个例子就是应用多种全文本搜索引擎(每个引擎都运行在一个专门的服务器上)来分散查询负载。这些全文本搜索引擎要么直接从数据库表中索引属性,要么索引运行在共享存储媒体上的文档。对后一种情况,这些全文本搜索引擎就应该运行在SAN服务器上。

除了传统的搜索性能,内容管理系统还可以提供先进的检索功能(如图像相似性检索)。这些搜索引擎通常有大量的执行要求,因此应该通过分布式服务器系统给予支持。下面简单的例子强调了这个问题:

考虑每小时1 000个关键帧的视频,10万小时的视频会产生1亿个关键帧。为使用户能够接受图像的相似性查询,将一个图像和所有存储的关键帧比较,应该在10秒以内响应。

这种要求对搜索引擎的执行是个很大的挑战。由于这类高级检索系统的有效性还要在真实世界中建立(尤其是对于大的广播组织),评估利益和费用是很重要的。

素材管理过程要求有与素材相关的元数据(如格式、时码、期限、文件大小、位置等)。素材管理过程访问素材管理数据库,但是同数据管理一样,只处理数据不处理素材。因此,素材管理过程能运行在一个或多个类型的应用服务器上。

7.4.9制作和播出的界面

基于检索和粗编过程做出的决定,制作素材从高码率的归档中传输到一个制作系统中。制作系统可以是单独的编辑系统或是支持多个编辑共享同样内容的基于服务器的编辑方案。

素材从归档到编辑设备的传输可由3种不同的方式来完成:

·基带视频经由标准演播室SDI连接的实时流。根据内容管理系统和广播控制自动操作间的共享方式,可选择下面的方式执行传输:

内容管理系统传送文件到接口服务器(播放服务器),然后根据人工请求,在编辑设备的控制下完成到编辑设备的传送。

内容管理系统传送文件到接口服务器(播放服务器),然后由广播控制的自动操作完成到编辑设备的传送。

广播控制的自动操作传送文件到接口服务器,并控制编辑设备的播放。

·本地压缩的视频以实时或快于实时的流经过SDTI连接。这种传输可以用SDI传输同样的方式管理,主要的区别是信号质量。典型的SDI传输包含解码到基带和重新编码到目标系统的压缩域,这会导致信号质量的衰减。SDTI传输允许在压缩域使用SDI连接交换数据,其信号质量不会损坏。

·从IT网络(首选光纤通道或1 000baseT)拷贝。这种传输直接由内容管理系统管理,可能会需要通过文件格式转换器对文件封装格式进行转变以适应私有的文件格式。当制作系统与不兼容的编码格式协调时,往往需要这种转换。

从基础结构的观点看,内容管理系统处理经由传输服务器的,在归档和接口服务器或制作系统之间的文件物理传输。由于这些服务器要与SAN连接,它们必须成为SAN类服务器。过程的控制涉及到要与接口服务器、广播自动控制系统(设备管理的组件)和传输过程管理(输出服务)的连接。作为控制的组件,这些系统组件能够运行在应用服务器类的主机上。如果需要格式转换,转换服务器也要参与。理想的情况是,转换服务器被安装在SAN服务器上。

在制作系统,资料被编辑和组合成一个新的完整的节目。当节目在编辑工作站得到最后确认后,内容可以被传输到播放系统。这种传输可以用文档到生产环境同样的传输方式来处理,或者可以使用由制作系统自己提供的传输功能。播放本身是完全由广播控制系统来管理的。

制作完成的资料的浏览副本可以通过将资料移动到接口服务器上、使用实时浏览编码器产生,或者通过使用转换服务器的软件转码来产生。

已完成的稿件可以使用相同的传送功能从制作系统传送到归档系统进行永久保存。

7.4.10编目和归档

用于永久存储和归档的资料应由专业的归档员进行深度的编目和索引。编目人员从他们的台式计算机上访问和操作浏览副本、关键帧和元数据。在编目中的主要任务是提炼元数据的质量,其结果必须是整个组织按基于IT的访问协议来访问。关于硬件基础结构,所有包含支持这些任务的系统都已做过了描述。

7.4.11管理

系统管理员用他们的桌面计算机监控和管理内容管理系统。为了维护和监督系统的顺利执行,管理员必须能从自己的桌面访问所有系统。

7.5操作方面的考虑

在引入内容管理系统以后,必须能够对基础结构和软件进行操作、管理和维护。对基于IT的组件,在这种环境中所执行的是标准的维护程序。大多数计算机设备在3~5年后才会折旧,在到达使用期限后就要被替换或更新。软件的维护是一个不断持续的过程,软件的更新通常是维护协议的一部分。因此,一般的IT规则和协议也可用于内容管理系统。

在一定的范围内,操作、维护和替换是非常重要的,即对大规模存储系统和它的数据载体的维护很重要。有规律的检查数据的完整性和在数据有丢失危险时采取行动是很关键的,设计具体的迁移战略必须确保没有数据的丢失。理想的情况下,这类维护应该是后端的自动处理过程而不需要人的介入,甚至不被用户所察觉。

另一个要考虑的方面就是数据管理和迁移过程的成本。考虑到在内容丰富的组织中所要管理的数据量是相当可观的,因此,数据维护和迁移策略不仅仅取决于技术参数,也和成本因素有关。接下来将会介绍有关载体维护和迁移的技术问题及成本问题。

7.5.1迁移

对于数字的、基于文件的归档的一个关键问题就是创建能够维护长期数据完整性、独立于存储技术和媒介变化的外部数据集。这种保证显然不能轻易实现。IT硬件技术仍在快速的发展着,例如存储密度和计算能力,还有相关媒体软件技术的性能如压缩等也在快速发展,而且新的编码格式也在不断地出现。在传统的媒体生产中,这些格式要受到物理载体(如磁带)的局限,新的数字格式是独立于物理媒体的。

然而,编码的发展和进步要求迁移成为内容管理系统的内在设计范例,以保持数字归档技术能够与时俱进。这种环境中的迁移有时甚至要求改变初始的数据集。由于技术的进步和发展是不断的,迁移也不会是一次偶然的事件,而要成为数字归档系统完整操作的一部分。这和8.2.2所要讨论的从录像带生产的迁移是可比照的。因此,连续自动的迁移必须成为内容管理系统的一个内在功能。

7.5.1.1使用自动磁带库

数字数据文档必须能够保证数据的永久完整性。这意味着存储媒体的物理衰退不会影响所存储的数据的完整性。磁带格式(不管是录像带或数据磁带)是很容易产生物理衰退。因此,数据磁带文档必须能自动检测存储媒体存在的危险,并可执行自动恢复程序,自动磁带库是达到这样目的的很好的方式。自动磁带库是这样的系统,它能够控制磁带和磁带驱动在槽和驱动间的自动迁移,控制驱动中磁带的装载和卸载。

这样的磁带库在被用于大规模媒体系统高码率媒体的永久存储时,可由软件控制和自动的执行来维护数据的完整性而无需人的介入。因此自动磁带库不仅适合于作为近线大规模存储媒体,也可以通过自动迁移过程方便内容的保存。

7.5.1.2监控载体的完整性

监控载体的完整性是检查数据序列是否被正确地传送到存储媒体或载体的关键要素。而且,检查载体的“健康状况”是否已经衰减到预先确定的范围以外也是很重要的。如果这种情况发生,预防性的措施就是通过自动数据传输来重建新的载体。

当从数据磁带中读数据时,磁带中数据完整性的一个判断指标是位错误率(或由磁带驱动供应商提供的一个等价指标)。

了解数据序列中发生错误的地方和什么会使数据块上产生错误是很必要的。一个典型的数据块包括:

·地址。

·同步字或同步块。

·数据包。

·校验字或校验以及用于传送块的差错保护。

既然同步块中的错误会导致整个块的丢失,就要引入附加的错误保护机制,使用多个数据块信息来产生所谓的产品代码。使用产品代码,同步块中的错误就能被调和。一些供应商也使用正移技术将错误保护分布在多个数据块以及他们各自的产品代码中。

为了真正了解某个数据磁带上到底发生了什么,内容管理系统必须完全了解单个数据磁带驱动解决方案所支持的错误保护的执行方式。这很具有挑战性,尤其在考虑到快速的产品发布周期和供应商想要保护他们的竞争优势时。

然而,内容管理系统确实需要关于某个磁带或磁带驱动是否已经衰退和是否可靠的较早的指示。这意味着必须能够有效地获得大量的信息来建立错误的分类、错误的频率和错误随时间增加的情况。例如,当突发错误发生在某个磁带上时,可能是该磁带本身的问题所致;而单一的错误出现在多个磁带上时,就可能意味着一个具体驱动的写探头的衰退。

为了保护商家的竞争优势和最小化内容管理系统所需要具备的关于错误保护算法具体执行的知识,可以应用交通灯系统。不同灯的解释可以是这样的,第一个灯指示在给定时间范围内的最大错误率,第二个灯指示在给定时间范围内的所有错误率的整体情况。

时间范围是系统具体的常量值。例如在螺旋状的扫描记录情况下,合理的时间范围应该是写一个磁道所需的时间。应该将交通灯定义成:

·绿灯——设计参数内正常。

·黄灯——接近设计参数,仍然可恢复。

·红灯——不可恢复的错误发生了。

为了以这种不同颜色的交通灯的方式传递结果,需要由商家将内部的错误统计与具体商家的正常值相联系。而且,应由一个独立的组织测试和证明所传送的结果是否合格,以保证其兼容性。

然后内容管理系统要负责记录信息、存储信息、执行必要的统计评估和采取合适的行动以保护整个数据序列的完整性。

错误率或错误指标的统计指示了目前载体和磁带驱动的健康状态以及其状态随时间发展的情况。根据经验模式或从商家提供的应用信息中提取一个载体可能的生命周期,这样的附加信息是很有帮助的,如某个载体的最大承载数量和写的次数。而且,商家也可以根据经验提供某些参数,例如载体在可控环境中理论上工作的最大生命周期。在这种环境中,载体在可控环境之外的工作时间也要加以考虑。载体的剩余工作时间可从最大理论生命周期中得出,但是载体在不可控环境中工作的生命周期往往会更短。而且,根据公司或组织政策得到的任何生命周期的日期应该是具体的和可执行的。

如果把数据磁带归档作为机器人大规模存储解决方案中的首选,那么负责管理的系统必须给每个磁带保留下列可追踪的信息:

·最大容错率。

·最大承载数。

·最大读出量。

·最大写入量。

·服务程序间最大可容忍的间隔时间。

·磁带的最大有效生命周期。

·用户选择的结束日期和时间。

·为了获得磁带的寿命,第一次记录的日期和时间。

·为了跟踪由于某个记录设备的技术问题而导致的系统失败,记录设备的ID。

·最后读出访问的交通灯统计。

·当前载入数。

·当前读出数。

·当前写入数。

·下次服务计划的日期。

·状态。

基于这些信息,可以获得载体的完整情况,如果有必要的话,存储在载体上的数据可以迁移到新的载体。为了保证数据磁带载体的完整性,有许多任务需要自动完成。例如,这些任务包括1秒内磁带驱动写入的磁带,为减少由于探头的未对准或写入过程中的其他技术错误可能造成的写入错误,不同的磁带驱动和重读数据。而且,对一定时间未访问过的磁带需要定期地进行倒带和重装,以避免磁带的粘连。为了检查比特错误率(或磁带健康状态的等价指标),在一定的周期间隔内读磁带也是必须的。如果查出问题(即超过任何具体的参数)要立即采取行动,这包括拷贝比特错误率超过给定安全比特错误率的磁带到新的磁带上,及拷贝超过生命周期的磁带到新磁带上。当磁带在可控环境中使用的时间超过给定的安全时间时,它就达到生命周期了。

在内容管理系统基础结构设计时必须要考虑这些过程。尽管对存储媒体和迁移过程的检查是在后台进行的,但要确保检查能够定期进行。

同类推荐
  • 国际传播史

    国际传播史

    国际传播是国家间的信息传递,是人类社会信息传播中最重要的组成部分之一。随着全球化时代的到来,国家开始对传播投入更大的热情和更多的注意。国际传播空间包含哪些具体的内容?分哪些层次?从历史的角度看,国际传播分哪些阶段?每一个阶段有哪些特点?其未来的发展趋势如何?中国的国际传播史该如何认识?《国际传播史》从国际、国家和媒体的不同角度对国际传播的历史发展进行了简要的描述与分析,做出了自己的回答,颇具可读性与启发性。《国际传播史》由刘笑盈和何兰主编。
  • 你才神经

    你才神经

    这是一本颠覆你世界观的非常态人群心灵访谈书。书中收集了国内最离奇的非常态人群和发生在他们身上的22个经典案例。包括透视眼、多重人格犯罪、不眠人、潜意识训练、楔齿蜥眼、世界末日论、自我变性人、灵魂存在、智商转移、心脏移植与记忆跟随、阅读强迫症、四维空间的蚂蚁、人卵说、梦境控制、预测学等许多目前科学无法解答的行为和现象。
  • 现代新闻写作:框架与修辞

    现代新闻写作:框架与修辞

    《现代新闻写作:框架与修辞》出版以来,出人意料地获得了同行专家与广大读者的好评,一些专业性著述甚至将它视为重要参考,征引观点与部分论述。这些都让作者颇受鼓舞,深感人性的温馨。陈寅恪《陈垣(敦煌劫余录>序》称:“一时代之学术,必有其新材料与新问题。
  • 春苑论史

    春苑论史

    本书收集了作者散布在杂志、论文集里的文章。内容涉及中国现代史的政治、经济、文化、思想、军事、人物及著名的历史运动等方面。
  • 中华句典2

    中华句典2

    本书共收录名言警句、歇后语、谜语、对联、俗语、谚语等上万条。这些鲜活的语言文字语简意赅,大多经过千锤百炼,代代相传,才流传至今。这些语句,或寓意深长,或幽默风趣,有着过目难忘的艺术效果。本书以句句的实用性、典型性和广泛性为着眼点进行编排,所选的句句时间跨度相当大,从先秦时期的重要著作,到当代名人的智慧言语均有涉及;所选的名句范围非常广,从诗词曲赋、小说杂记等文学体裁,到俗谚、歇后语、谜语等民间文学都有涉猎。除此之外,书中还提及了一些趣味故事。通过这些或引人发笑、或让人心酸的故事,可以使读者更为深刻地理解和掌握名句。
热门推荐
  • 王俊凯之可以等到你

    王俊凯之可以等到你

    他和她,她深爱着他,可他不爱她,因为一场意外,让她和他的记忆忘记了,他知道真相以后,她,还能原谅他吗?
  • Of the Conduct of the Understanding

    Of the Conduct of the Understanding

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。
  • 那一场校园邂逅

    那一场校园邂逅

    他并不是很帅但她却心心念念,她很傻很天真,始终相信他会爱上自己,但一切都在变化中...
  • 腹黑魏少请妻入局

    腹黑魏少请妻入局

    她的订婚宴,却传来了未婚夫和别的女人的呻吟声,惊呆全场!魏亦轩出场给她扣上戒指,让她一瞬间变成让全世界嫉妒的女人!他宠她,然而却逃不脱别人一层加一层的设计。婆婆亲手为儿子安排别的女人;全国第一富婆有意把女儿嫁给魏亦轩。“既然你这么炙手可热,老娘不陪你玩儿了!”她逃之夭夭,一逃就是三年。魏亦轩几乎要咬碎了牙齿,“女人,明明是你招蜂引蝶!”三年后,她强势回归。家产万贯的富婆?呵呵,她会把钱一点点掏空!莺莺燕燕的女人?呵呵,她眨眨眼就能收拾了这群炮灰!只不过,意料之外的是——“你是我老婆,同床又怎么样?”“我们已经解除了法律关系!”“老婆,字儿我没签,走,我们去和床郎君约约会去。”什么?还没离婚?!
  • 寻风旅:穿越重生,王者盛宠

    寻风旅:穿越重生,王者盛宠

    七年后的同一天,又是一场毁灭性的灾难,带着沉痛与不甘葬身烈焰之中,“嘭!”某丫头:“没错,是妈妈!”扑倒某绝世美人儿。某男人露出帅炸天的倾世容颜。“没错,是爸爸!”帅爹爹将丫头拎出门外,“宝宝,我和你娘亲有件事情要谈……”萌萌哒的点头“嗯!”然后门关上,美娘亲羞愤:“你不能骗小孩子!”帅爹爹无辜地说:“没有呀!的确要‘谈’—情-说-爱。”“……”
  • 天使的救赎之九尾狐边伯贤

    天使的救赎之九尾狐边伯贤

    一个普通人,与是妖的九尾狐会擦出怎样的火花?女主是人?女主是天使?男主是九尾狐?男主是妖?分手还是不分手?“我们在一起,我会害了你!”“我不要离开你!”“这样你会死!”“死在你的手里我也愿意!”期待下面的故事!
  • 福妻驾到

    福妻驾到

    现代饭店彪悍老板娘魂穿古代。不分是非的极品婆婆?三年未归生死不明的丈夫?心狠手辣的阴毒亲戚?贪婪而好色的地主老财?吃上顿没下顿的贫困宭境?不怕不怕,神仙相助,一技在手,天下我有!且看现代张悦娘,如何身带福气玩转古代,开面馆、收小弟、左纳财富,右傍美男,共绘幸福生活大好蓝图!!!!快本新书《天媒地聘》已经上架开始销售,只要3.99元即可将整本书抱回家,你还等什么哪,赶紧点击下面的直通车,享受乐乐精心为您准备的美食盛宴吧!)
  • 驯服劣性老公:彪悍蛇王好腹黑【完结】

    驯服劣性老公:彪悍蛇王好腹黑【完结】

    丫的,这女人是不是找死?他是为了所有蛇族的蛇民们着想,才委屈求全的送上门,躲在她家度过每届蛇王的千年劫难的OK?她根本就不识相到极点,对他做尽了一切惨绝人寰的事情!骂他笨蛇?忍!将他摔下地?忍!睡觉的时候,压着他的蛇身?忍!不小心睡在了她的怀里,她就切了他的蛇尾?靠,靠,靠!该怎么忍?看他竟然是一条会写字的蛇,这女人就带他去街头卖艺?他发现自己有点忍无可忍了……..只能祈祷这千年劫快点过去,时来运转之时,就是他把这死女人,踩在他脚下之时………靠,这个帅哥竟然是那条笨蛇变的?蛇精?不怕,她向来不是胆小之人,蛇精就蛇精呗,但是…….这蛇精是不是有点太过分了?让她与万蛇同眠?滚!让她给他孵蛇蛋?去死!让她做他的奴隶?丫的,找削!让她亲他,给他消气?靠,赏他两巴掌!让她给他睡?NND,直接踹他两脚,差点没废了他!让她下地狱跟阎王好好相处?OK,以为她会怕?去就去,貌似还跟阎王混的不错!让她……让她做的他的女人…….额…….她得想想……..
  • 杀手也穿越系列之舞倾城

    杀手也穿越系列之舞倾城

    【本情节纯属虚构,请勿模仿】她是一个穿越过去的冷酷杀手,上一世的命运在这个时空依旧出现,只是多了另外一个身份,卧底。为了生存,为了脱离命运,她必须做出各种选择,包括杀了他或者救他。
  • 福妻驾到

    福妻驾到

    现代饭店彪悍老板娘魂穿古代。不分是非的极品婆婆?三年未归生死不明的丈夫?心狠手辣的阴毒亲戚?贪婪而好色的地主老财?吃上顿没下顿的贫困宭境?不怕不怕,神仙相助,一技在手,天下我有!且看现代张悦娘,如何身带福气玩转古代,开面馆、收小弟、左纳财富,右傍美男,共绘幸福生活大好蓝图!!!!快本新书《天媒地聘》已经上架开始销售,只要3.99元即可将整本书抱回家,你还等什么哪,赶紧点击下面的直通车,享受乐乐精心为您准备的美食盛宴吧!)