您的位置：嵌入式在线 > 解决方案 > 通信与网络 > 基于片花定位播放点的视频点播系统

基于片花定位播放点的视频点播系统

2007-07-12 嵌入式在线收藏 | 打印

国家"十一五"发展战略规划中提出网络广播电视是新媒体发展的重要组成部分，积极地拓展和开发网络音视频节目是每个省级广播电视台网站的责任。但是，随着网络视频的发展，在电视节目的流媒体网上点播中，受众的需求已经不再是在网站上长篇累牍地看一个时间长达几个小时的原版的电视节目，而是倾向于细节化、专题化的精品电视栏目。

1 引言

       以江苏广播电视网站为例，精品视频新闻点播版块作为网站内容的重中之重，其内容来自江苏电视台的4大精品节目一一《非常周末》、《南京零距离》、《1860新闻眼》和《绝对现场》。前台视频采集设备把每一个节目录制成一个时间上连续的流媒体视频文件，后台工作人员利用剪辑软件从中进行剪辑，剪除广告、精简、提炼、归类，供网民点播。但是，由于广告插播等原因，细节化的小栏目在一个大栏中的播出时间是不固定的，完全依靠人工来对视频流媒体文件进行查找、剪辑和归类，使得效率和准确度面临一个大难题。在剪辑软件中，工作人员首先浏览搜索所要剪辑的整个视频内容，从头至尾播放节目视频文件，不断地"快进"和"快倒"确定小栏目的起始点和结束点，然后实行剪辑。这非常浪费时间，浪费人力而且定位不够准确。这就使得时间和效率成为一个迫在眉睫的问题。

       2 系统的设计思想

       本系统的出发点就是针对人工剪辑视频的缺点提出免剪辑、无人值守的视频点播的设计思想。利用每个精品栏目都由一个片花来标志这个栏目的开始的特点，提出一种基于片花来定位精品栏目的播放位置的的方案。网民点播该栏目，系统自动从片花位置开始播放视频，实现一个免剪辑、无人值守的视频点播系统。在技术上采用基于内容的视频检索技术，从基于单帧图像的视频检索出发，构建一个适合点播系统中基于片花的新闻视频的搜索引擎。

       目前，国内许多省级电视台网站进行的网上视频节目点播只是某些少量经过手工剪裁制作的节目，造成了节目量少，用户选择范围窄，精品视频点播的市场需求受到限制。本系统从江苏广播电视网站的实际应用需求出发，把视频文件按照帧序号排列作为图像库，预先裁制片花的一帧图像做为样图，通过采用基于内容的图像检索比对，获得视频文件中片花位置通过对媒体播放器(Media Player)的二次开发，将网络数据库与动态网页设计技术综合运用，使得网民只要点击栏目按钮就可以从该栏目片花位置自动播放该栏目。改造后的江苏广电网站视频点播系统，给网络受众提供一个美观大方、操作便捷、高效可靠的基于片花搜索的网络视频点播系统。

       3 片花定位播放点的核心技术

       片花定位主要采用基于内容的图像检索技术。以片花的一帧图像为样本和视频文件中的帧图像进行比对和匹配，获得该片花的播放位置。基于内容的图像检索采用颜色和灰度直方图的匹配方法进行匹配。

       3．1 颜色的特征提取

       图像检索采用色彩和灰度直方图进行比较和匹配。色彩是图像内容组成的基本元素，是人识别图像的主要感知特征之一。本系统采用红、绿、蓝(RGB)空间向色调、饱和度和亮度(HSV)空间转化，并进行非均匀量化为32种色彩[2]，在此基础上提取图像的色彩直方图。

       图像的颜色有多种表示方式，其中HSV颜色模型是一种适合人眼分辨的模型．它把彩色信息表示为3种属性：色调(H)、饱和度(S)、亮度(V)．这种颜色模型可用三维空间坐标系表示。HSV模型的H是由颜色名称来辨别的，如红、橙、绿，它用角度O°～360°度量；V是颜色的明暗程度，通常用百分比度量，从黑O％到白100％；S指颜色的深浅．例如同样是红色，可分为深红和浅红，用百分比来度量，从O％到完全饱和的100％。在所有的色彩空间中．HSV模型对应于画家配色模型，它能较好地反应人对色彩的感知和鉴别能力，非常适合基于色彩的图像相似比较。

       从图像中一般都能得到RGB三色值，把RGB值转换成HSV空间[1]，用HSV空间的颜色直方图来描述图像的整体颜色特征，按人的颜色感知对HSV空间进行32维非均匀量化，方法如下[2]

       (1)对于V≤O．2的颜色认为是黑色(代码=O)；

       (2)对于S≤O．1且V>O．2的颜色按V划分为3种灰度。区间分别为：深灰(0．2，O．5)、浅灰(O．5，O．8)和白色(O.8，1)(代码=1，2，3)；

       (3)其他颜色认为是彩色，将其划分为28种彩色，编码公式为代码=4+4×H+2×S+V，其中H、S、V的取值见参考文献[4]、[5]、[6]；

       (4)H(O．360)划分为7个区间：(330，20)、(20，45)、(45，75)、(75，165)、(165，200)、(200，270)、(270，330)，H分别取值为O、1、2、3、4、5、6，代表红、橙、黄、绿、青、蓝、紫；

       (5)对于V划分为暗色(O．2，O．5)和明色(O．5，1)。V分别取值为O，1；

       (6)对于S划分为淡色(O.1，0．45)和浓色(0.45，1)。S分别取值为0，1。

       按照上面的方法将颜色空间共划分为4+7H×2S×2V=32种颜色，每种颜色用相应区域内的平均颜色表示。这32种代表色的量化、编码方法有效地压缩了颜色特征并较好地符合人眼对颜色的感知特性。

       对于一幅数字图像，将每个像素的色彩由RGB变换到HSV色彩空间，通过上述的非均匀量化方法，找到它在色彩簿中对应的色彩，并统计出该色彩出现的频数，这样以色彩作为横坐标，纵坐标为色彩出现的频数，以此绘出的图形为色彩直方图。

       3．2 空间关系的提取

       色彩的空间分布特征对于区分图像的内容是非常重要的。为了获得色彩的空间分布特征，将图像平均分成3 x 3块，由于图像的主体内容一般位于图像的中间大部分，周围背景部分占较小的面积．所以采用具有重叠方式的图像分块方法[2]。如图1所示，先把图像分成3×3块，然后A、B、C、D分别代表图像的左上、右上、左下、右下4个部分，其中中心部分P22被包合4次，边块P12．P21，P23，P32被包含2次，采用这种方法就可以突出图像的中间的主体部分及限制背景的范围。

       采用上述方法分块后，可以按照前面所述的方法分别求出A、B、C、D的色彩一空间直方图，最终得到一个4×32的二维色彩一空间直方图，经过预处理，以这些直方图作为视频图像的色彩一灰度一空间特征向量存储在图像数据库中。

3．3 相似性比对

根据色彩直方图相交的相似度计算方法，任意两个N维的色彩直方图Hp、Hq的相似度[1]SH(p，q)为

其中Hp(i)表示在色彩直方图p中属于色彩i的概率。Hq(i)表示在色彩直方图q中属于色彩i的概率。

将图像分块后，查询图像Q与数据库中图像I之间内容的相似度，可以由它们的二维色彩一空间直方图和灰度一空间直方图计算得到：

       其中i=1、2、3、4分别对应Q中A、B、C、D各子块图像，PI(i)表示I中相应Q中在一定的空间约束条件下第i块最为相似的子块号。wi为查询图像Q中第i子块的权重[2]。

       4 系统框架结构及重点工作模块

       经过本文的技术改造后，该系统包括7大模块．按照工作流程分为信号传输模块、采集编码模块、存储模块、管理模块、发布模块、片花搜索引擎模块、用户接口模块。系统功能流程图如图2所示。

电视信号从电视机房采集后经光纤传输到网站中心机房．然后输入视频压缩卡，把模拟信号转换为流媒体数字信号，根据系统管理模块的指令进行发布或者保存，然后自动搜索引擎模块根据用户提交的精品栏目请求．搜索到精品栏目的起始点．并且启动关联播放器进行播放。

       4.1 概述

       在信号传输模块这一环节，是视频信号从播出机房传输到网络中心机房的过程。首先，播出机房各频道通过同轴电缆经光纤调制器传输．在网络中心机房采用光纤调制器解调．然后经有源信号分配放大器，分配出各个频道的信号．每个频道信号经信号调谐器(电视解调器)进行数模转换，取AV输出得到的是可用于现有模拟电视播出的模拟电视信号。

       从电视信号调谐器输出的信号传输到压缩工作站，压缩工作站是由视频信号采集卡来接收信号调谐器的AV输出．然后通过视频采集卡的控制程序将模拟信号转换为数字信号．经采集后的数据将被送入音视频发布服务器对外发布或者录制保存。视频压缩站是一套节目配备一台。采集的频道的节目可以设置多个任务，时间间隔不连续，采集并直播．任务都是通过结构化查询语言(SQL)数据库来实现关联和读取。

主要参数是由视频码流、视频尺寸、编码方式、帧率、关键帧、流畅度、音频的取样率、单双声道等等入手，通过权衡与取舍．将输出结果调到一个图像质量与带宽两相宜的状态，既保证速度又保证图像的品质。

存储中采用网络附加存储(NAS，NetWork Attached Storage)形式。系统管理模块主要负责整个系统资源的综合管理．并提供服务器和管理员之间的人机接口。以浏览器／服务器(B／S)结构的人机管理界面形式，通过对数据库的读写操作实现各种功能的管理。主要功能包括采集设备管理、采集任务管理(节目库)、点播信息管理、服务器配置管理、访问统计日志以及设备工作监视器等。

发布功能模块采用微软公司的媒体服务器(Media Server)配置直播以及点播服务。

4．2片花搜索引擎模块

考虑到一个网络上的视频服务器要进行频繁的文件操作，服务器资源开销比较大，在本系统中将搜索引擎服务模块安装于独立的搜索引擎服务器上面．打开服务、后台运行。这样片花搜索引擎模块和存储设备直接发生工作关系．如图3所示。

       该模块的工作过程如下(参见图4)：

       (1)预先手工剪裁好精品栏目的片花视频段．放置到片花搜索服务器上；

       (2)设定需要进行片花定位的视频节目，这样搜索引擎根据预先的节目设定．从数据库中提取出节目资源文件的位置；

       (3)根据每个精品栏目对应的节目资源文件进行无人值守的机器人搜索操作，实现片花定位；

       (4)通过视频搜索引擎将精品栏目片花定位以后，将片花的准确起始位置记录到数据库中，标注好各个精品栏目视频的名称。

       根据查找的起点就可以启动播放器进行播放，这样就避免了人工剪辑，实现了无人值守的机器人工作。

       4．3 用户接口模块

       该模块的功能主要是在实现片花定位点播的同时提供给网民一个美观、功能便捷的窗口页面。B／S结构页面采用动态服务器网页(ASP)设计，将播放器和后台数据库服务关联起来，界面友好大方，如图5所示。

       本系统客户端的播放器由一个媒体播放器软件开发工具包(SDK)实现，由于原版媒体播放器本身只能从文件起始点播放．为了实现从指定帧进行播放，采用媒体播放器SDK中的标记组件进行改进。媒体播放器改进后的播放器可以从标记点开始播放视频文件，标记点由数据库中的参数赋值。

       播放工具由WWW浏览器从服务器端下载到本地执行。它和原版媒体播放器一样提供给用户一个交互式的操作界面，用户对精品视频进行点播观看的过程中可以进行简单的操作，例如暂停、全屏、音量等等。播放界面参见图6。

当用户选择需要的精品视频进行点播播放时．客户端网页的Java Script程序语言调用Web服务，把按钮参数(如频道信息、节目日期、节目名称等数据)发送到Web服务器，再从Web服务器接收达到的结果．并开始调用播放器播放。

       5 结束语

       本系统通过提供信号传输、信号采集、分布式的存储和发布、完善的后台管理、基于内容的搜索引擎和人性化的用户接口等系统．共同构建了一个机制比较健全、功能比较全面的视频点播环境。在这个环境中，由于视频搜索引擎模块具备了机器人自动识别的机能，省去了人工剪辑的烦琐和低效．把人解放出来．比较适合省市级广播电视网站作为全自动视频点播系统。

       视频搜索引擎的采用，解决了以下几个问题：

       (1)人力资源节省；

       (2)精品视频准确定位；

       (3)市场空间的开拓所具备的技术基础；

       (4)媒体资产再利用的开发。

       同时．许多省级电视台网站由于未能进行自主的视频点播业务的开发，大量的优秀视频在免费流失，造成市场的浪费．优秀节目的使用效率也大受影响。目前在广电网站视频点播的发展过程中，视频搜索引擎的采用已是大势所趋。由于基于内容的视频检索是当前国内电视台所普遍缺乏的，本系统符合市场导向、拓展应用空间、开发媒体资产的需求，通过视频比对实现智能型无人值守视频点播。

系统在试运行过程中，将江苏电视台城市频道《绝对现场》、《南京零距离》中的《重案纪实》和《甲方乙方》等精品小栏目试运行到江苏广播电视网站的点播系统中，网民们对这种方式表示了新的兴趣，取得了比较好的反响。下一步的工作将继续对点播系统进行开发．特别是提高片花定位精度开发和排除干扰．期待这一系统能够在全国的广电网站中得以应用、推广，并在使用中进一步提升品质，为我国的广电传媒事业尽绵薄之力。