摘要:电视的网络功能逐渐成熟,作为互联网重要应用的视频通话也必然成为网络电视的主要功能之一。本文主要探讨了电视视频通话的软件实现方案,并从软件架构、电视视频通话协议、技术特性以及嵌入式软件平台等方面加以了阐述。
关键词:网络电视;视频通话;软件架构;视频通话协议;技术特性
中图分类号:TP311.52文献标识码:A文章编号:1007-9599 (2010) 06-0000-02
TV Video Calling Software Method
Xu Hongbin
(Research Institute of Skyworth Group,Shenzhen518108,China)
Abstract:With television network functions mature,important applications as Internet video calls are bound to become one of the main functions of network television.This paper discusses the TV video call software solution,and from the software architecture,television video call protocol,technical features and aspects of embedded software platform are described.
Keywords:Network TV;Video calls;Software architecture;Video call protocol;Technical characteristics
一、引言
随着多媒体电视技术的发展,电视芯片处理能力越来越强大,可实现功能越来越多。如今电视已可以连接互联网,享受到大量互联网资源,可观看在线高清电影,下载高清视频资源,唱在线卡拉OK,实时掌握最新资讯,天气预报,炒股等等。当然,作为最重要的一种终端显示器件,视频聊天必然会成为电视不可或缺的功能之一,这里主要讨论关于电视视频通话的软件实现方案。
二、软件架构
电视视频通话软件架构主要由引导程序(Bootloader)、Linux内核及驱动程序、文件系统、中间件和应用软件组成。
(一)Bootloader
Bootloader用于初始化CPU及系统相应硬件,为操作系统准备良好的运行环境,引导启动操作系统内核,并可提供软件的本地和在线更新;在对Bootloader的研究上,采用支持远程启动、下载的PXE协议,对现有的嵌入式引导装载程序进行改进,使得系统软件的更新速度更快。
(二)Linux内核
Linux2.6内核在进程管理、块设备I/O管理、虚拟内存管理、网络管理,以及安全性方面较有优势,且稳定性比较高,因此视频通话软件方案基于Linux2.6内核。Linux2.6内核支持内核任务的抢占,其软实时性能得到了很大的提升,基本满足视频通话系统的要求,而影响Linux2.6内核在嵌入式系统中应用的主要因素在于内核的尺寸和硬实时性能。因此软件方案将在Linux2.6内核的基础上,对内存管理、外部设备中断以及进程管理等方面的机制进行研究,提出适合于视频通话系统的实时、稳定、紧凑的操作系统策略,并对内核源代码进行裁减来满足视频通话嵌入式系统的要求。在驱动程序的编写上,由于Linux2.6内核采用新的设备驱动框架,而现有的Linux2.6内核自带的设备驱动程序中,绝大多数还是基于Linux2.4内核提供的框架,因此软件方案涉及的所有硬件设备驱动程序将采用新的设备驱动程序框架及策略,使得内核与驱动之间的完美吻合。经改造后的Linux内核及驱动程序,负责整个系统的资源管理与控制,是一个实时、稳定、紧凑的内核,能够轻而易举地响应任何内部、外部事件,提供内存管理、进程调度与管理、网络协议、中断响应及处理等功能,完成网络视频通话通信、信息数据等的处理。
嵌入式Linux2.6内核采用开放的、可扩展的虚拟文件系统体系,为支持多种文件系统提供了强有力的支持。Linux内核支持多种文件系统,包括支持各种存储介质的各种文件系统。为了视频通话系统能够存储相应的数据信息以及数据交互并考虑系统的扩展性能,软件方案将支持多种文件格式,重点采用支持硬盘存储的ext3文件系统,支持Flash存储的YAFFS文件系统,使得系统的信息存储有很高的可靠性,并支持掉电保护功能。
(三)中间件
在中间件的设计上,软件方案将在Linux2.6内核所支持的内核级别的多媒体应用API以及视频通话API基础上,开发出专门用于视频通话系统的中间件。中间件用于隔离视频通话应用软件与底层操作系统细节,提供丰富的应用程序接口,使应用软件真正具有平台无关性,实现软、硬件的同步开发。
(四)应用软件和UI
视频通话应用程序的开发,将在中间件提供的应用程序API的基础上,为用户提供功能强大、操作方便的3D用户界面GUI,实现丰富多彩的功能。在视频通话软件方案中,主要将采用控件集合的全新开发模式,针对目前行业内普遍的用户界面不佳问题,尤其为了处理视频通话的交互式数据服务,开发出具有良好的视觉感受,直观并易于使用的GUI控件体系。
为使电视显示在屏幕上的菜单和控制易于使用,同时给用户在视觉上更具吸引力,直观易懂,使之对在线应用感到舒适,用户界面对于交互式数据设备的成功与否具有关键性影响。所以,图像处理的核心芯片“高清数字处理器”内集成了一个专用的图形处理器,为用户提供良好的视觉感受。芯片支持更高的色彩分辨率(32位/像素),可以显示鲜艳的色彩,为了取得更快的响应时间,将视频和图形内容进行无缝集成,并进行图形加速。芯片具备有抗闪烁电路,可以获得更高质量的显示效果。同时芯片采用抗混叠功能,可使屏幕上显示的文本更清晰。
图1 视频通话系统软件架构
三、电视视频通话协议
视频聊天程序采用的主协议:SIP,以RFC3428标准[1]为协议规范。Linux下视频驱动程序采用uvcvideo,V4L2。音频驱动程序采用ALSA。
音视频的编解码部分这里给出我们支持的主要标准。
音频:
PCM-16,G.711-uLaw-64k,G.711-ALaw-64k,G.723.1,G.723.1(5.3k),Cisco G.7231A,Cisco G.7231AR,G.728,G.729,G.729A,GSM-AMR,G.722.2,iLBC
视频:
YUV420P,RGB32,RGB24,RFC4175_YCbCr-4:2:0,RFC4175_RGB,H.261,H.263,H.264,MPEG4
音频传输速率大约3KB/S,视频传输速率大约30KB/S左右(10帧左右)。
网络的许多应用都需要建立和管理一个会话,会话在这里的含义是在参与者之间的数据的交换。SIP通讯协议应用于实时的多媒体会话数据比如声音,影像,或者文本。SIP允许使用Internet端点(用户代理)来寻找参与者并且允许建立一个可共享的会话描述。为了能够定位精确的会话参与者,并且也为了其他的目的,SIP允许创建基础的Network Hosts(叫做代理服务器),并且允许终端用户注册上去,发出会话邀请,或者发出其他请求。
SIP在建立和维持终止多媒体会话协议上,支持5个方面:
用户定位:检查终端用户的位置,用于通讯。
用户有效性:检查用户参与会话的意愿程度。
用户能力:检查媒体和媒体的参数。
建立会话:“Ringing”,建立会话参数在呼叫方和被叫方。
会话管理:包括发送和终止会话,修改会话参数,激活服务等等。
图2 双方视频通话连接示意图
如图2,双方视频通话的连接通过服务器进行建立,但只是开始建立的时候经过一次服务器,之后的通信则为双方的点对点通信。视频传输可以支持H.264的编解码,以保证视频图像的高清晰度,现在可以达到VGA(640x480)分辨率,跟电影DVD效果一样。产品支持传输编码格式匹配为双方能够支持的最优格式,如一方无法支持,则另一方向下兼容,直到匹配。
四、视频通话技术特性
(一)基于linux2.6内核的嵌入式操作系统,体系灵活开放。
(二)可扩展的视频通话系统中间件。
(三)视频通话:基于视频服务器的点对点、及服务器转发等多种模式的IP视频通话功能,大尺寸高清晰度。
(四)视频共享/对战游戏:利用IP摄像头,实现远程、多方的视频游戏共享/对战,如乒乓球等
(五)视频监控:通过互联网,实现远程的视频监控功能,可用于家居安防、子女(老人)看护等。
(六)自带休闲游戏、网络游戏、3D体感健身游戏。
(七)远程升级:通过互联网,随时升级最新固件、应用程序等,功能和服务随时更新,给消费者带来不断的增值。
(八)可扩展:远程教育、更多新的3D游戏、银行服务、可视对讲、网络运动会等服务及功能。
五、嵌入式软件平台
总体来讲,如图3为Linux的视频通话嵌入式软件平台框图。嵌入式软件交叉开发平台用于操作系统开发以及应用程序的开发,在开源工具基础上开发出自己的从内核到应用程序一整套工具,主要由引导装载程序、GNU工具链、内核及应用程序调试器组成。而嵌入式操作系统以Linux2.6内核为基础,对诸如内存管理、进程调度、多媒体等模块进行改进,增强内核在视频通信方面的稳定性及可靠性。视频通话系统,在相关开源项目的基础上进行改进,增强其功能及扩展性,使其支持SIP等协议主体,音视频信息采集,音视频压缩编解码,网络连接,多种编码格式的插件移植等。应用程序将具有易于操作的图形用户界面,及丰富的各种多媒体软件支持。
图3 基于Linux的视频通话嵌入式软件平台框图
项目最终成功完成了软硬件平台的开发,并成功研制了基于本项目操作系统的视频通话产品。同时针对产业化过程中出现的工艺、生产等各类问题,也通过在线调试、修正成功得到了解决。
参考文献:
[1]Campbellb,Rosenberg j,Schulzrinne h,et al.Session initiation protocol(SIP)extension for instant messaging[S].RFC3428,2002