飞鸽传书官方网站-dinput8 dll

scm解码器
2023年4月4日发(作者:猪猪猫操作系统下载)

文章编号:1002—8692(2oo6)O3—0021—03

Ch'euits&theh・applieations l_ \

~ …… … ,……一一 _|— ————— ——————— = ■■I

基于SoC平台的H.264解码器IP核设计 -实用设计・

邵振.郑世宝.杨宇红

(上海交通大学芯片与系统研究中心,上海200240)

【摘 要】介绍了SoC的发展概况和趋势,提出了一种基于SoC平台的H.264解码器优化设计架构。在设计中采取了灵活的帧场

自适应解码策略,对于总线时序需求较高的模块采用了流水线设计,对总线进行了时分复用;在可变长解码部分.对各个功能模块

进行了控制分离,这些优化除了可有效地减小时钟频率需求外.还可在一定程度上兼容其它的视额压缩标准.如MPEG一2。最后实

现了这个设计,并给出了实验结果。

【关键词】SoC平台;H.264解码器;IP核;总线竞争;去块效应滤波器

【中图分类号】TN919.81 【文献标识码】B

A H.264 decoder IP core based on SoC Platform

SHAO Zhen,ZHENG Shi-bao,YANG Yu-hong

qc and S ̄tem Research Center,Shanghai Jiaotong University,Shanghai 200240,China)

【Abstract】 js paper introduces the trend and general situation of SoC.We introduce an optimized and very practical H.264 de—

coder amhitecture too,which is based on a SoC platform.We use flexible Frame/Field adaptive decoding strategy.For those mod—

ules which require high bus cycle performance,pipeline design is used to perform the time division multiplexing of the bus;When

processing CAVLC,we separate the control of every function unit from each other,those optimization can effectively reduce the

clock frequency.This architecture is also compatible with some other video compression standards such as MPEG一2 to some de—

gree.Finally,we implement this design and experimental results are given.

【Key words】SoC Platform;H.264 decoder;IP core;bus competition;deblocking filter

1 引言

SoC作为系统级芯片,在集成电路的设计领域中越

来越显现出其优势。在互联网设备、消费电子产品、传感

器网络等应用中 sac都已经逐渐占据了主要地位。根据

中国半导体行业协会的统计报告,2001年时s0C在集成

电路市场中所占份额是l3%,到2007年,这个比例将会

增加到25%左右,而在SoC的应用中,消费类产品对其

依赖将会在40%左右。这将是个巨大的市场,因此产业

界都在不遗余力地创新研究和开发SoC。SoC的设计方

法,也从最初的由时间驱动发展到模块化驱动,以及最新

的即插即用型基于应用平台的设计,此设计最大的特点

就是对IP核的设计和复用。怎样设计IP使得其尽可能

地被更多的应用复用,怎样让IP核的灵活性和可验证性

得到最大的发展,都是目前亟待解决的问题。本文通过对

最新视频压缩标准H_264的lP核进行设计来达到上述

目的。

目前,国内外仅有少数的公司宣布已开发出了H.

264的解码芯片,而将H.264芯片整合于SoC并具体应

用的就更少了。AMPH10N公司于2004年4月公布了其

实现H.264 Main Profile的IP核CS7050。2005年,上海

富瀚微电子发布了能用于IP机顶盒的H_264解码芯片,

该芯片支持高清格式的视频实时解码。Ambarella公司13

前也宣布推出首款商用低功率高清H.264系统级芯片

SoC,以促成真正高图像质量混合相机与HD视频和高清

晰度静止图像的开发。表l中列出了几种主要的H.264

解码器IP核的指标比较。

表1 主流H.264解码器IP核比较

总的来说,现在市场上基于SoC应用的H.264解码

器还存在着诸多不足,主要有以下3个方面:

1)系统频率过高直接造成了功耗的增加;

21

维普资讯

22

2)大部分解码器还停留在商用阶段,缺乏能够大量

投产、广泛应用的产品;

3)缺乏对以往的视频压缩标准,特别是如今仍然广

泛应用的MPEG一2的支持,或者说在支持以往标准时的

复用度没有完全被开发。

造成上述状况的原因,一方面是由于架构的优化不

足,另~方面则是由于在一些解码器lP核的细节设计上

优化不足。本设计从这两方面进行了诸多优化,使上述问

题得到缓解。

2 H.264解码器架构

为了在完全忠实于标准算法的基础上开发出具有自

主知识产权的H.264的解码器IP核,笔者在保留原有的

MPEG一2的并行流水线架构和并行总线架构的基础上,

引入了参数缓存和参数寄存并行的架构,还进行了诸多

细节的优化设计,如图1所示。

图l优化的H.264解码器架构图

其解码过程如下:在处理器的控制下。通过主控接口

控制整个解码过程,PARSING模块读入码流,解出各个

全局或者局部参数,并根据其性质不同分别存人参数缓

存器或参数寄存器,用于指导整个解码过程。在进行了基

于上下文的可变长解码(CAVLC)之后,被解码的残差数

据经过反扫描后进行反量化,逆变换,然后送入运动估计

和运动补偿模块进行帧内或帧问操作,之后再进行去块

效应滤波(DEBLOCKING)。本文所介绍的解码器利用了

两个参考帧,所以在进行滤波后的数据要存入SDRAM,

一方面为以后的帧作参考帧,另~方面可以用于后处理

以及显示模块。从图1中可以看出,DEBLOCKING模块

基本上是和其它模块分离的,这是因为,此模块的特点是

运算量大、运算复杂度高,但是控制复杂度不高,所以被

直接挂在了总线上,通过总线同外部SDRAM进行连接

来满足大的数据吞吐率。在进行处理时,DEBLOCKING

模块先通过总线从SDRAM中读数据,滤波后再存入

SDRAM中,系统的总线宽度为32,由于滤波所需要的数

据吞吐量非常大,所以将滤波模块挂在总线上是必要的。

3 特性功能单元描述

PARSING过程是指除了CAVLC或CABAC外的熵

解码过程,由于反量化(IQ)、逆变换(IDCT)以及帧内编

码除了算法稍有不同外,架构方面没有太大的变化,因此

在这里不作具体介绍。

3.1 PARSING模块

PARSING模块的前导应当是一个桶形移位寄存器,

用于在解码某个参数后,通过移位使码流的高位始终与

下一个等解码语法元素对齐,从最初的视频压缩技术到

目前的高级视频压缩技术,都引入了熵编解码的过程。为

了能让本编码器有一定的通用性,在设计PARSING模块

时,笔者采用了一种全新的方式,即将各个语法元素分别

映射为一条命令,在解码之前,根据等解码码流的不同要

求,预先将不同的命令集存储在一个SRAM中。然后由

控制模块顺序读取各条命令并译码成各个语法元素的解

码有效信号,以此来指导各个语法元素的解码。同时,控

制模块也会根据先前解码出的语法元素的指示(如一些

标志位),来指导后面的语法元素的解码过程,产生诸如

循环、跳过等信号。

3.2基于上下文的可变长解码(CAVLC)

CAVLC可分成两部分,一部分是上下文的模型初始

化(CA),另一部分是可变长解码(VLC)。这两个子模块的

控制信号都来自于PARSING模块。这样的划分有利于解

码器的重用。因为在以往的编解码标准中,并没有上下文

这一部分,所以若要将此解码器用于MPEG一2的解码,

只需要省略掉上下文这个模块,再将可变长解码时所查

的表进行替换即可。本模块的最后一个步骤是重排和反

扫描,因为最初解码出来的是一个个的lUll和level,重排

的目标便是在各个level之间插入对应的lUl1个数的0,

而反扫描则是将由Zig-Zag扫描的数据转换成行扫描的

数据。

三耍鬟

可变长解

使能信号

非零系

数个数

连1个数

Trailing-

Ones

符号位

图2 CAVLC通用解码架构图

维普资讯

图2所示为CAVLC通用的架构图,图中用虚线框

和实线框分别指出了上下文计算过程和可变长解码过

程,这两个过程都有相应的使能信号用来分别控制两个

步骤。在进行可变长解码时,将依次解出coeff token,

TrailingOnes,Level

_

prefix,level

—SU侬X,zerosLefi以及

run

_before各语法元素,解这些语法元素的使能信号都由

状态机生成,最后将level和Fun进行重排和反扫描,得

到的残差数据进行后续操作。

在进行CAVLC的过程中,需要进行多次查表,有的

查表长度达到了l6位。为了提高查表的效率并且节省硬

件面积,笔者采用了分级的查表方式:先对高位进行查

表,然后根据不同的高位查表值再选择不同的低位查找

表。经过综合验证,这种方法大大节省了硬件的面积,并

且具有很好的通用性。

3.3去块效应滤波器(DEBLOCKING FILTER)

去块效应滤波器是MPEG-2和MPEG一4中所没有

的,这种自适应的滤波器可以有效地去除图像水平和竖

直边缘的块效应,其数据吞吐率和数据处理量都非常大。

在本文介绍的解码器中,笔者不但直接将滤波器同总线

相连接,而且还在滤波器的前级加入了很大的缓存以满

足其数据吞吐率的要求。

圉3去块效应滤波器框图

图3为Deblocking filter的结构图,整个滤波器被分

为两部分:一部分为边缘强度计算,另一部分为滤波。其

中,边缘强度计算需要用到大量的宏块参数,在处理时,

首先要将待滤波边两边的宏块参数从外部SDRAM读

出,由于总线为32位而参数有很多,则要花多个时钟分

别将各参数读入缓存。然后,再进行边缘强度的计算,这

一步与SDRAM只有读的关系。而滤波这一步则先要将

图像数据从SDRAM中读出,滤波后再写入SDRAM,由

ations

于总线宽度为32,一次可读入亮度或色度的4个采样数

据。在进行具体的滤波操作时,先分两次读入待滤波边两

边各4个数据,进行水平方向的滤波后,并不直接存回

SDRAM,而是先存入一个缓存,待一个块(4x4)进行完水

平滤波后,直接从缓存中按列读块的数据进行垂直滤波。

为了保持丽次滤波的一致性,在缓存中会进行转置操作;

为了解决在进行读取宏块参数时等待时间过长的问题,

本解码将滤波强度计算和滤波进行丁流水线处理,即在

进行本宏块的滤波时,由于滤波本身不占总线,则可对下

一宏块的参数进行读取以及对下一宏块的滤波强度进行

计算。

3.4 H.264解码器中的帧场自适应处理

为了进一步压缩数据,H.264的编解码中采用了更

加灵活的帧场自适应策略,所有的图像被分为逐行图像

和帧场自适应图像。在帧场自适应图像中,根据其内容的

不同,宏块可相应选用逐行方式或隔行方式编解码。由于

帧场自适应的引入,使得整个解码的操作复杂度和硬件

面积消耗增加了一倍以上。在本文介绍的解码器中,笔者

针对不同的模块,进行了不同的帧场自适应解码应对措

施。在去块效应滤波器中,由于此模块本身的运算量就比

较大,因此就把其帧场自适应数据读写放到了前级进行

操作。这样,不管是帧还是场,这一模块从SDRAM中读

出的数据始终是连续的,不必再组合一次,这样就大大节

省了时钟数,提高了效率。

3.5参数缓存与参数寄存并列的参数存储结构

为了更加灵活地配置各个模块,节省更多的时钟数,

笔者并没有将所有的参数都存入缓存再进行读操作,对

于部分参数,可以直接将其寄存一下,让功能模块实时地

读。对于除了去块效应滤波器的其它模块,由于其对各种

参数的需求量比较大,读的次数也不一定,这个时候就应

将这些参数存人缓存中,以便在任何时候都可以得到。在

对去块效应滤波器所需的一些全局参数的存储中,笔者

采用了以下的策略:当进行熵解码解到一些去块效应滤

波器所需的全局参数时,并不将其存入缓存,而是进行寄

存。这样,当这个参数变化时,寄存器中的值也会相应的

变化,但并不会引起滤波的顺序紊乱,因为当前寄存器中

的值一定是对应的当前滤波的一个序列或者图像。

4 实验结果

H.264的出现满足了日益增长的视频会议及移动微

型设备的视频流畅性需求。本文基于SoC平台的H.264

解码器优化设计正是基于上述目的。用Verilog HDL对

上述各架构进行了实现,为了便于对比仿真结果,在前期

还用SystemC语言在JM8.1a参考软件的基础上对去

(下转第27页)

维普资讯

了多片大容量的NAND FLASH。

4总结

根据以上分析可知,各种具体接口的性能如表1所

示。

表1 嵌入式系统常用通信接口性能比较

堕:幽 .罂

由表1可知,在短距离的双核通信接口电路中,HPI

接口具有接口简单,成本低,传输速度快等特点。特别适

合在数据采集、图像处理等领域的双核嵌入式系统中应

用。

参考文献

…1沈涛,薛文通,宋建社.HPI接口技术研究与应用【JJ.电子技术.2004

(11):18—2O.

【2】王义军,杨忠亮.一种灵活控制的RS232-RS484转换器的设计与实

现【J】.东 t电力学院学报.2004,24(6):39-42.

『3】王念旭.DSP基础与啦用系统设计【M】.北京:航空航天大学出版社.

2oo1.

【4】王兰,王景存,杨君.单片机系统接人Internet方法的探讨【J】.电子技

术,2002(8):37 ̄39. ◇

作者简介:

吕鸿波。砸士研究生.主研圈像和视频处理及DSP应用。

责任编辑:蔡国良 收稿日期:2006--01-06

1}●}1E(1E(●}1}:●}●}●}●}1E(●}1E(1E(●}1E(●}1E(●}1}1E(1}1E(●}1E(1E(1E(1E(1E(1E(1E(●}一. 1E(1E(1}1E(..E(● 一.}..E(1}1}1}●}1}..E(

(上接第23页)

块效应滤波器部分进行了交易级建模(TLM),笔者认为这

是一种非常简便和非常有效的模型。在选定了SMIC

180 nm CMOS工艺库的前提下,用Design Compiler对架

构进行了综合,综合结果表明最长路径延迟约为8.012

I1S,也就是说此设计的架构最高运行频率为120 MHz左

右。最长的路径发生在PARSINC过程中,因为其中涉及

到一些参数的实时计算。实际上,由于整个系统的瓶颈发

生在PARSING部分,而对于标清来说,PARSING的频率

需求完全不必要达到120 MHz,所以可根据需要对频率

进行降低,以节省功耗。本解码器的输出数据分辨率为

D1,也就是4CIF(702x576),输出格式Y:Cb:Cr为4:2:2。

对于解码,笔者采用了两块l6 Mbit的片外SDRAM,用

来存储参考帧的数据、运动补偿后的帧数据、去块效应滤

波器所需的各宏块的参数数据等。

5 小结

本文提出一种优化的H.264解码器架构,该架构完

全可以被嵌入到SoC平台内,可加入音频处理模块、视

频后处理模块以及其它一些功能模块,以形成~个完整

的功能系统。本文介绍的解码器架构,在熵解码的语法元

素分离,以实现通用性、运动补偿的分时总线复用以及去

块效应滤波器的缓存分配等方面,对节省时钟,提高频率

和降低功耗都有很明显的作用。这些架构思想还可以很

方便地被移植到其它系统中,同时,本文所介绍的解码器

在某些方面还可有更大的优化余地,比如说,在外部存储

器复用的仲裁机制中,如果允许更高复杂度的话,可采用

更加复杂的仲裁机制并进一步提高带宽(比如说从32位

提高到64位)以得到更加优化的系统。对高清(1 920xl

o8oi)视频的实时解码在本设计中没有涉及,因为其不但

需要更高的频率,更需要在一些细节方面的更高级操作,

这些都是以后努力的方向。

参考文献

【l】ITU-T Rec.H.264/ISO/IEC l 1496-10.Advanced Video Coding[S]+

Final Committee Draft,Document JVT-F100,2002+

【2]2 KANG Hae-yong,JEONG Kyung—ah, BAE Jung—yang,et a1.

MPEG4 AVC/H.264 Decoder with Scalable Bus Architecture and Dual

Memory Controller[C].ISCAS 04.Proceedings of the 2004 International

Symposium Oil Volume 2,23-26 May 2004 Page(s):II-145-8 Vo1.2.

【3】HUANG Yu-wen,CHEN To-wei,HSIEH Bing—yu,eL a1.Arehi-

tecture Design for Deblocking Filter in H.264/JVT/AVC[C].ICME 03.

Proceedings. 2003 Intemational Conference on Volume l, 6-9 july

2003 Page(B):I-693-6 vol+1 Digital Object Identifier 10.1 109/ICME.

20o3.1221012.

『4】白向晖,王勇,郑世宝.H.264中运动估讣算法的一种硬件实现架构

【JJ+电视技术,2oo4(1 1):17-19.

【5】杨宇红,王峰,董威,等.MPEG一2 MP@HI 高清实时解码器的VLSI

设计实现『JJ.高技术通讯,2005,15(9):1-6.

作者简介:

邵报(1983一).硕士生。研究方向为视蛹处理及 成电路设计;

郑世宝(1959一).教授。博士生导师。研究方向为网络多媒体技术、

数字电视、网络电视殛ASIC芯片设计;

杨宇红(1968一】,女,博士.研究方向为VLSI设计、视频确解码殛

视频后处理。

责任编辑:张家豪 收稿El期:2006-01-04

No.3 2006(Sum No.285)\帅 27

维普资讯

更多推荐

scm解码器