高清视频解码器

２６

电罄与匣用

文章编号：１００２—８６９２（２００７）１２—００２６—０２

一种ＡＶＳ高清视频解码器的设计

郑 思，朱兰娟，刘佩林

（上海交通大学电子信息与电气工程学院，上海２００２４０）

・实用设计・

【摘 要１提出了一种在１５０ ＭＨｚ工作频率下实现ＡＶＳ高清视频解码器的设计方案，对性能要求进行了分析，指出了解码器设计

需要解决的问题，给出了整体设计架构。对各关键环节的优化提出了设计方案，并在ＦＰＧＡ上验证该解码器。

【关键词】ＡＶＳ标准；高清；解码器

【中图分类号】ＴＮ９１９．８１ 【文献标识码】Ａ

Ｄｅｓｉｇｎ ｏｆ ａｎ ＡＶＳ ＨＤ－ｖｉｄｅｏ Ｄｅｃｏｄｅｒ

ＺＨＥＮＧ Ｓｉ，ＺＨＵ ｌ￣．－－ｊｕａｎ，ＬＩＵ Ｐｅｉ—ｌｉｎ

（Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００２４０，Ｃｈｉｎａ）

【Ａｂｓｔｒａｃｔ】Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＡＶＳ ｈ Ｊ ｇｈ ｄｅｆｉｎｉｔｉｏｎ ｄｅｃｏｄｅｒ ｗｉｔｈ ｔｈｅ ｏｐｅｒａｔｉｎｇ ｆｒｅｑｕｅｎｃｙ ｏｆ １５０ ＭＨｚ．Ｂａｓｅｄ

Ｏ１１ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｐｅｒｆｏｒｍａｎｃｅ ｒｅｑｕｉｒｅｄ ｔｈｅ ｐａｐｅｒ ｐｏｉｎｔｓ ｏｕｔ ｔｈｅ ｂｏｔｔｌｅｎｅｃｋｓ ｔｈａｔ ｓｈｏｕｌｄ ｂｅ ｓｏｌｖｅｄ ａｎｄ ｇｉｖｅｓ ｔｈｅ ｏｖｅｒａｌｌ ｄｅｓｉｇｎ

．

Ｔｈｅｎ ｔｈｅ ｐａｐｅｒ ｐｒｏｖｉｄｅｓ ｓｏｌｕｔｉｏｎｓ ｆｏｒ ｔｈｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｋｅｙ ｍｏｄｕｌｅｓ ａｎｄ ｖａｌｉｄａｔｅｓ ｔｈｅ ｄｅｃｏｄｅｒ ｏｎ ＦＰＧＡ

．

【Ｋｅｙ ｗｏｒｄｓ】ＡＶＳ；ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ；ｄｅｃｏｄｅｒ

１ 引言

ＡＶＳ是我国自主开发的数字音视频编解码技术标

准，在编码效率和实现复杂度上取得了很好的平衡。高清

视频解码数据量大，计算复杂，对解码器性能要求极高，

同时，为降低解码器的功耗及资源消耗，要求在相对较低

的频率下，以较小的硬件代价实现设计要求［１１。

２ 性能分析与整体设计

笔者设计的解码器能在１５０ ＭＨｚ下，实时解码３０ 、

分辨力为１ ９２０ｘｌ ０８０的高清码流；支持４：２：０，４：２：２格式，

支持逐行视频序列和隔行视频序列，全面支持帧内预测、

帧间预测及双向预测，最多同时使用２个参考帧；视频输

出支持ＣＣＩＲ６５６，６０１标准。将该解码器设计为一个ＡＭＢＡ

从设备，方便与外部设备进行数据交互，可移植性高。

解码器需解决的主要问题是提高解码速度和降低对

外存储器访问的带宽。为提高解码速度，节约资源，必须

设计一套高效的流水机制。在１５０ ＭＨｚ频率下，平均每

个宏块解码占用周期数上限ｃ：Ｔ 一６１２．７，

也就是说，在进行宏块级流水划分时，必须保证耗时最大

的一级解码１个Ｂ帧宏块所占周期数应低于６１２，更理

想的情况是低于６００，以留有一定裕量。帧间预测包括计

算当前宏块的ＭＶ、进行像素插值、取参考像素点等工

作，因此，这一级是宏块级流水的瓶颈所在。

ＡＶＳ需存储１帧当前显示帧，１帧当前解码帧和２

帧参考帧。对于４：２：２格式的码流，每帧所需空间为１ ９２０ｘ

１ ０８０ｘ２—４ Ｍｂｙｔｅ，共需１６ Ｍｂｙｔｅ的存储空间，另外，每

电视接球 ｉ ７年第３ 卷第 鬲 ６

个８ｘ８块有１－２个２２ ｂｉｔ的ＭＶ，需６ ｂｙｔｅ的存储空间，因

此存储ＭＶ共需 一２００ Ｋｂｙｔｅ，外存储器

需选择为３２ Ｍｂｙｔｅ。为节省芯片引脚，应选用ＤＤＲ而不

是ＳＤＲＡＭ。最坏情况下对外存储器的总带宽请求为

矍 田 设内存接口单元

广＿ｈ———

竺竺竺 竺竺竺 一．＿

（ＭＩＵ）管理的效ｌ１ ．垒 呈垒 ！ ！堡旦 ｝ ｆ ＾ ｆ

｝章—ｅａ￣ｅｒｂｉｔ ＤＤＲ 窜 ３２ 存储ｌ ｌ Ｊ

器所能达到的带｛ 豳Ｉ

宽为（假设ＤＤＲ ｆ臣 臣 臣 习 Ｉ Ｊ

工作于１３３ ＭＨｚ）｛厂 ］— — ｌ

１３３ｘ３２ｘ２＋８ｘ６０％ｆ＝二二二二 Ｊ 』＝二 Ｉ

一６３８ Ｍｂｙｔ。，可 ， —— —＾ｌ Ｉ

满足要求。解码器厂

整体设计如图１ 图１ 系统架构

所示。

３ 解码器采用的关键技术

３．１高效分级流水线机制

在典型的流水划分中，全宏块级流水能达到最快的

解码速率，但各个流水级间的缓存需求巨大。全块级流水

虽能最大限度地降低缓存消耗，却由于各级流水对变长

解码模块的依赖而导致等待严重，降低了解码速率［引。本

解码器采用分级流水方式，如图２所示。宏块级流水第１

级由变长解码（ＶＬＤ）、反变换反量化（ＩＱＩＴ）及帧内预测

（Ｉｎｔｒａ）组成，帧间预测（Ｉｎｔｅｒ）为第２级，第３级是块效应

维普资讯

滤波（Ｄｅｂｌｏｃｋ）。变长解码为块级流水的第１级，反变换

反量化与帧内预测为第２级。流水线级间以乒乓ＲＡＭ

作为数据交换的载体，设计一个流水控制模块来调度各

模块间的流水切换。针对一些在后续模块使用的头信息，

在ＶＬＤ模块解码完成后放人ＦＩＦＯ中，以较小的存储空

间代价换来较快的流水切换。变长码解码模块比反量化

反变换模块、帧内预测模块、帧间预测模块提前处理１个

宏块，比去块效应滤波模块提前处理２个宏块，近似达到

了理想流水线时序的要求。

ＶＬＤ

ＩＱＩＴ

Ｉｎｔｒａ

Ｉｎｔｅｒ

Ｄｅｂｌｏｃｋ

ＨｅａｄＩ ＢｌｋＯｌ Ｂｌｋ１ Ｉ Ｂｌｋ２ｌ Ｂｌｋ３ｌ Ｂｌｋ４ｌ Ｂｌｋ５

＼ Ｉ ＢｌｋＯＩ Ｂｌｋ１ Ｉ Ｂｌｋ２ｌ Ｂｌｋ３Ｉ Ｂｌｋ４

＼ ｌ ＢｌｋＯｌ Ｂｌｋ１ ｌ Ｂｌｋ２Ｉ Ｂｌｋ３ｌ Ｂｌｋ４

ＭＢ１ ｌ ＭＢ２ ｌ ＭＢ３

ＭＢ１ ＭＢ２｝ＭＢ３

ＭＢ１ Ｉ ＭＢ２ ｌ ＭＢ３ ｌ

Ｊ ＭＢ１ Ｉ ＭＢ２ Ｉ ＭＢ３

ｌ ＭＢ１ ｌ ＭＢ２ Ｉ ＭＢ３

图２分级流水线

３．２分任务调度的内存接口单元（ＭＩＵ）

视频解码过程中，需频繁地将数据写入和读出外部

存储器，访问ＤＤＲ ＳＤＲＡＭ时，需先激活要访问的存储

块，并锁存行地址，才能发读写命令。各个存储块间互相

独立，每个存储块只能有１行打开，要打开新的行必须关

闭原来的行。如果连续２个请求在同一存储块的不同行，

则不得不执行“关闭一激活一读取”的操作。同时，ＤＤＲ

ＳＤＲＡＭ有多个固定的时间参数，规定了命令之间必需的

时间间隔，而且，每一行都必须在一定时间间隔内刷新１

次。为解决上述问题，本文采取以下措施：

１）进行合理的地址映射，使得连续访问的数据尽量

存于同一行中。如图３所示，以８个像素点（共６４ ｂｉｔ）作

为存取基本单元，将整个图像划分为若干个宽１６ＡＵ、高

６４的矩形，每个矩形映射到４个存储块上，每个存储块

图３ 图像到ＤＤＲ地址映射的

基本矩形

有２５６列（每列６４ ｂｉｔ），

这样就把１个８ＡＵ￣３２

的块存储到１个存储块

上的一行中，相邻３块

存储在不同存储块中，

很大程度上减少了“关

闭一激活一读取”的操作。

２）将每个任务划分

为多个子任务，将处于相同存储块且不跨行的多个读写请

求划分为相同的子任务。将相同的子任务一起执行，避免

了频繁的跨存储块、跨行读写，以减少“关闭一激活”操

作。码流测试表明，ＭＩＵ的时间利用率超过７０％，满足

５８０ Ｍｂｙｔｅ／ｓ的最坏带宽请求。

Ｃｊ－．（．川 ｔｈｅｌｒ ａｐｐｌｉｅａｔｉｏ，ｓ

３．３插值像素预取机制

在带宽请求中，运动补偿模块占主要部分，约

３９０ Ｍｂｙｔｅ／ｓｔ２］，引入预取机制可进一步降低带宽请求，减

小ＭＩＵ的压力。文献［２】的统计结果表明，１个宏块的后３

个８ｘ８块所需插值的很多像素点落在第１块的参考像素

周围，如果在读人第１块的同时顺带读人周围的像素点，

可减少再次访问外存储器的概率。但是，预取面积并非越

大越好，必须综合考虑命中率、资源消耗、实现复杂度等

因素。通过对２５个码流的统计表明，在将预取面积选定

为块１的参考范围并横

向、纵向延伸８个像素

（见图４）时，可在效率和

资源消耗上取得平衡。亮

度带宽减少２１．０％，色度

带宽减少２７．８％，平均后

整个运动补偿带宽可以

减少约２３％。采用预取机

制后，最坏情况下存储器

接口的带宽总和减少到

４９０ Ｍｂｙｔｅ／ｓ。

图４预取区域

３．４可变流水级数的插值模块

在解码３０ ｆ／ｓ、分辨力为１ ９２０ｘ１ ０８０的高清码流

时，为保证视频播放的实时性，最坏情况下每秒需对

ｌ ９４４ ０００个８ｘ８的亮度块进行插值操作。为此，笔者设

计了一种级数可变的流水线结构，针对不同目标位置的

插值需要，自动选择５～８级流水线，执行包括输入数据延

迟、行方向滤波、列方向滤波、Ｊ点滤波、数据整理、１／４像

素滤波、输出通路选择和限幅等操作。该方法使得数据的

输入、处理和输出同时执行，避免了空闲等待、数据转置

和存放中间变量的开销，在提高运算速度的同时减少了

硬件资源的占用。使用该方法实现插值器，能有效控制芯

片面积和系统时钟频率凹。

３．５资源复用的反变换，反量化／反扫描

ＩＱＩＴ模块需对像素块中每个系数逐个做二维反变

换，为节约资源，反变换／反量化模块将二维变换分拆成２

个一维变换，重复利用同一个一维变换核，先对像素块每

行做一维反变换，再对其结果的每列做一维反变换。再将

转置寄存器堆作为共用存储器阵列，并行处理游程解码、

反扫描、反量化，将反扫描、反量化和反变换融合在一个

流水线处理单元中，以节省存储空间，加快处理速度［５１。

４ 仿真与ＦＰＧＡ验证结果

该解码器用Ｖｅｒｉｌｏｇ ＨＤＬ语言实现，使用Ｓｙｎｐｌｉｆｙ和

Ｉｓｅ作为综合与布局布线工具，经Ｘｉｌｉｎｘ Ｖｉｒｔｅｘ４ ＸＣ４ＶＬ）（８０

（下转第３０页）

Ｎ０．１２ Ｖｏ１．３１ ２００７（Ｓｕｍ Ｎｏ．３０９｝、ＶＩＩ）Ｂ｝聃脯壬 Ｉｌ№ ２７

维普资讯

［： 重量复癣 … …一

换过程实现，此时组逻辑左移位指令ＰＳＬＬＷ需要变成组

算术右移位指令ＰＳＲＡＷ。

３ 实验测试

测试使用ＱＣＩＦ的Ｓａｌｅｓｍａｎ，Ｍｏｂｉｌｅ等视频序列来进

行，其中，Ｍｏｂｉ１ｅ序列为物体的剧烈运动，Ｓａｌｅｓｍａｎ为物

体缓慢的移动。

表１，表２分别列出了不同视频序列在代码优化后，

利用ＳＳＥ２对ＡＶＳ—Ｍ编码参考软件ＷＭ３．０进行优化后

的编码结果。从实验结果可见，对于不同类型的序列，其

编码效率都有很大的提高。表３显示了优化前后的编码

速度差异。

表１优化后Ｍｏｂｉｌｅ序列的编码数据

表２优化后Ｓａｌｅｓｍａｎ序列的编码数据

从以上结果可以看出，经过ＳＳＥ２优化及部分Ｃ代

码的调整，程序的运行效率有了极大的提高。

４ 小结 表３ 优化前后的编码速度比较

从ＳＩＭＤ技术的

原理出发，对ＳＳＥ２

指令集作了简单介

绍。在此基础上提出

了对于编码器中运动搜索与估计的ＳＡＤ计算，亚像素插

值，整型ＤＣＴ变化与反变化等模块的ＳＳＥ２优化。实验证

明，优化取得了较好的效果，编码器的运行速度有了很大

的提高

参考文献

［１］张颖，王兴国，刘济林．基于单指令多数据流技术的视频信息处理

优化［ＪＪ．电视技术，２００３，（１１）：４０—４３．

［２］李蕊，陈浩，姜昱明．ＳＳＥ在多媒体数据处理中的应用【ＪＪ．计算机应

用，２００２，２２（７）：９９—１０３．

［３】Ｉｎｔｅｌ ｃｏｒｐｏｒａｔｉｏｎ．ＩＡ一３２ Ｉｎｔｅｌ ａｒｃｈｉｔｅｃｔｕｒｅ ｓｏｆｌｗａｒｅ ｄｅｖｅｌｏｐｅｒ Ｓ

ｍａｎｕａｌ，ｖｏｌｕｍｅ ｌ：ｂａｓｉｃ ａｒｃｈｉｔｅｃｔｕｒｅ［ＥＢ／ＯＬ］．￣２ｏｏ５一ｌ２－３１１．ｆｔｔｐ：／／

ｄｏｗｎｌｏａｄ．ｉｎｔｅ１．ｃｏｍ／ｄｅｓｉｇｎ／Ｐｅｎｔｉｕｍ４／ｍａｎｕａｌｓ／２５３６６５ １７．ｐｄｆ．

［４］Ｉｎｔｅ１．Ｂｌｏｃｋ－ｍａｔｃｈｉｎｇ ｉｎ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｕｓｉｎｇ ｓｔｒｅａｍｉｎｇ

ＳＩＭＤ ｅｘｔｅｎｓｉｏｎ ２（ＳＳＥ２）ｖｅｒｓｉｏｎ ２．０［ＥＢ／ＯＬ］．［２０００－０７－３１］．ｈｔｔｐ：／／

ｃｅｄａｒ．ｉｎｔｅ１．ｃｏｍ／ｍｅｄｉａ／ｐｄｆ／ａｐｐｎｏｔｅｓ／ｓｓｅ２／ｗ

—ｍｅ

—

ａｌｇ．ｐｄＬ

【５］Ｉｎｔｅ１．Ｕｓｉｎｇ ｓｔｒｅａｍｉｎｇ ＳＩＭＤ ｅｘｔｅｎｓｉｏｎ ２（ＳＳＥ２）ｔｏ ｉｍｐｌｅｍｅｎｔ ａｎ

ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ ｖｅｒｓｉｏｎ ２，０［ＥＢ／ＯＬ］． ［２００４－１２—０８］．

ｈｔｔｐ：／／ｗｗｗ．ｉｎｔｅ１．ｃｏｍ／ｃｄ／ｉｄｓ／ｄｅｖｅｌｏｐｅｒ／ａｓｍｏ－ｎａ／ｅｎｇ／ｄｃ／ｃｏｄｅ／ｏｐｔｉｍｉｚａｔｉｏｎ／

１９３０１４．ｈｔｍ．

作者简介：

钱金法（１９６２一），副教授．研究方向为信号与信息处理；

赵力（１９６０－）．教授，博士生导师．研究方向为信号与信息处理。

责任编辑：许盈 收稿日期：２ｏ０７—１０－－１９

（上接第２７页）

表ｌ 各模块的资源占用情况 型ＦＰＧＡ验证，在５４

ＭＨｚ频率上实现了

实时ＳＤ码流的播放，

在７４．５ ＭＨｚ以１５￡／ｓ

的速率通过了高清码

流的播放验证。各模

块的逻辑占用情况如

表１所示。

总体来说，该解

码器能在较低频率

和较少的资源占用条件下实现了ＡＶＳ高清视频播放，具

有很好的可移植性，可广泛应用于数字电视、机顶盒、

ＩＰＴＶ、移动视频终端和互联网流媒体等方面。

参考文献

［１］中华人民共和国国家质量监督检验检疫总局，中国国家标准化管

电视技球１２００７￣３１卷第１２期（总第３０９期ｌ

理委员会．ＧＢ／Ｔ２００９０．２—２００６信息技术先进音视频编码第２部分：

视频［Ｓ］．北京：中国标准出版社，２００６．

【２］陆泳，张文军，刘佩林．多标准视频硬件解码器的存储器地址映射

方法【Ｊ］．电视技术，２００６（１２）：３９－４２．

［３］孙楠，刘佩林．用于ＡＶＳ视频解码器的高效分级流水线机制［ＪＪ．

电视技术，２００６（１ １）：３５—３７．

［４］赵策，刘佩林．ＡＶＳ游程解码、反扫描、反量化和反变换优化设计［ＪＪ．

信息技术，２００７（２）：５４—５７．

［５】ＺＨＯＵ Ｄａｊｉａｎｇ，ＬＩＵ Ｐｅｉｌｉｎ．Ａ ｈａｒｄｗａｒｅ—ｅｆｆｉｃｉｅｎｔ ｄｕａｌ—ｓｔａｎｄａｒｄ

ＶＬＳＩ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＭＣ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎ ＡＶＳ ａｎｄ Ｈ．２６４［Ｊ１． ＩＥＥＥ

ＩＳＣＡＳ ２００７．２ｏｏ７ｆ５）：２９１０－２９１３．

作者简介：

郑思（１９８２－），硕士生，主研多媒体芯片设计；

朱兰娟．女，副教授，主要研究方向为嵌入式系统设计；

刘佩林．女．教授。主要研究方向为多媒体芯片设计。

责任编辑：任健男 收稿日期：２００７－０９—２５

维普资讯