多媒體系統晶片之應用與技術架構─以MPEG-4為例

多媒體系統在資訊傳播與記錄上的應用已日趨普遍，且成為訊息傳播的主流。在多媒體的傳輸當中，視訊佔了很大的比重。由於視訊資料量十分龐大，在實際的儲存與傳輸上都有困難，因此已有許多壓縮標準被制訂出來。如應用在VCD的產業上，成為VCD的標準的MPEG-1；應用在於DVD和HDTV上，現有的DVD也已經成功應用的MPEG-2；應用在ISDN上的H.261；與應用在GSTN上的H.263和H.263+等等。

其中，國際標準組織（ISO）於1998年底完成制定了一個新的視訊壓縮標準，也就是MPEG-4。在這個標準之下，包含了許多新的功能，目的就是為了支援在新的傳輸環境下，有更好的視訊影像傳輸效果及更加生動的功能，而相對的，MPEG-4的複雜度也較以往的其它標準為高。因此，我們就以MPEG-4為例，介紹一個多媒體系統晶片的應用以及技術架構。

運算量分析

在過去，許多視訊標準在各種軟體與硬體的平台上能夠有效的實現，是奠基於運算資源能否有效利用與整合分配。因此，需要對MPEG-4演算法做詳盡完整的運算特性與複雜度分析。基於這些分析，才能對運算資源做有效規劃，以取得最佳的設計取捨，並決定後續實作的方式。

(表一)及(表二)為現有對MPEG-4 Core Profile Level 2這樣的規格之下，MPEG-4所需要的運算資源，這運算資源包含有資料處理運算（Data Processing）與記憶體存取量（Data Transfer）。首先，可看出MPEG-4編碼的運算遠遠大過於解碼的運算，且在即時的應用下，以現今常見的高階運算處理器也很難提供如此巨額的運算需求。此外，在編碼演算法中，最主要的運算就是全搜尋法移動估計運算（Full Search Motion Estimation；ME）以及二元形狀編碼法運算（Shape Coding），佔去整個視訊編碼運算約90％的運算負載。

其中二元形狀編碼是在MPEG-4中特有的運算，而其它的部份如以MB為基本單位的移動補償（Motion Compensation；MC）、以Block為基本單位的離散餘弦轉換（Discrete Cosine Transform；DCT）、以Bit為基本單位不定長度編碼 （Variable Length Coding；VLC）等，所佔的運算量都不大。(表三)為這些主要運算的特性。根據這些特性，在架構設計時，即可將資料平行化（data parallelism）、運算管線化（task-pipelining）、硬體定址（hardware addressing）與資料重用（data reuse）等技巧套用上去，以實現MPEG-4視訊編解碼系統。

表一　MPEG-4視訊編碼演算法需求的運算資源

Tools	Data Processing （unit: MOPS）	Data Transfer （unit:Mbytes/sec）
ME （-16~+15 full search）	15824.2（76.63%）	11933.982（72.24%）
Shape Encoding      （-16~15fullsearch）	4042.89（19.57%）	3864.55（23.4%）
MC	34.696（0.17%）	41.824（0.25%）
DCT&IDCT	234.0261（1.13%）	49.2687（0.298%）
Q&IQ.	24.634（0.12%）	32.846（0.198%）
VOP Formation	462.6（2.24%）	583.936（3.54%）
Padding	21.29（0.10%）	11.918（0.072%）
VLC	5.72656（0.02%）	0.25（0.0015%）
Total	20650.103（100%）	16518.575（100%）

表二　MPEG-4視訊解碼演算法需求的運算資源

Tools	Data Processing （unit: MOPS）	Data Transfer （unit: Mbytes/sec）
Shape Decoding	227.727 （56.12%）	104.183 （52.60%）
MC	34.696 （8.55%）	41.824 （21.12%）
IDCT	102.644 （25.30%）	21.609 （10.91%）
IQ	13.684 （3.37%）	18.246 （9.21%）
Padding	21.29 （5.25%）	11.918 （6.02%）
VLD	5.727 （1.41%）	0.25 （0.012%）
Total	405.768 （100%）	198.03 （100%）

表三　MPEG-4視訊編解碼系統之主要運算特性

Operation	Computational Characteristics
ME	Regular data flow, high data locality
Shape Coding	BME: bit-level parallelism, regular data flowOthers: bit-level processing of high data locality
Block Operation	High data locality at MB level, rich DSP computations
Bitstream Operation	Irregular bit/bitstream operations, complex control flow, rich conditional branch

移動估計（Motion Estimation）

ME的設計已被廣泛的討論於許多文獻中，其具有高度資料平行運算的特性。由於ME的演算法有全搜尋法（Full search）與快速演算法（Fast algorithm）二大類，此二者在搜尋時所需資料的順序大不相同，因此也產生出各自適合的架構。對全搜尋法，常見的為systolic array的架構；但對於快速演算法，架構上的設計就需要搭配演算法，以得到較高的效率。近年來的作法，是針對不同的應用，以不同的演算法來處理，因而產生了一種混合式的設計，是可在全搜尋法與快速演算法間作切換。

此種作法共分成三個處理程序，第一級為Pattern Generation，根據不同的Search Pattern來產生適當的搜尋位置，如：在全搜尋法時可採用螺旋狀（Spiral Pattern），而在快速演算法（例如Diamond Search）時為Diamond Pattern，並且將此搜尋位置送入第二級FIFO，以提高第三級的硬體使用率。第三級為Distortion Calculation，使用加法樹來計算Distortion並且累加成為SAD值。此外，由於ME需要存取大量的資料，因此如何減少對記憶體存取便成為一個重要的課題，一般的作法會是以記憶體的重新排序或是其它技巧以達到資料重覆使用的目的。

形狀編碼（Shape Coding）

二元形狀編碼法為MPEG-4視訊標準中用以支援物件導向功能最為核心關鍵的一個技術，因其內含大量的位元層次運算以及大量的資料交換特性，導致在精簡指令集計算機運算上的瓶頸。在設計上可採用延遲線模型（Delay Line Model）來實現，利用一些暫存器及適當安排的資料排程，便可達到資料重用的目的，以減少對記憶體的存取。另外，對於CAE（Context Arithmetic Encoder）的運算，需要因應不同的Template與不同Block 大小（16×16、8×8、4×4），因此可重組化（configurable）的功能在此是十分需要的。在Arithmetic Coder的部份，則是需要注意其輸出效率，避免使其成為瓶頸。而在整個形狀編碼的運算中，主要是針對其資料流的安排、資料重複使用的方式來增加運算的平行度與減少資料的傳遞。

Block-level Operation

Bock-level的運算包含了DCT/IDCT、量化（Quantization；Q）/Inverse Quantization（IQ）、與在MPEG-4中出現的AC/DC Prediction，這些運算都是以8×8的block為處理的單位。如(圖一)所示，灰色的部份就是Bock-level的運算。我們可以發現，由於DCT/Q/IQ/IDCT形成一個Coding Loop，而MC的輸出同時必須給不同時間點的A與B。如果Coding Loop的Latency過長，就需要較多的緩衝區來儲存MC的輸出。這就是在設計上的一個取捨，必須根據真實的應用來作調整。使用兩套的DCT與IDCT模組可以達成最短的Coding Loop Latency，但是會造成成本的增加。因此有許多不同的排程方式被提出來。另外一個值得注意的是，Q/IQ與AC/DC Prediction都有類似的乘除器的Data Path。因此，藉由適當的排程，可達到二者Data Path的共用，進一步節省所需的成本。

《圖一　Block-level Operation 流程圖》

系統架構

實現一個完整的多媒體系統需同時兼顧運算能力、可調性、與未來擴充性。實現的方式可以用純軟體，或是純硬體的設計，但都有其缺點。融合了硬體與軟體的特性與優勢，平台架構設計（Platform-based Design）是包含一套處理器與記憶體的完整系統，針對適合於硬體加速的演算法以週邊的方式掛在匯流排之上，經由定義好的協定，達成軟體與硬體的共同工作（HW/SW Co-Design）。由於兼具軟、硬體的實現平台，使適合於軟體實現的演算法由軟體實現，而需要硬體加速的部分由硬體來實現，可達成低成本、高效能、且具高度的延伸性，因此相當適合於實現一個多媒體系統。

(圖二)即為一個MPEG-4編碼系統的架構圖，包含了RISC Processor、二條匯流排（RISC Bus與Data Bus）、DMA（Direct Memory Access）、MEM IF（Memory Interface）、與其它視訊編碼模組。RISC Processor可負責整個編碼流程的控制，與部分具有較低運算量的演算法，如：編碼的模式之決定（Mode Decision）、移動向量的編碼（Motion Vector Coding）、移動向量的預測 （Motion Vector Prediction）等。RISC Processor可透過RISC Bus來驅動每一個硬體電路模組，並且可以控制DMA模組，在適當的週期時間，讀取外部的資料至Data Bus上，或是將Data Bus上的資料寫入至外部記憶體。所有的專屬硬體單元都具有一個Wrapper，負責將RISC Bus上的訊號解譯（Address Decoding）並且可負責作資料型式的轉換。

《圖二　系統架構圖》

結語

在本文中，我們簡單說明了一個多媒體系統晶片之應用與技術架構。以MPEG-4這個標準為例，從系統分析，模組的特性與設計觀念，到系統整合，都有概括的介紹。多媒體的標準日新月異，應用的層面也在不斷的擴大。展望未來，相信如何使得整個系統消耗最低的功率卻提供最多樣化的功能，將是設計者主要的目標，而「低功率」與「可重組化」將是二個主要的設計方向。

（作者陳良基為台大系統晶片中心研究教授、張永基為台大電機系博士班研究生）

參考文獻

[1]MPEG-4 Video Group. Generic Coding of Audio-Visual Objects: Part 2 - Visual 14496-2, ISO/IEC JTC1/SC29/WG11 N2502a, FDIS, Atlantic City, Oct. 1998.

[2]ISO/IEC JTC1 IS 11172, Coding of Moving Picture and Coding of Continuous Audio for Digital Storage Media up to 1.5Mbps, 1992.

[3]ISO/IEC JTC1/SC29/WG11 Draft CD 13818-2, General Coding of Moving Pictures and Associated Audio, ITU-T Recommendation H.262 Committee Draft, 1994.

[4]ITU-T Recommendation H.263: Video coding for low bit rate communication, version 2, Jan. 1998.

[5]W.-M. Chao, Y.-C. Chang, C.-W. Hsu, and L.-G. Chen. "Platform Architecture Design for MPEG-4 Video Coding", in Proceedings of 2003 IEEE International Conference on Image Processing （ICIP2003）, Barcelona, Spain, September 2003

[6]H.-C. Chang, Y.-C. Chang, Y.-C. Wang, W.-M. Chao, and L.-G. Chen, "VLSI Architecture Design of MPEG-4 Shape Coding," IEEE Trans. on Circuits and Systems for Video Technology, vol. 12, no. 9, pp.741-751, September 2002.

[7] C.-W. Hsu, W.-M. Chao, Y.-C. Chang, and L.-G. Chen, "Texture Coder Design of MPEG-4 Video by Using Interleaving Schedule," in Proc. International Conference on Multimedia and Exposition （ICME'2002）, Lausanne, Switzerland, August 2002.

[8] W.-M. Chao, C.-W. Hsu, Y.-C. Chang, and L.-G. Chen, "A Novel Hybrid Motion Estimator Supporting Diamond Search and Fast Full Search," in Proc. of 2002 IEEE International Symposium on Circuits and Systems （ISCAS 2002）, Scottsdale, Arizona, USA, May 2002.

[9]H.-C. Chang, L.-G. Chen, M.-Y. Hsu, and Y.-C. Chang, "Performance Analysis and Architecture Evaluation of MPEG-4 Video Codec System", in Proc. Int. Symposium on Circuits and Systems （ISCAS 2000）, May 2000.

[10]N. Brady, "MPEG-4 Standardized Methods for the Compression of Arbitrarily Shaped Video Objects," IEEE Trans. on Circuits and Systems for Video Technology, vol. 9, no. 8, December 1999.

[11]M. Berekovic, G. Meyer, Y. Guo, P. Pirsch, "A multimedia RISC core for efficient bitstream parsing and VLD," Proceedings of SPIE: Multimedia Hardware Architectures, Vol.3311, pp.131-141, 1998.

[12]Z. L. He and M. L. Liou, "Cost Effective VLSI Architecture for Full-Search Block-Matching Motion Estimation Algorithm," Journal of VLSI Signal Processing, vol. 17, pp. 225-240, Nov. 1997.

[13]B. Natarajan, V. Bhaskaran, and K. Konstantinides, "Low-Complexity Block-Based Motion Estimation via One-Bit Transforms", IEEE Trans. on Circuits and Systems for Video Technology, vol.7, No.4, August 1997.

[14]S. H. Nam and M. K. Lee, "Flexible VLSI Architecture of Motion Estimator for Video Image Compression", IEEE Trans. on Circuits and Systems - II: Analog and Digital Signal Processing, Vol. 43, pp. 467-470, Jun 1996.

[15]S. Chang, J.-H. Hwang and C.-W. Jen, "Scalable Array Architecture Design for Full Search Block Matching", IEEE Trans. on Circuits and Systems for Video Technology, Vol. 5, pp. 332-343, Aug. 1995.