圖一 : Raspberry Pi 5單板電腦(下部淡色)與Raspberry Pi AI HAT+(上部清晰)(圖片來源:樹莓派官網) |
|
今(2024)年6月樹莓派官方推出人工智慧硬體加速套件Raspberry Pi AI Kit,該硬體套件主要是搭配Raspberry Pi 5單板電腦使用,透過Raspberry Pi 5才有的(前四代均沒有)PCI Express介面進行連接,而後再連接一張M.2介面的模組子卡,子卡上有一顆以色列新創晶片商Hailo的AI硬體加速晶片Hailo-8L,可提供約13TOPS(通常是以8位元整數精度來計算)的AI推論運算效能。
註:推論(Inference)也翻譯成推理、推算、推斷、論斷。
樹莓派官方推出Raspberry Pi AI HAT+
然而不到半年時間的2024年10月,樹莓派官方又推出一片Raspberry Pi AI HAT+(Hardware Attached on Top),該電路板與此前的Raspberry Pi AI Kit相同,是直接附搭在本有的Raspberry Pi 5單板電腦上,同樣是透過PCI Express(有時縮寫成PCIe)介面連接,但板子上不再連接模組子卡,而是在板子上就焊有一顆Hailo公司的Hailo-8硬體加速晶片,能提供26TOPS的AI推論效能。
由於效能較此前的Raspberry Pi AI Kit多一倍,因此價格也較高,樹莓派官方對AI Kit的建議售價為70美元,而AI HAT+則為110美元。
為了讓Hailo-8晶片的26TOPS效能徹底解放,Raspberry Pi 5與AI HAT+間是使用PCIe Gen3.0的傳輸模式,避免傳輸成為整體加速的效能瓶頸,另外之所以不再透過M.2介面連接模組子卡與晶片,除了讓整體配置更精簡外,也有利於晶片運作時的散熱,畢竟26TOPS是更高的效能,晶片也會更發燙。
事實上Hailo公司是先發表Hailo-8晶片,之後因應市場實務需要而提供降規的Hailo-8L晶片,Hailo-8L的效能較Hailo-8低、功耗也較低、價格自然也較低。
按理而言樹莓派官方短期內只需要推AI Kit即可,或許樹莓派官方受到近期其他單板產品的影響,如Particle公司發起群眾募資的Tachyon(具有12TOPS),或高通(Qualcomm)投資的Thundercomm公司推出的RUBIK Pi板(也約12TOPS)等。姑且不論單板電腦的價格,樹莓派官方可能希望有一個在效能上明顯勝出的搭配設計,因此有了AI HAT+。
有了AI HAT+,樹莓派官方就能夠以26TOPS效能傲視其他開發板,然而這樣的效能依然難以與人工智慧個人電腦(AI PC)相比擬,AI PC一般被要求40TOPS的效能。
不過樹莓派選擇與Hailo公司的合作,而Hailo公司還有其他更高效能的AI加速晶片,例如訴求在生成式人工智慧(Generative AI, GenAI)應用的Hailo-10晶片,效能即有40TOPS,或者是專注於人工智慧電腦視覺(Computer Vision, CV)應用的Hailo-15等。
Hailo-15晶片的效能約20TOPS,重點在於加入視覺運算相關的硬體加速設計,如具備數位信號處理器(Digital Signal Processor, DSP)可加速影像處理、高品質的視訊編碼等,這是一般AI硬體加速晶片較不具備的,可以進一步分擔CPU的運算負荷。
循此思維,樹莓派官方與Hailo的持續合作,是有機會提供40TOPS推論效能的硬體加速方案的,甚至可以隨Hailo後續的新晶片效能突破,而後透過搭配新晶片、新硬體套件來提升Raspberry Pi的AI推論效能。
小結
最後,其實樹莓派官方不單是發表Raspberry Pi AI HAT+,相近與後續時間也連續發表多款週邊硬體,如官方版的SD記憶卡、官方版的固態硬碟(Solid State Disk, SSD)與固態硬碟套件,以及第二代的觸控螢幕Touch Display 2、USB 3.0集線器(Hub)等,這些均在10月、11月發表,很明顯希望讓整個Raspberry Pi的硬體生態系更加完備健全。
值得注意的是,官方也強調並不是任何AI應用都需要用到Raspberry Pi AI Kit或Raspberry Pi AI HAT+,一些短暫、間歇性的AI執行工作,或者是AI模型已經透過剪枝、量化等輕量化工程後,其實也是可以直接用Raspberry Pi單板電腦來跑得,重度且持續性的AI工作才需要加裝AI硬體加速套件來滿足。
延伸閱讀
https://www.youtube.com/watch?v=Z6aYwU8xnsA
運用Raspberry Pi AI HAT+的人工智慧電腦視覺應用示範影片,識別走動者、肢體姿態等
(本文由VMAKER授權轉載;連結原文網址)