【台灣新竹】— 2023 年 5 月 15日 —32/64位元、高效能低功耗的RISC-V處理器核心領導供應商暨RISC-V國際協會創始首席會員晶心科技今日宣佈全新產品線 AndesAIRE™ 或 Andes AI Runs Everywhere 正式上市,該解決方案為邊緣及終端裝置人工智慧推論提供極高的計算效率。AndesAIRE™ 包含首代人工智慧和機器學習(AI/ML)硬體加速器智慧財產(IP)AndesAIRE™ AnDLA™ I350(Andes Deep Learning Accelerator),以及神經網路軟體開發套件 AndesAIRE™ NN SDK。
隨著人工智慧和機器學習(AI/ML)應用的爆炸性成長,高效能與高效率深度學習解決方案的需求不斷增加。在此需求下,由於邊緣和終端運作環境嚴格的功耗限制,使得僅僅依賴CPU架構變得困難。針對這樣特別的挑戰,晶心科技推出AndesAIRE™ AnDLA™ I350,提供行業領先的高效率、低功耗和小面積,非常適合廣泛應用於邊緣推論應用,包括智慧物聯網裝置和智慧相機,到智慧家電和機器人等應用。
AndesAIRE™ AnDLA™ I350 建立在晶心科技過去18年來CPU 技術中累積的計算加速經驗,並提供了一個高效能的AI/ML加速平台。該解決方案支持主流的深度學習框架,例如 TensorFlow Lite、PyTorch 和 ONNX,以及在 int8 資料類型中執行多種神經網路算子,例如convolution, fully-connect, element-wise, activation, pooling, channel padding, upsample, concatenation等。此外,AnDLA™ I350 內部配置直接記憶體單元(DMA)和本地記憶體(local memory),以發揮硬體計算引擎的最佳計算能力。而operator fusion技術也是其特色之一,能更有效地執行常見的計算序列。AnDLA™ I350主要可配置參數包括從 32 到 4096 MAC 計算能力, 16KB 到 4MB 的SRAM 大小,為廣泛的應用提供64 GOPS 到 8 TOPS(在1 GHz下)靈活計算能力。
AndesAIRE™ NN SDK 是一套全面的軟體開發套件,可用於端到端(end-to-end)的開發與部署。它包括以下部分:
- AndesAIRE™ NNPilot™: 神經網路優化工具套件
- AndesAIRE™ TFLM for AnDLA™:專為 AnDLA™ 優化的TensorFlow Lite for Microcontrollers框架
- AnDLA™ driver and runtime
- NNPilot™ 可自動分析輸入的神經網路模型,進行模型剪枝(pruning)和模型量化(quantization),根據硬體配置產生 AnDLA™ 可執行文件,並於 TFLM 框架下進行模型推論。
- NNPilot™ 還會生成樣本 C 代碼,在主機的裸機環境中調用 AnDLA™ 驅動程式。
為因應不斷進展與快速發展的人工智慧技術,晶心科技致力於開發可擴充的人工智慧子系統,能完美結合AndesAIRE™ AnDLA™、AndesCore™ RISC-V CPU和Andes Custom Extension™ (ACE)。在此子系統中,人工智慧工作負載中大部分結構化與計算耗時的部分將有效率的在 AnDLA™ 中計算,而如非線性函數等較不結構化的計算可以通過RISC-V DSP/SIMD或Vector指令擴展的處理器中進行計算。其中ACE 是 CPU 和 AnDLA™ 之間進行高效數據傳輸的重要關鍵,能減少了大量記憶體頻寬和功耗,並同時大幅提高了硬體利用率。ACE 還可以針對特定領域計算設計客製化指令,例如數據的前與後處理,來進一步提升處理效能。除了硬體智慧財產(IP) 的可擴充性外,晶心科技不斷投入開發軟體 AndesAIRE™ NN SDK 和 AndesAIRE™ NN Library,使得已量產的SoCs可以因應未來人工智慧演算法的演進。自 2021 年以來,晶心科技每年於其計算函式庫中增加了超過一百個函式,並且將持續優化和擴充新功能到 NN SDK 和 NN library 中。
「晶心科技非常高興推出我們人工智慧和機器學習(AI/ML)解決方案的新產品系列,包括AndesAIRE™ AnDLA™ I350和AndesAIRE™ NN SDK。這是一款包含傑出效能的硬體以及專為邊緣和端點人工智慧推論設計的端到端軟體解決方案,」晶心科技總經理暨技術長蘇泓萌博士表示。「透過AndesAIRE™,我們賦予開發人員和創新者打造高擴充性和面向未來的AI/ML的晶片和應用。」
「AndesAIRE™ 產品線展現了我們對於AI/ML的市場願景。」 晶心科技市場處資深技術經理王庭昭表示,「透過融合 RISC-V 處理器、AnDLA™ 和 ACE 的優勢而成的一個人工智慧子系統,可充分平衡效能、功耗和面積,提供客戶極具競爭力的解決方案。不僅如此,RISC-V 處理器和 NN 軟體棧確保了彈性,而豐富的擴充性也讓客戶為其AI/ML特定應用建立出獨特的價值。」
AndesAIRE™ AnDLA™ I350和AndesAIRE™ NN SDK現在正開放早鳥授權專案。欲獲得更多資訊,請訪問晶心科技網站:http://www.andestech.com/en/products-solutions/andesaire-ai/。
【關於Andes RISC-V CON】
晶心科技年度RISC-V技術論壇,2023年場次包括於5/16於新竹國賓飯店,5/23於上海博雅酒店,5/25於北京麗亭華苑酒店等地實體舉辦。本年以「RISC-V重塑世界, 翻轉AI、車用電子、ANDROID戰略佈局」為題。介紹改變新興運算面貌的RISC-V靈活優勢,並分享晶心協助RISC-V生態系實現多元應用的創新技術。本次活動將聚焦三個熱門應用領域,包括人工智慧、車規電子以及RISC-V新踏入之Android領域,並邀請到眾多RISC-V生態夥伴進行專題演講及現場展示。免費報名及議程請參閱活動官網:
5/16(二)新竹場https://www.andestech.com/Andes_RISC-V_CON_2023_TW/ 。
5/23(二)上海場、5/25(四)北京場 https://www.andestech.com/Andes_RISC-V_CON_2023_CN/。