瑞芯微Rockchip正式發布旗下AI平臺三大重要升級,助力端側AI應用:開發工具支持GUI圖形交互界面、原生支持MXNet和PyTorch、支持Docker部署。
一、交互方式更加友好,RKNN-Toolkit新版本將支持圖形界面
經過多個版本的不斷迭代完善,RKNN-Toolkit已日益成熟。瑞芯微即將推出的新版將加入圖形交互界面(GUI),開發者通過鼠標點擊即可完成模型的轉換、量化、性能分析、內存耗費分析等任務,快速完成AI模型在端側部署的評估和轉換工作。特別是對于混合量化等較為復雜的任務,相比于過去的命令行交互,通過圖形界面可大幅提高效率并降低操作錯誤的概率。另外,新版RKNN-Toolkit的圖形界面同樣在Linux/Mac OSX/Windows三個平臺上均可運行。
二、模型轉化更加簡便,RKNN-Toolkit將對MXNet和PyTorch提供原生支持
在過去RKNN-Toolkit通過ONNX來完成MXNet和PyTorch等模型的支持,開發者需要先將模型轉換為ONNX格式,再進一步轉換為RKNN模型,這一過程較為繁瑣,并且提高了引入問題的概率使得最終轉換失敗。
MXNet及PyTorch發展非常迅速,普及度快速提高, RKNN-Toolkit新版本將原生支持MXNet及PyTorch模型的轉換,在端側AI平臺的框架和模型支持覆蓋度上繼續保持領先。
三、模型推理性能更加穩定,瑞芯微 AI平臺支持通過Docker快速部署端側AI應用
隨著端側設備數量的成倍增長,需要以更具可擴展性的方式部署端側AI應用軟件。Docker容器技術是業界廣泛通行的解決這一挑戰的有力工具。
RK1808平臺系統將提供對Docker的支持,通過硬件抽象層,在容器中仍可調用NPU的強勁算力,經測試,容器中的AI模型推理性能幾乎沒有損失。
通過上述更新,開發者基于瑞芯微Rockchip AI平臺的產品開發、部署、維護將更為迅捷。瑞芯微將繼續與廣大開發者共同努力,加速AI在各類場景的落地。