周躍峰在論壇上強調:“AI時代,模型訓練、推理效率與體驗的量綱都以Token數為表征,Token經濟已經到來”。為保障流暢的推理體驗,企業需持續加大算力投入,但如何在推理效率與成本之間找到最佳平衡點,成為了全行業亟待解決的重要課題。
為此,華為推出UCM推理記憶數據管理器,包括對接不同引擎與算力的推理引擎插件(Connector)、支持多級KV Cache管理及加速算法的功能庫(Accelerator)、高性能KV Cache存取適配器(Adapter)三大組件,通過推理框架、算力、存儲三層協同,實現AI推理“更優體驗、更低成本”。
在與中國銀聯的聯合創新技術試點中,UCM的技術價值得到驗證。在中國銀聯“客戶之聲”業務場景下,借助UCM技術及工程化手段,大模型推理速度提升125倍,僅需10秒即可精準識別客戶高頻問題,促進服務質量提升。未來,中國銀聯將依托國家人工智能應用中試基地,聯合華為等生態伙伴共建“AI+金融”示范應用,推動技術成果從“實驗室驗證”走向“規模化應用”。
論壇現場,華為正式公布了UCM開源計劃。UCM通過開放統一的南北向接口,可適配多類型推理引擎框架、算力及存儲系統。今年9月,UCM將正式開源,后續逐步貢獻給業界主流推理引擎社區,攜手全產業共同推動AI推理生態的繁榮發展。