隨著人工智慧(AI)技術快速發展,晶片製造大廠如高通、聯發科等都在邊緣運算領域投入大量資源,並推動AI小模型在邊緣裝置上的應用趨勢,這不僅讓生成式AI(Generative AI)不再依賴雲端,還為消費性電子市場帶來新的機會和挑戰。
記者 鄧天心/綜合報導
隨著人工智慧(AI)技術快速發展,晶片製造大廠如高通、聯發科等都在邊緣運算領域投入大量資源,並推動AI小模型在邊緣裝置上的應用趨勢,這不僅讓生成式AI(Generative AI)不再依賴雲端,還為消費性電子市場帶來新的機會和挑戰。
更多新聞:AI科技下的電力契機:虛擬電廠 | 工研院科普講堂
AI小模型的崛起
聯發科企業策略與前瞻技術資深處長梁伯嵩在近期的技術論壇中,分享了對AI小模型的看法,他指出,AI小模型的興起將使邊緣裝置在運行AI應用時更加高效靈活,相比傳統的巨型參數模型,小型語言模型能在算力與資源有限的邊緣裝置上運行,既降低了成本,也縮短了回應時間,梁伯嵩形容,企業並不需要博士來處理日常問題,而小型模型就如同大學生或研究生,足以應付日常應用情境。
在這波技術演變中,聯發科展示了他們的AI AGENT多模型技術,該技術不僅能支援多種語言文字處理,還能根據不同邊緣裝置需求進行靈活調整。
與此同時,高通也在生成式AI應用在小模型上上力求突破,高通資深技術行銷總監江坤霖強調,生成式AI若僅依賴雲端資源,難以實現普及化,而邊緣推論技術正是突破這一限制的關鍵,他進一步說明,CPU和NPU(神經處理單元)在AI訓練中扮演至關重要的角色,未來的AI設備將依賴多種處理器的協同工作,加上軟體優化,可以解決越來越複雜的使用場景。高通也正在開發AI Stock軟體套件和AI Hub平台,讓開發者能夠靈活選擇所需的AI模型,並在高通的邊緣運算平台上開發定制化的AI裝置。
什麼是邊緣運算?
邊緣運算(Edge Computing)其實就是一種把數據處理拉近到設備端譬如手機、電腦、電動車上運算的技術,過去,我們通常會把數據傳送到遠端的雲端伺服器進行計算,再把結果傳回到設備上,但隨著物聯網(IoT)和人工智慧(AI)技術越來越多,數據量變得非常大,這樣的處理方式開始有些跟不上,特別是在傳輸過程中,會遇到延遲、網路負擔重、甚至資料隱私的問題。
邊緣運算的好處就是它把數據的處理工作直接放到離數據來源更近的設備上,比如你的手機、智慧家電等,這樣可以大幅降低傳輸延遲,並且讓設備能更快做出反應,假設自駕車在路上行駛時,必須立即做出判斷,如果還要把數據傳回雲端處理,等結果回來可能已經來不及了,但邊緣運算讓車輛可以直接就地處理數據,確保行車安全。
另外邊緣運算還能讓設備處理數據的速度更快、使用的網路資源更少,最重要的是能保護數據隱私,因為很多敏感資料都不必傳到雲端,這種技術非常適合像自駕車、智慧城市、醫療設備等需要即時反應的場景,也有助於AI的應用在這些設備上更廣泛地實現。
聯發科發表AI晶片天璣9400 助力邊緣運算
聯發科近期發表了其最新的旗艦5G Agentic AI晶片——天璣9400,這款晶片是專為AI推理與邊緣運算設計,並採用了台積電3奈米技術,聯發科總經理陳冠州表示,天璣9400是聯發科致力於推動AI代理人(Agentic AI)應用的核心,這不僅能優化手機上的AI應用運行,還能實現個人化AI助理的願景。
天璣9400主要有三大核心優勢,首先,該晶片整合了聯發科第八代AI處理器NPU 890,能夠在大型語言模型(LLM)的提示詞處理性能上提升80%,並降低35%的功耗,使用ChatGPT等生成式AI應用上會變得更為流暢高效;此外,天璣9400還支援裝置端的LoRA(Low-Rank Adaptation)訓練,能夠生成高畫質影像;最重要的是,天璣9400搭載的Agentic AI引擎,能將傳統的AI應用升級為具備推理與行動能力的AI代理人,讓手機也能進行邊緣運算,並串聯雲端服務。
根據業內消息,搭載聯發科天璣9400的第一款手機將是即將於今年第四季上市的Vivo X200,隨後小米和OPPO也計劃在旗艦機型中採用這款晶片,此外,三星旗艦機型Galaxy S25系列將會同時採用聯發科天璣9400與高通驍龍8 Gen 4雙處理器設計。聯發科無線通訊事業部總經理李彥輯也表示,天璣9400的全大核設計與3奈米製程,將為消費者帶來更強大的運行效能和更低的功耗,這對手機品牌客戶來說,無疑是提升產品競爭力的關鍵。
目前,聯發科和高通都在大力推動AI技術在邊緣裝置上的應用,聯發科強調AI小模型的優勢,特別是在成本和功耗方面的優勢,而高通則更注重打造完整的AI生態系,結合軟硬體優化整體運行效率,然隨著智慧型手機、智慧家居、物聯網等領域對AI需求的快速成長,無論是哪一家公司,AI市場都將更加競爭激烈,值得我們持續關注接下來的發展。
這篇文章 聯發科搶進AI新賽道:邊緣運算 發表「AI小模型」將掀手機新革命? 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。