生成式AI成IC設計大廠新戰場　聯發科、高通積極競逐

　　生成式AI需要的大語言模型（LLM）不只放在雲端伺服器，還能在兼具安全性高、能耗較低、傳輸快的邊緣運算做成專屬或小型的落地應用，此次除了耐能新品宣布支援輕量級大語言模型NanoGPT；其實，IC設計龍頭聯發科也早有動作，早在2021年，公司就推出可執行 Transformer模型的AI處理器(APU)，近期更有升級版產品將對外發布。此外，高通(Qualcomm)日前也與Meta在智慧手機進行大語言模型的邊雲協作，代表生成式AI已成了邊緣運算晶片業者的新戰場。
 
　　相較於雲端伺服器需要的AI多為英特爾(Intel)、超微(AMD)、輝達(Nvidia)的處理器，邊緣AI如同大腦（雲端）延伸而出的神經系統，透過手機、電腦、行動裝置或5G基地台連網，就能處理緊急或特定需求的訊息，因具「快速、可靠、隱私」3大特性，非常適合有安全考量的電動車自動駕駛與智慧醫療場域；此外，智慧門鎖、人臉辨識、監控森林大火的無人機、送餐機器人，也是常見的應用。
 
　　AI晶片從雲端下放到邊緣端需求看好，Markets and Markets報告就指出，2022~2027年全球邊緣AI硬體市場規模年均複合成長率(CAGR)達20.8%，主要成長動能包括物聯網裝置、5G應用、終端裝置影像分析等領域；而軟體部分，2022~2027年全球邊緣AI軟體市場規模CAGR也高達28.9%，主要來自自駕系統、智慧電表、預測性維護、安防監控、智慧城市等新應用。
 
　　因應生成AI的崛起，據了解，聯發科近期也將針對支援大語言模型發表處理器新品，事實上，根據聯發科網站，公司早在2021年就推出Transformer模型的APU處理器，並以NeuroPilot平台在手機及其他終端產品廣泛地運用，時間點與耐能第一代支援Transformer的KL530一致。
 
　　邊緣AI未來一定會有越來越多的生成式AI需求，因為LLM並不完全是越來越大的趨勢，而是走一個產業客製、參數夠用就好的方向。
 
　　高通近期跟Meta合作，雙方預計在智慧手機以及PC上運行LLM(大型語言模型)達到邊雲混合協作，就是一個可預期的商用案例，此外，一些具商業機密如高端智慧製造設備、國防等數據不外流或是完全內網的環境如果要運用生成式AI，同樣是需要邊緣AI的部署，當邊緣AI能越做越多、LLM越來越小，兩者就會出現應用交叉點。