“邊緣計算和機器視覺技術已經相當成熟，未來可能會將更多的關注和資源投入到大語言模型和AI的開發(fā)與應用中。AI模型可能會逐步從云端向邊緣端轉移。我們可以預見到一場巨大的創(chuàng)新浪潮正在醞釀。目前市場上已經出現(xiàn)了許多成熟的解決方案，我們正處于這一轉變的關鍵時刻。”2024英特爾網(wǎng)絡與邊緣計算行業(yè)大會期間，英特爾公司高級副總裁兼網(wǎng)絡與邊緣事業(yè)部總經理Sachin Katti在接受財聯(lián)社記者采訪時表示。

近日財聯(lián)社記者從業(yè)內多方獲悉，從算力、邊緣推理能力、成本綜合考量來講，人工智能在邊緣領域的滲透將成關鍵趨勢，多家巨頭入局該賽道，不少成熟解決方案涌現(xiàn)，邊緣AI方興未艾，2030年全球邊緣市場規(guī)模或將達千億美金規(guī)模。

瞄準邊緣AI 成熟解決方案涌現(xiàn)

財聯(lián)社記者最新從英特爾方面了解到，今年上半年英特爾中國區(qū)邊緣端業(yè)務同比保持增長，公司預期這一趨勢將保持。邊緣AI一直是英特爾過去多年來的關注重點，部署領域涉及零售、醫(yī)藥、物流、農業(yè)、交通、制造業(yè)等。

Sachin Katti告訴財聯(lián)社記者，“現(xiàn)在我們講的邊緣AI其實已經從邊緣的機器視覺，逐步進展到比如大語言模型、邊緣應用以及生成式AI等，因此英特爾就要不斷地提供相關能力，加速在邊緣端的生成式AI以及大語言模型的部署。我們已經不僅僅局限于硬件供應，還擴展到了應用層、軟件以及客戶服務支持等多個維度。”

（財聯(lián)社記者攝）

今年MWC期間，英特爾方面稱，已在邊緣端完成九萬多個實際部署。Sachin Katti在大會上則表示，英特爾將采取以開放、模塊化、統(tǒng)一平臺為核心的方法加快邊緣Al解決方案的部署進程。“硬件側，我們會提供有足夠內存的GPU以及NPU解決方案，很多模型如Llama 2、Llama 3等可以在本地運行。”生態(tài)方面，截至目前英特爾網(wǎng)絡與邊緣事業(yè)部在中國已與500多家OEM/ODM和150多家ISV建立了合作關系。

實際上不僅英特爾，AMD、英偉達、高通等巨頭，云天勵飛（688343.SH）、中科創(chuàng)達（300496.SZ）、國科微（300672.SZ）等A股上市公司均已瞄準邊緣端做出動作。

同時財聯(lián)社記者在大會展區(qū)注意到，機器人（300024.SZ）、深信服（300454.SZ）、數(shù)碼視訊（300079.SZ）、中科創(chuàng)達等A股廠商均展示了各自邊緣AI成果。

財聯(lián)社記者在展區(qū)注意到了模型訓練過程中通過自動化手段做數(shù)據(jù)標注的案例。展臺工作人員告訴記者，基于英特爾酷睿處理器、英特爾銳炫獨立顯卡ARC770打造的CNN邊緣訓推方案，借助視覺大模型實現(xiàn)了圖片自動標注和基于MLFlow的模型自動重訓。“原來訓練模型要找算法公司，標注都需要人來完成，現(xiàn)在可以使用機器標注，訓練成本、人力成本都極大降低，現(xiàn)在業(yè)界慢慢都出現(xiàn)了這種訓推的方案。”

此次英特爾最新打造的3D虛擬數(shù)智人“小英”亦展出。展臺工作人員稱，“小英”同樣基于酷睿處理器、ARC770顯卡打造，完全部署于邊緣端，還在本地集成了大語言模型和RAG技術。據(jù)悉，其可以勝任營業(yè)廳客服、商場導購、博物館講解員等角色。

（受訪者供圖）

AI Agent苗頭已現(xiàn) 邊緣部署有何動因？

站在行業(yè)發(fā)展視角，英特爾對于AIGC及大語言模型發(fā)展做了三階段總結：第一階段是AI輔助時代（Age of AI Co-Pilots），第二階段是AI助手時代（Age of AI Agents），第三階段是全功能AI時代（Age of AI Functions）。

“從中國來看，我們的創(chuàng)新速度非常快，很多AI Agent的功能在當下可能已經看到發(fā)展苗頭了，有關AI Agent的案例實際在我們身邊已經慢慢出現(xiàn)。”英特爾中國區(qū)網(wǎng)絡與邊緣事業(yè)部首席技術官、英特爾高級首席AI工程師張宇對財聯(lián)社記者表示。

他舉例稱，電信企業(yè)網(wǎng)安和網(wǎng)絡運營類產品已經可以基于大模型對網(wǎng)絡日志文件進行分析，以便網(wǎng)絡管理人員及時根據(jù)分析結果采取措施等。Sachin Katti則表示，預計在未來一到兩年內會看到更多AI Agent的出現(xiàn)。

英特爾高管在大會上提及，中國生成式人工智能市場規(guī)模今年預計達33億美元。而據(jù)Gartner預測，到2026年，80%的全球企業(yè)將使用生成式AI，50%的全球邊緣部署將包含AI。STL Partners報告顯示，2030年全球邊緣服務市場規(guī)模會達到4450億美元，其中AI是第一大邊緣工作負載。

邊緣AI市場持續(xù)升溫，而驅動企業(yè)在邊緣側部署的實際原因何在？

“一是數(shù)據(jù)的安全性，是不是放心把數(shù)據(jù)都放到云端，還是在邊緣端更合理。第二，隨著邊緣數(shù)據(jù)量越來越大，整個傳輸帶寬是個問題，雖然國內在整個基礎建設傳輸帶寬建設是全球最領先的，但當大量數(shù)據(jù)在邊緣產生時，仍然可能引發(fā)網(wǎng)絡風暴，我們仍需要進一步優(yōu)化網(wǎng)絡管理和數(shù)據(jù)傳輸策略。第三，實時性，很多東西只能在邊緣做才能解決實時性的要求。”英特爾公司市場營銷集團副總裁、英特爾中國網(wǎng)絡與邊緣及渠道數(shù)據(jù)中心事業(yè)部總經理郭威向財聯(lián)社記者分析了三點原因。

Sachin Katti告訴財聯(lián)社記者，目前AI主要在云端運行，然而隨著邊緣設備在本地產生大量數(shù)據(jù)，將所有數(shù)據(jù)傳輸至云端的成本變得相當高昂。“一些工廠可能無法承擔訓練超大規(guī)模行業(yè)級大模型的成本，因為這些模型的參數(shù)量可能高達萬億級別。因此他們往往選擇訓練中等規(guī)模的模型，并結合自身數(shù)據(jù)進行定制化調整。”

財聯(lián)社記者了解到，當前大模型訓練、推理、調用、部署均在云端完成，對算力（集群）規(guī)模、網(wǎng)絡穩(wěn)定性、能效等方面都提出極高要求，隨著大模型進入比拼落地階段，就要求所有分析處理都在本地完成。

張宇認為，“邊緣的特點就是碎片化。不同用戶對于算力、性能有不同要求，有些性能要求很高，必須要有集群來承載，有些性能可能通過幾個小設備就能夠承載，跨度非常大。邊緣往往最終部署的是業(yè)務，并不是追求一個技術方案。”