2025年初，全球AIoT平臺(tái)與服務(wù)提供商研華科技宣布推出一款新的軟件產(chǎn)品——GenAI Studio，該產(chǎn)品是研華Edge AI SDK的一部分，主要目標(biāo)是為了滿足對(duì)成本效益高、本地部署的大語言模型（LLM）解決方案日益增長的需求。

加速人工智能發(fā)展，應(yīng)對(duì)行業(yè)挑戰(zhàn)

作為研華邊緣AI軟件開發(fā)工具包（Edge AI SDK）的一部分，GenAI Studio致力于解決行業(yè)痛點(diǎn)，例如縮短工廠操作員等待關(guān)鍵信息的時(shí)間，減輕醫(yī)療專業(yè)人員的文檔工作負(fù)擔(dān)。其無代碼、成本效益高的平臺(tái)簡化了大語言模型（LLM）的采用，使企業(yè)能夠快速高效地部署AI解決方案，從而提高生產(chǎn)力和運(yùn)營效率。

GenAI Studio為研華Edge AI SDK構(gòu)建，憑借其多功能的LLM平臺(tái)，具備出色的本地和云端LLM集成能力，支持包括OpenAI、Gemini、Anthropic和Ollama在內(nèi)的多種LLM。此外，它還引入了全參數(shù)微調(diào)功能，針對(duì)GPU資源有限的環(huán)境進(jìn)行了優(yōu)化，實(shí)現(xiàn)了更廣泛的可訪問性和性能提升。

GenAI Studio為大語言模型（LLM）開發(fā)提供了一整套全面的工具：

首先是集成微調(diào)與推理服務(wù)：GenAI Studio將微調(diào)與推理功能相結(jié)合，最大化硬件利用率，實(shí)現(xiàn)資源的更靈活、高效分配。

再次，該平臺(tái)具備高級(jí)GPU資源管理與任務(wù)調(diào)度的能力：這些功能使用戶能夠優(yōu)化AI硬件性能，提升高價(jià)值設(shè)備的成本效益。

隨著AI的迅猛發(fā)展，對(duì)易于獲取的大語言模型解決方案的需求日益凸顯，但許多公司因資源有限而受阻。研華邊緣AI軟件開發(fā)工具包（Edge AI SDK）通過提供一套工具來應(yīng)對(duì)這一挑戰(zhàn)，該工具能夠高效地評(píng)估、開發(fā)和部署邊緣AI應(yīng)用。例如，傳統(tǒng)上需要超過30個(gè)、每個(gè)擁有48GB內(nèi)存的GPU來微調(diào)一個(gè)700億參數(shù)的大語言模型，而使用研華Edge AI SDK，僅需4個(gè)GPU即可完成。這代表著資源需求減少了87%，顯著降低了成本，使大語言模型解決方案更加觸手可及。

借助研華的GenAI Studio和邊緣AI服務(wù)器AIR-520，賦能AI創(chuàng)新

為與GenAI Studio相輔相成，研華的AIR - 520邊緣AI服務(wù)器提供了一個(gè)強(qiáng)大的硬件平臺(tái)，配備了NVIDIA RTX GPU和Phison AI SSD。這種整合交付了可靠、高效的計(jì)算能力，旨在滿足制造業(yè)、醫(yī)療保健、零售等行業(yè)的AI應(yīng)用需求。

研華Edge AI SDK軟件開發(fā)工具包：從模型微調(diào)到部署簡化工作流程

研華Edge AI SDK軟件開發(fā)工具包是一個(gè)為無縫邊緣AI開發(fā)設(shè)計(jì)的全集成平臺(tái)。憑借預(yù)配置的硬件和優(yōu)化調(diào)整的軟件，它提供了即插即用的體驗(yàn)，能夠?qū)崿F(xiàn)成本效益高的大語言模型定制、無縫工具包兼容以及大規(guī)模邊緣部署的輕松管理。研華邊緣AI軟件開發(fā)工具包以可靠性、可擴(kuò)展性和用戶友好性為設(shè)計(jì)理念，簡化了通往AI創(chuàng)新的道路。它現(xiàn)在包括三個(gè)核心組件：

1.GenAI Studio：便于在本地以成本效益高的方式創(chuàng)建、評(píng)估和集成定制的大語言模型。

2.推理套件：能夠快速優(yōu)化和評(píng)估與嵌入式操作系統(tǒng)兼容的高效AI運(yùn)行時(shí)。

3.操作平臺(tái)：為大規(guī)模邊緣部署中的AI模型和應(yīng)用更新提供高效管理，整合MLOps以簡化操作。

(圖：研華GenAI Studio操作界面)

研華通過其Edge AI SDK軟件開發(fā)工具包以及新增的GenAI Studio軟件模塊，提升了企業(yè)更高效、更低成本地開發(fā)和部署AI解決方案的能力。