山東濟南浪潮服務(wù)器采購就到特榮科技一站式服務(wù)網(wǎng)，廠家直接供應(yīng)，全國聯(lián)保！ 浪潮服務(wù)器咨詢電話：186 6012 6100 網(wǎng)站地圖 | 在線咨詢
浪潮推出CPU推理服務(wù)器支持DeepSeek和QwQ，元腦加速AI普及
來源：m.lansehr.cn 發(fā)布時間：2025/4/8 16:05:49
浪潮信息宣布推出元腦CPU推理服務(wù)器，可運行DeepSeek和千問QwQ等新一代大推理模型。浪潮元腦CPU推理服務(wù)器NF8260G7和NF8480G7設(shè)計采用4顆高性能通用CPU和多通道內(nèi)存系統(tǒng)，通過張量并行策略和AMX加速技術(shù)。
單機即可高 效運行DeepSeek-R1 32B和QwQ-32B推理模型，單用戶性能超20 tokens/s，可同時處理20個并發(fā)用戶請求，是企業(yè)快速、易獲得、低投入部署上線大模型平臺的理想算力選擇，將加速DeepSeek帶動下AI落地普及速度。
目前浪潮元腦CPU推理服務(wù)器NF8260G7和NF8480G7基于通用處理器架構(gòu)進(jìn)行軟硬協(xié)同優(yōu)化，已經(jīng)完成與DeepSeek-R1 32B和QwQ-32B等大模型的深度適配和優(yōu)化。元腦CPU推理服務(wù)器通過采用張量并行策略和AMX加速技術(shù)，業(yè)界主流企業(yè)級大模型推理服務(wù)框架，實現(xiàn)多處理器并行計算，并使用AWQ（激活感知權(quán)重量化）技術(shù)，進(jìn)一步提升推理解碼性能，成功實現(xiàn)單用戶20tokens/s的性能，為企業(yè)的AI大模型部署應(yīng)用帶來流暢體驗。
面對CPU服務(wù)器部署大模型面臨算力和帶寬方面的挑戰(zhàn)，浪潮元腦CPU推理服務(wù)器采用了多項創(chuàng)新技術(shù)。
