DeepSeek-R1的發(fā)布讓大家度過了一個熱鬧的春節(jié)。DeepSeek用較低的成本,取得了跟OpenAI相同的效果,這也意味我們的客戶可以私有化部署與OpenAI能力接近的基座大模型。
研華AIR-520 是一款支持4卡單槽GPU或2卡雙槽GPU的桌面級LLM服務器,主要用于推理和微調兩個方向。我們已經(jīng)打包好3個推薦配置,便于大家直接選型。推薦配置如和您的應用有差距,也可靈活調配。
近半年來隨著AI Agent的廣泛使用,大家對LLM服務器的推理能力比較看重,在DeepSeek發(fā)布后,我們也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主機,對工業(yè)客戶最常用的DeepSeek-R1 32B、70B兩個模型進行了測試。
系統(tǒng)配置:
DeepSeek-R1 32B 測試:
DeepSeek-R1 70B測試:
通過測試,我們可以看到AIR-520的優(yōu)異表現(xiàn)。若客戶對性能還有更高的要求,AIR-520還有高配機型選擇。
工業(yè)客戶在使用大模型應用的時候,除了算力的要求,客戶會更看重,解決方案的安全、合規(guī)、穩(wěn)定的特性。AIR-520整機通過了NVIDIA官方產品認證,是工業(yè)企業(yè)客戶很好的選擇。