內地媒體報道，螞蟻集團Ling團隊近日發表技術成果論文，宣布推出兩款不同規模的混合專家(MoE)大語言模型─百靈輕量版(Ling-Lite)與百靈增強版(Ling-Plus)，並提出一系列創新方法，實現在低性能硬件上高效訓練大模型，顯著降低成本。
報道指出，百靈輕量版參數規模為168億(啟動參數27.5億)，增強版基座模型參數規模高達2900億(啟動參數288億)，性能均達行業領先水平。實驗表明，其3000億參數的MoE大模型可在使用國產GPU的低性能設備上完成高效訓練，性能與完全使用輝達(Nvidia)晶片、同規模的稠密模型及MoE模型相當。
報道稱，當前MoE模型訓練通常依賴輝達的H100或H800等高性能GPU，成本高昂且晶片短缺，限制其在資源受限環境中的應用。螞蟻集團Ling團隊提出「不使用高級GPU」擴展模型的目標，通過創新訓練策略，突破資源與預算限制。
在5種不同硬件配置下，Ling團隊對9萬億個token進行Ling-Plus預訓練。結果顯示，使用高性能硬件設定訓練1萬億token的預訓練成本約635萬元(人民幣‧下同)，而採用螞蟻優化方法後，低規格硬件訓練成本降至508萬元左右，節省近20%，且性能與阿里通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當。
