DeepSeek-AI團隊梁文鋒及其同事17日在《自然》雜志上發(fā)表了開源人工智能（AI）模型DeepSeek-R1所采用的大規(guī)模推理模型訓練方法。研究表明，大語言模型（LLM）的推理能力可通過純強化學習來提升，從而減少增強性能所需的人類輸入工作量。訓練出的模型在數(shù)學、編程競賽和STEM領域研究生水平問題等任務上，比傳統(tǒng)訓練的LLM表現(xiàn)更好。
DeepSeek-R1包含一個在人類監(jiān)督下的深入訓練階段，以優(yōu)化推理過程。梁文鋒團隊報告稱，該模型使用了強化學習而非人類示例來開發(fā)推理步驟，減少了訓練成本和復雜性。DeepSeek-R1在被展示優(yōu)質的問題解決案例后，會獲得一個模板來產(chǎn)生推理過程，即這一模型通過解決問題獲得獎勵，從而強化學習效果。團隊總結說，未來研究可以聚焦優(yōu)化獎勵過程，以確保推理和任務結果更可靠。
在評估AI表現(xiàn)的數(shù)學基準測試中，DeepSeek-R1-Zero和DeepSeek-R1得分分別為77.9% 和 79.8%，在編程競賽及研究生水平的生物學、物理和化學問題上同樣表現(xiàn)優(yōu)異。
