十一月中旬,華興一號的訓練遇到了新的瓶頸。
不是模型架構的問題,而是算力不夠。
林華興看著螢幕上緩慢下降的損失函式曲線,眉頭鎖。過去兩週,損失值只從0.11降到了0.098,下降速度比之前慢了一個數量級。不是模型學不了,而是訓練資料規模擴大後,家裡那十臺伺服的算力已經跟不上需求了。
他在大腦裡快速估算了一下。要完下一大規模訓練,至需要將現有算力提升五倍。五倍,意味著要增加幾十臺伺服,總功率會翻幾番,家裡的電路和散熱都扛不住。
得換個思路。
林華興想起了燕大的高效能計算中心。那裡有曙5000A和天河一號的節點,雖然比不上國家級超算中心,但用來跑華興一號的訓練綽綽有餘。之前陳建國院長給他開了賬號,他一直沒用,因為公共資源不適合長期跑大規模任務。
但現在況不同了。王教授的課題組有專用的計算資源配額,他可以以課題組的名義申請使用。
第二天,林華興去找王教授,把自己的需求說了一遍。王教授聽完,二話不說,給計算中心打了個電話。
”。準標高最組題課按額配源資,號賬序順先優高個一開他給,員心核的組題課們我是興華林“
”?夠不夠“:興華林著看授教王,話電了掛
”。了夠“:頭點興華林
”。共要果,先在言有我過不。麼什算源資點這,來出做能真是要型模IA的你“:笑了笑授教王
”。好“:說興華林
。止不倍十了強服伺臺十那裡家比但,算超級家國上不比然雖。BT02間空存儲,UPG塊4.心核UPC個001——額配源資眼一了看,統系登他。號賬序順先優高的心中算計了到拿興華林,午下天當
。練訓的新一了啟後然,心中算計到移遷料資和碼式程的號一興華把,間時天半了花他
。倍十近了快前之比度速,降下度速的見可眼以值式函失損。氣口一了鬆裡心,誌日的跳速快上幕螢著盯他,後始開練訓
。量練訓的月個一要需前之完能就週一,度速個這按
”?嗎室驗實?兒哪在你,興華“:來過話電打婷淑洪
”。型模調,心中算計“:說興華林
”?來回點幾“








