畢業論文初稿提後，林華興把全部力重新投到了華興一號上。
過去一年多，華興一號在超算上進行了六大規模訓練，損失函式值從最初的3.2降到了0.052，模型在自然語言理、影像識別、程式碼生、力學模擬等多個任務上的表現都達到了預期。但林華興一首覺得還差一口氣——模型的泛化能力不夠強，換一個數據集效能就會下降。
他需要解決這個問題。
元旦假期，林華興把自己關在書房裡，整整三天沒有出門。他在大腦裡反覆推演華興一號的架構，逐層分析每個模組的優缺點。
問題出在注意力機制上。
現有的注意力機制雖然能捕捉序列中的長距離依賴，但對不同位置的關係建模是“一視同仁”的，沒有區分重要和相關。這導致模型在理新資料時，容易過擬合訓練集中的統計規律，泛化能力限。
林華興想到了一個改進方案——引“稀疏自適應注意力”。讓模型自己學習哪些位置之間的關係是重要的，只對這些位置計算注意力權重，其他位置忽略。這樣既能降低計算量，又能提高泛化能力。
他在大腦裡完了數學推導，然後開啟程式碼編輯，開始重構華興一號的注意力模組。
。了去出又，上桌在放子盤把輕輕，擾打沒，盤鍵敲狂瘋幕螢著對他見看，來進走子餃著端婷淑洪
。確正輯邏認確，遍一行執擬模裡腦大在就他，組模個一完寫每。長生速快上幕螢在碼式程nohtyP行行一，快很度速的碼式程寫興華林
。料資的過現出中練訓前之在有沒、的新全組一是的用，練訓證驗一了啟上算超在他。了完組模力意注的新，前束結期假旦元
。了來出果結，天三了練訓
。%89了到升提%69從度，上務任擬模學力在是其尤，升提幅大都現表的上集試測個多在型模。%04了低降前之比差誤化泛，140.0了到降250.0從值式函失損
。氣口一了出地長長，料資的上幕螢著看興華林
。了型定於終，號一興華
