故事比喻:只有積極反饋的老師(ReLU 函式)
在一所小學裡,有一位特別的數學老師——小張老師,他的教學方式很獨特:
1. 如果學生答對了題目,他就會大聲表揚:“很好!繼續加油!”
2. 如果學生答錯了,他什麼都不說,不批評也不懲罰,就像沒聽見一樣。
這個老師的教學方式就像 ReLU(修正線單元)啟用函式——它只保留正面的資訊(正值),對負面的資訊(負值)完全忽略。
ReLU 的數學規則
ReLU 函式的公式是:
簡單來說:
!留保→)息訊好(數正是輸?
!零歸接直→)息訊壞(數負是輸?
。擊打面負給不,應反何任做不他,)饋反負(誤錯答回生學;勵鼓予給他,)饋反正(確正答回生學,式方學教的師老張小像就這
)長面正注關只ULeR(練訓的員運:喻比種一另
:績步跑的己自錄記都天每他,員運的練訓步跑位一象想
。來下錄記績次這把就他,)了步進(了快得跑天昨比天今果如.1
。態心響影它讓不,績次這略忽就他,)了步退(了慢天昨比天今果如.2
。後拖訊資的面負讓會不而,”步進的用有“於注專它,ULeR像就法方練訓個這
?ULeR要需IA麼什為
:效高更程過習學讓像就用作的ULeR,裡路網經神在
:訊資的用有注關只
。過它讓ULeR,)徵特的用有(的正是果結算計的元經神個某果如?
。習學擾干免避,棄丟接直ULeR,)徵特的用沒(的負是果結果如?
:快度速,單簡算計
。習學度深合適更,快更算計,**”0於小是還0於大“**斷判要需只ULeR而,算計數指的雜複有式函digiS的統傳?
:強更深更路網經神讓
。式模的雜復更習學夠能路網經神使,題問失消度梯止防能ULeR,裡習學度深在?
”長的用有“於注專路網經神讓ULeR:論結
!率效算計高提而從,料資的用無棄丟,訊資的效有習學地快更IA讓,”員運的步進於注專“或”師老的饋反面正給只“位一像就它
?點缺有能可下況麼什,點優是下況麼什在略策種這?息訊壞會理不而,息訊好注關只人些某如比?境的ULeR似類到遇有沒有,中活生在你:考思
訊資要重略忽能可但,”息訊好“注關只:點缺優的ULeR
。題問的在潛些一有也,點優有既它了定決點特的它,的完是不並它但,行流常非中路網經神在ULeR然雖
定穩更、強更、快更:點優的ULeR
快度速算計.1








