在生物神經系統中，約160億個神經元通過復雜的突觸連接網絡實現信息傳遞與處理。每個神經元通過樹突接收來自其他神經元的電化學信號，在胞體內整合后，若電位超過閾值便通過軸突釋放動作電位。這種“全或無”的放電機制構成了生物信息處理的基礎單元，但其微觀過程如何通過數學語言精確描述，始終是計算神經科學與人工智能領域的核心命題。
從20世紀40年代McCulloch與Pitts提出形式神經元模型，到Rosenblatt的感知機，再到現代深度神經網絡，神經元數學建模經歷了從線性到非線性、從離散到連續的演進。其核心思想可概括為兩個階段：首先接收多個輸入信號并賦予權重，其次通過加權求和與閾值比較產生輸出。以感知機為例，若神經元接收n個輸入信號，其凈輸入可表示為輸入向量與權重向量的點積加上偏置項，這一線性加權和本質上是衡量輸入與權重方向的對齊程度。
幾何視角下，線性加權和可視為輸入向量在權重向量上的投影與模長的乘積。當輸入與權重方向一致時點積最大，正交時為零，反向時為負值。偏置項則通過平移決策邊界，使分類超平面不再局限于原點，顯著提升了模型表達能力。然而，單層感知機僅能處理線性可分問題，如邏輯與、或運算，對異或等非線性問題無能為力。這一局限性在1969年被Minsky與Papert數學證明，導致神經網絡研究陷入近十年的低谷。
多層前饋神經網絡的實踐表明，若每層神經元僅進行線性變換（即激活函數為恒等函數），無論網絡深度如何，其輸出始終是輸入向量的線性組合。這種結構在函數空間上與單層線性網絡等價，無法表達復雜非線性關系。引入非線性激活函數后，網絡表達能力發生質變：通過仿射變換與非線性映射的交替復合，深層結構得以在特征空間中進行層級化重組。萬能逼近定理進一步證明，滿足條件的非線性激活函數（如Sigmoid、ReLU）可使網絡以任意精度逼近緊致子集上的連續函數，這為深度學習在圖像識別、自然語言處理等領域的突破奠定了理論基礎。
原始感知機采用階躍函數模擬神經元的“全或無”特性，但該函數在數學優化中存在致命缺陷：其導數在大部分定義域為零，導致梯度無法有效傳播。為解決這一問題，Sigmoid函數作為階躍函數的光滑近似被引入。該函數值域為(0,1)，導數可表示為函數值自身的函數，確保了非零梯度的存在。然而，當輸入絕對值較大時，Sigmoid進入飽和區，導數趨近于零，引發深層網絡中的梯度消失問題。現代深度學習因此發展出更多激活函數，如tanh、ReLU及其變體。ReLU在正半軸導數為1的特性，有效緩解了梯度消失，成為卷積神經網絡的默認選擇。
神經元數學模型的發展軌跡揭示了一個關鍵邏輯：其設計并非對生物神經元的簡單復刻，而是在優化理論約束下的計算抽象。從早期受神經科學啟發，到被數學優化驅動脫離生物原型，再到工程實踐反推對神經機制的重審視，這一過程體現了跨學科融合對技術突破的推動作用。
