近日，全球科技界目光聚焦于一家中國AI公司——Kimi，其最新研究成果引發了廣泛關注。特斯拉CEO埃隆·馬斯克公開點贊，前OpenAI研究副總裁Jerry Tworek更是直言“深度學習2.0來了”，這一系列贊譽讓Kimi瞬間成為行業焦點。
Kimi團隊發布的技術報告提出了一種全新的Attention Residuals（注意力殘差）機制，對深度學習領域沿用近十年的傳統殘差連接實現了顛覆性重構。傳統殘差連接采用“固定等權累加”的方式傳遞信息，然而隨著模型層數的增加，淺層信息容易被稀釋，導致訓練效率低下、穩定性差等問題逐漸凸顯。而Kimi的創新則如同為AI裝上了一個“智能篩選器”，將Transformer注意力機制遷移到模型深度維度，使得每一層能夠動態篩選出此前有用的信息，同時壓低冗余信息，從而大幅提升信息傳遞效率。
為了解決內存過載的問題，Kimi團隊還精心設計了“塊注意力殘差”策略。該策略將模型分塊處理，在塊內保留傳統累加方式以保證穩定性，而在塊間則采用動態加權的方式。經過實測，這一策略在推理延遲方面僅增加了不到2%，成功實現了性能與效率的平衡。
在實際應用中，Kimi的新機制展現出了顯著的優勢。實測數據顯示，48B參數模型在采用新機制后，訓練效率提升了1.25倍。在科學推理和數學題作答方面，成績分別提升了7.5%和3.6%，有效解決了傳統模型訓練失衡的問題。
以挑剔著稱的馬斯克在看到Kimi的研究成果后，不僅轉發了相關研究，還評論稱“Kimi的作品令人印象深刻”。值得一提的是，馬斯克旗下的xAI目前正處于重組期，此時他對Kimi技術的認可，足以見得這項技術的分量。而Jerry Tworek作為被譽為“推理模型之父”的前OpenAI研究副總裁，他的高度評價更是為Kimi的技術實力增添了有力背書。
