【CNMO 科技消息】近日，在特斯拉 CEO 埃隆 · 馬斯克公開點贊中國 AI 公司 Kimi 的最新研究成果后，Kimi 官方賬號于 3 月 17 日以幽默口吻回應：" 你的火箭造得也不錯！"
據(jù) CNMO 了解，事件的起因是 3 月 16 日，月之暗面（Kimi）發(fā)布了一項關(guān)于大模型基礎(chǔ)架構(gòu)的研究，提出 "Attention Residuals"（注意力殘差）機制，對深度學習中沿用近十年的殘差連接進行了重新設計。傳統(tǒng)殘差連接采用固定、均勻的累加方式，而 Kimi 的新方法讓每一層能夠選擇性地關(guān)注此前各層的輸出，從而提升訓練效率。據(jù) Kimi 官方披露，在 48B 參數(shù)的模型上，該機制使訓練效率提升了 1.25 倍。
該研究迅速引起了學界和業(yè)界關(guān)注。馬斯克在社交平臺 X 上轉(zhuǎn)發(fā)并評論："Impressive work from Kimi"（Kimi 這項研究干得漂亮）。隨后，前 OpenAI 研究科學家 Andrej Karpathy 也發(fā)文稱，該研究真正踐行了 "Attention is All You Need" 的理念；被譽為 " 推理模型之父 " 的前 OpenAI 研究副總裁 Jerry Tworek 更是直言 " 深度學習 2.0 來了 "。這些來自全球頂尖 AI 專家的認可，凸顯了 Kimi 此次技術(shù)突破的分量。
