(相關(guān)資料圖)

（圖片來源：OpenRouter官網(wǎng)）

當(dāng)前，月之暗面已經(jīng)勾勒出下一代K3模型的發(fā)展藍(lán)圖。

楊植麟表示：“在OpenAI建成千億級(jí)美元數(shù)據(jù)中心之前，K3會(huì)推出的?！彼嘎?，團(tuán)隊(duì)正計(jì)劃在K3中引入重大的架構(gòu)變革，“KDA是我們最新的實(shí)驗(yàn)性架構(gòu)，相關(guān)想法很可能會(huì)在K3中使用?！?/p>

據(jù)介紹，KDA（Kimi Delta Attention，一種線性注意力模塊）在實(shí)驗(yàn)中表現(xiàn)出色，楊植麟表示它在所有評(píng)估維度上都展現(xiàn)出性能提升，包括長(zhǎng)序列輸入輸出的強(qiáng)化學(xué)習(xí)場(chǎng)景，同時(shí)保持了線性注意力機(jī)制的效率優(yōu)勢(shì)。

關(guān)鍵詞： 財(cái)經(jīng)頻道 財(cái)經(jīng)資訊