圖：理大人文學(xué)院院長李平表示，是次發(fā)現(xiàn)有助推動未來相關(guān)研究。

 

　　【大公報訊】記者郭如佳報道：運用深度學(xué)習(xí)演算法訓(xùn)練生成式人工智能（GenAI）的大語言模型近年備受關(guān)注。香港理工大學(xué)最近一項研究發(fā)現(xiàn)，如果以人類處理語言的類似方式進行訓(xùn)練，大語言模型理解語言的表現(xiàn)就更像人類腦部。領(lǐng)導(dǎo)該研究的理大人文學(xué)院院長李平表示，此項研究解釋了如何利用大語言模型研究人類大腦加工語言的高級機制，還能促進人工智能和認知神經(jīng)科學(xué)領(lǐng)域研究人員之間的互動與合作，推動未來相關(guān)研究。

　　現(xiàn)有的大語言模型主要依賴于上下文單詞預(yù)測單一類型的訓(xùn)練。近期研究亦表明，大語言模型中的單詞預(yù)測可以作為人類處理語言的認知模型。然而，人類平時理解語言時不僅只會預(yù)測下一個單詞，還會整合自然語言理解中的高層次信息。

　　理大人文學(xué)院院長兼冼為堅基金人文與科技講座教授李平領(lǐng)導(dǎo)的研究團隊，將模擬人腦評估句子之連貫性的“下一句子預(yù)測”（Next Sentence Prediction，NSP）納入模型預(yù)訓(xùn)練，并檢驗?zāi)Ｐ蛿?shù)據(jù)與腦活動的相關(guān)性。研究發(fā)現(xiàn)NSP能用來預(yù)測前后句子怎樣互相關(guān)聯(lián)，與人類語義理解的神經(jīng)模型非常脗合，亦能強化大語言模型的能力。

　　與只學(xué)習(xí)單詞預(yù)測的模型相比，NSP增強模型與腦數(shù)據(jù)在多個腦區(qū)顯示出更一致。研究結(jié)果亦提供了新見解，了解人類大腦如何加工語義，包括右腦在理解語義中的重要作用。其他發(fā)現(xiàn)亦顯示大語言模型納入NSP的優(yōu)勢，即基于增強模型的“模型─腦對應(yīng)”分數(shù)可以更好地預(yù)測人的閱讀速度。

　　近期如ChatGPT的大語言模型主要通過無限擴充訓(xùn)練資料和模型規(guī)模以提升能力。李平表示，僅依靠這種極度擴展的方式存在很多局限，新的突破則有賴于我們將大模型變得更像人腦那樣不需要海量數(shù)據(jù)，更高效益。他亦指出，像NSP這類多樣化的學(xué)習(xí)任務(wù)可以改進大語言模型的人性化水準，使其更加接近人類智慧。

相關(guān)熱詞搜索：

上一篇：極端天氣趨頻繁 增塌泥預(yù)警
下一篇：最后一頁