改进人工智能大型语言模型有助于它们更好地与人类大脑活动保持一致

近年来，随着生成人工智能(GenAI)改变了社交互动格局，使用深度学习算法训练 GenAI 平台处理语言的大型语言模型(LLM)备受关注。

香港理工大学(PolyU)最近的一项研究发现，当以与人类处理语言的方式更相似的方式进行训练时，法学硕士的表现更接近人类大脑，这为大脑研究和人工智能模型的开发带来了重要的见解。

目前的 LLM 大多依赖于一种预训练——上下文单词预测。这种简单的学习策略在与大量训练数据和模型参数相结合时取得了令人惊讶的成功，正如 ChatGPT 等热门 LLM 所展示的那样。

最近的研究还表明，法学硕士中的单词预测可以作为人类处理语言的合理模型。然而，人类不仅仅是预测下一个单词，还会在自然语言理解中整合高级信息。

由理工大学人文学院院长兼冼为坚基金人文及科技教授李平教授领导的研究团队，将下一句预测(NSP)任务纳入模型预训练中，并研究了模型数据与大脑活动之间的相关性。该任务模拟人类大脑在语篇层面理解的一个核心过程，以评估一对句子是否连贯。