近期,清华大学教育基金会举办主题为“清华AI知多少”的“感知日”活动,邀请清华大学在人工智能领域的教授学者,为长期关心支持清华发展的各界人士提供人工智能研究前沿动态,以主旨演讲、深度对话和观众互动的方式提供思想盛宴,以期嘉宾们能够对人工智能研究有全面立体的感知。
在感知日的活动上,清华大学计算机科学与技术系副教授刘知远指出,大模型能够充分利用无标注大数据和知识,具有良好的通用性能,为AI研究应用带来全新可能。ChatGPT 吹响了大模型迈向通用智能的号角,新的纪元刚刚开启。
刘知远指出,大模型展现出与之前的深度学习、小规模的预训练模型迥然不同的特性,包括:
1、大模型具有参数高效微调的能力;
2、大模型涌现出稀疏激活特性,有望节省95%以上的计算量;
3、在语言上训练的大模型,可以进一步学习获得使用工具的能力;
4、大模型还具有非常强大的通用性。
刘知远提出,以ChatGPT为代表的大模型,仍然面临着非常多的挑战,中国应该面向未来去布局相关的创新研究和应用。