English

刘知远:大模型展现出与预训练模型迥然不同的4种特性

2023.05.12

近期,清华大学教育基金会举办主题为“清华AI知多少”的“感知日”活动,邀请清华大学在人工智能领域的教授学者,为长期关心支持清华发展的各界人士提供人工智能研究前沿动态,以主旨演讲、深度对话和观众互动的方式提供思想盛宴,以期嘉宾们能够对人工智能研究有全面立体的感知。


在感知日的活动上,清华大学计算机科学与技术系副教授刘知远指出,大模型能够充分利用无标注大数据和知识,具有良好的通用性能,为AI研究应用带来全新可能。ChatGPT 吹响了大模型迈向通用智能的号角,新的纪元刚刚开启。


刘知远指出,大模型展现出与之前的深度学习、小规模的预训练模型迥然不同的特性,包括:

1、大模型具有参数高效微调的能力;

2、大模型涌现出稀疏激活特性,有望节省95%以上的计算量;

3、在语言上训练的大模型,可以进一步学习获得使用工具的能力;

4、大模型还具有非常强大的通用性。


刘知远提出,以ChatGPT为代表的大模型,仍然面临着非常多的挑战,中国应该面向未来去布局相关的创新研究和应用。


北京市海淀区中关村东路1号院3号楼12层1201

清华大学教育基金会

邮编:100084

联系电话:
  • 资源开发部:(8610) 62783786
  • 战略研究部: (8610)62780779
  • 项目管理部:(8610) 62797255
  • 捐赠服务部:(8610)62782779
  • 综合办公室:(8610) 62794587
  • 公共关系部:(8610) 62789633
  • 财务部:(8610)62794861/62794260
  • Email: tuef@tsinghua.edu.cn
  • 传真:(8610)62785959
  • 视频号
  • 微信订阅号
  • 微信服务号

版权所有 © 清华大学教育基金会