人工智能从“大炼模型”到“炼大模型”

人工智能可以分为几个发展阶段:基于数据的互联网时代、基于算力的云计算时代,以及接下来可能将进入的基于模型的AI时代,这相当于把数据提升为超大规模预训练模型。未来,研究人员可以直接在云模型上进行微调,很多公司甚至不用维护自己的算法研发团队,只需要应用工程师即可。

写小说、和人聊天、设计网页、编写吉他曲谱……号称迄今为止最“全能”的AI模型GPT-3,当然远远不止会这些。作为2020年人工智能领域最惊艳的模型之一,GPT-3无疑把超大规模预训练模型的热度推向了新高。

3月下旬,我国首个超大规模人工智能模型“悟道1.0”发布,该模型由智源学术副院长、清华大学教授唐杰领衔,带领来自清华大学、北京大学、中国人民大学、中国科学院等单位的100余位AI科学家组成联合攻关团队,取得了多项国际领先的AI技术突破,形成了超大规模智能模型训练技术体系,训练出包括中文、多模态、认知和蛋白质预测在内的系列超大模型。

已启动4个大模型开发

据悉,“悟道1.0”先期启动了4个大模型研发项目:以中文为核心的超大规模预训练语言模型文源、超大规模多模态预训练模型文澜、超大规模蛋白质序列预测预训练模型文溯,以及面向认知的超大规模新型预训练模型文汇。

唐杰介绍,文源拥有26亿参数,文澜则为10亿,文溯是2.8亿,文汇则达到了百亿以上。虽然相对于GPT-3的1750亿参数而言还有差距,但“接下来会有更大的模型”。

目前,文源模型参数量达26亿,具有识记、理解、检索、数值计算、多语言等多种能力,并覆盖开放域回答、语法改错、情感分析等20种主流中文自然语言处理任务,在中文生成模型中达到了领先的效果。

“目前这些模型既有一些交集,但也存在明显差异。文源的重点是在中文和跨语言,未来也会加入知识;文澜的重点主要是图文;文汇则更多地瞄向认知。”唐杰表示,认知是人工智能技术发展的趋势和目标,关系到机器是否能像人一样思考这个终极问题。

“下一代人工智能技术的发展方向一定是认知。”据唐杰介绍,在作诗任务中,目前文汇已经通过了图灵测试。从算法的角度上来看,文汇能通过图灵测试的关键在于“生成”,而不仅仅限于“匹配”,这种生成能力是多样的。

被问及为何会选择这4个预训练模型项目时,唐杰说,这是综合考虑了国内外同行的相关工作、国内人工智能发展的现状、团队人员构成、北京区域优势等作出的决定。“当时GPT-3刚发布不久,悟道团队认为首先要对标其卓越的少样本学习能力,同时还要做出差异化,做短、中、长3个阶段的布局。于是,中文版GPT-3即清源CPM(文源的前身)应运而生,这是短期布局。之后,文源要向中英文模型乃至多语言模型发展,这是中期布局。最后走向认知智能,这是长期布局。”唐杰说,与此同时,国内顶尖的企业人才、学术人才和自然科学人才所组成的团队给了项目巨大的想象空间。

《科技》最新头条新闻
  • 工信部:已实现所有地市5G覆盖

      随着我国5G商用的快速推进,我国5G基础设施建设投资持续扩大,覆盖范围也越来越广。 昨日上午,据工业和信息化部新闻发......

    12-25来源:未知

  • 游族董事长被投毒原因曝光

      12月23日晚,游族网络方面就董事长林奇住院一事再发声称,据警方通报,本案嫌疑人许某,就职于某个人投资的影视公司。......

    12-25来源:未知

  • B站将离世用户账号列为纪念账号

      12月24日,B站通过微博@哔哩哔哩弹幕网发布公告称,自今日起,对于不幸离开人世的B站用户,我们将在取得其直系亲属确认......

    12-24来源:未知

  • 蚂蚁回应约谈:严格遵从监管要求

      12月24日消息据新华视点,中国人民银行、中国银保监会、中国证监会、国家外汇管理局将于近日约谈蚂蚁集团,督促指导蚂......

    12-24来源:未知

  • 阿里巴巴:将积极配合监管部门调

      刚刚,阿里巴巴发布公告回应: 蚂蚁集团: 将认真学习和严格遵从监管部门的要求, 不折不扣地做好相关工作的落实 蚂蚁......

    12-24来源:未知

  • 2020外媒镜头下的中国抗疫

      【2020外媒镜头下的中国抗疫】新年伊始,一场突如其来的新冠疫情汹涌而至,从全员抗疫到生活恢复正常,外媒用镜头记录......

    12-23来源:未知

返回列表
Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。