​对标GPT-3、AlphaFold,智源研究院发布超大规模智能模型系统“悟道1.0”

news/2024/7/5 11:41:03

出品 | AI科技大本营(ID:rgznai100)

3月20日,北京智源人工智能研究院发布我国首个超大规模智能模型系统“悟道1.0”。“悟道1.0”由智源研究院学术副院长、清华大学唐杰教授领衔,带领来自北京大学、清华大学、中国人民大学、中国科学院等单位的100余位AI科学家团队联合攻关,取得了多项国际领先的AI技术突破,形成超大规模智能模型训练技术体系,训练出包括中文、多模态、认知、蛋白质预测在内的系列模型,勇闯通用智能发展前沿,构建我国人工智能应用基础设施。同时,与龙头企业共同研发工业级示范性应用,加快大规模智能模型应用生态建设。

从“大炼模型”迈向“炼大模型”,“悟道”模型旨在探索通用智能

会上,智源研究院院长黄铁军教授介绍了“悟道”模型研发的初衷。据他介绍,本轮人工智能浪潮的基本特点是“数据+算力+算法=模型”,模型浓缩了训练数据的内部规律,是实现人工智能应用的载体。近年来人工智能的发展,已经从“大炼模型”逐步迈向“炼大模型”的阶段,通过设计先进的算法,整合尽可能多的数据,汇聚大量算力,集约化地训练大模型,供大量企业使用,这是必然趋势。


智能模型不仅要规模大(主要体现为参数量),还要智商高,才能满足各种应用需要,这需要突破大量技术挑战。例如:如何使得预训练模型具备像人类一样的符合逻辑、意识和推理的认知能力?如何实现对图、文和视频等多模态数据和信息的理解和建模的统一?如何将中文融入预训练模型,推动中文应用背景下的人工智能的发展?如何使得预训练模型深入融入自然科学研究,在目前基础上进一步实现对超长/复杂蛋白质序列的建模和预测?

会上,“悟道”模型技术委员会主任、智源研究院学术副院长唐杰教授介绍了“悟道”模型的战略布局及阶段性成果。据介绍,“悟道1.0”先期启动了4个大模型的研发:面向中文的预训练语言模型悟道·文源、首个公开的中文通用图文多模态预训练模型悟道·文澜、具有认知能力的超大规模预训练模型悟道·文汇、以及超大规模蛋白质序列预测预训练模型悟道·文溯。

在科研方面,“悟道1.0”模型正在逐步搭建并完善超大规模预训练模型技术体系,取得了多项国际领先的AI技术的突破:在基础性能方面,在自然语言理解和生成、跨视觉和文字的理解与检索等多项任务上取得更好表现;针对预训练模型有效使用,提出高效算法;进一步实现规模和性能的扩增中面临的挑战;以及建设并开放了全球最大中文语料数据库WuDaoCorpora。

应用生态“三步走”:探索“悟道”大模型生态发展

在模型研发的同时,智源研究院也在同步探索“悟道”模型的应用生态建设模式。据唐杰教授介绍,后续“悟道”模型将以开放API(应用程序接口)的形式对外提供服务,用户通过申请并经授权后可以基于模型API开发各类智能化应用。另外,也会开源模型的社区版本,服务我国AI科研发展。

下一步,“悟道”模型应用生态建设分为三个主要阶段,分别关注示范应用、API生态及社区运营维护等。第一阶段为示范性应用搭建,将构建面向电子商务、智能文本服务、垂直领域以及数个独立的示范性应用,将开放几个高质量的应用Demo,支持用户在平台页面上使用及测试。第二阶段为API及平台生态构建,将设计多个API,支持对模型的不同请求方式,构建支持高并发、高速推理的API接口,分别支持企业级用户、个人独立开发者对模型或特定功能的请求。第三阶段为社区运营及迭代,将逐步增量扩大在线评测,构建开发者及使用者社区,建立完善的使用反馈机制,并作为模型迭代的参考标准,同时加强社区维护及管理,加快模型迭代。

目前,智源研究院已启动第一阶段的示范性应用搭建,正与快手、搜狗、360、阿里、智谱华章、一览群智、循环智能、新华社等机构就模型的应用进行洽谈,联合构建一批工业级示范性应用。

下一步,智源研究院将加强用户的开发,做好用户服务,与AI龙头企业共同研发更多工业级示范性应用,并将加快推动API生态构建及社区运营迭代工作,通过举办学术交流、技术挑战赛等活动提高“悟道”模型的影响力,吸引更多AI企业、研究机构、个人开发者等开展基于模型的应用开发工作,推动构建国际领先的超大规模智能模型应用生态。

此外,为了更好地推动“悟道”大模型的研发,保持研发过程中技术的领先性,此次发布上,还同时成立了由北京大学鄂维南院士等9位来自学术界和产业界的顶尖科学家组成的“悟道”大模型技术委员会。

更多精彩推荐
☞Python 玩出花儿,把罗小黑养在自己桌面☞315 曝光人脸识别摄像头,进店瞬间偷走你的“脸”,自动分析心情☞玩转3D全息图像!AI即刻生成☞在 5G 速度上,iPhone 12 只是个弟弟

http://lihuaxi.xjx100.cn/news/262656.html

相关文章

超越快手腾讯!度小满NLP模型登顶CLUE榜首

视学算法报道 编辑:桃子 好困【新智元导读】要说自然语言处理最厉害的兵器,非「轩辕」剑莫属。近日,度小满金融AI-Lab研发的轩辕 (XuanYuan) 预训练模型刷榜CLUE,距离人类「表现」仅差3.38分!自然语言处理是人工智能皇…

Java技术体系平台

实际上Java2就是java 1.2,因为相较于1.1改动比较大,所以就叫java2了。 然而我们现在很少说Java2,现在都直接称为Java。也就是Java语言。 Java2平台包括:标准版(J2SE)、企业版(J2EE)和微缩版(J2ME&#xf…

微软职位内部推荐-Sr. Dev Lead

微软近期Open的职位:JD如果你想试试这个职位,请跟我联系,我是微软的员工,可以做内部推荐。发你的中英文简历到我的邮箱:Nicholas.lu.mail(at)gmail.com转载于:https://www.cnblogs.com/DotNetNuke/p/3885283.html

MySQL太细碎了,我硬生生捋出了一条核心大主线!

前两天看到字节一个老哥写的帖子,提到高阶开发者必须掌握的技能,其中他明确提出了“精通MySQL”。为啥MySQL对开发人员如此重要?第一,不管你去面试哪家公司,数据库是必问项,而MySQL使用范围广,无…

Flask处理响应

处理响应 需求 如何在不同的场景里返回不同的响应信息&#xff1f; 1 返回模板 使用render_template方法渲染模板并返回 例如&#xff0c;新建一个模板index.html <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"…

ubuntu fctix

感觉ubuntu自在大ibus输入法用起来实在是灰常蛋痛啊&#xff0c;于是乎就换了fcitx输入法&#xff08;很多人推荐嘛&#xff09;在安装之前先说一下fcitx输入法吧。1.添加fcitx源(官方的源是旧版,不推荐使用)fcitx的ppa源&#xff0c;内含fcitx和fcitx-config,使用命令sudo ged…

《数据竞赛白皮书·下篇》发布,开源办好一场数据竞赛的实践方法论

两周前&#xff0c;我们发布了《数据竞赛白皮书上篇1000场竞赛的深度分析》&#xff0c;通过28000字的研究分析、54个高品质图表&#xff0c;讲透了数据竞赛行业发展&#xff0c;带领大家看懂了竞赛高热度背后的逻辑。上篇发布后&#xff0c;引发了广泛的讨论&#xff0c;涌进公…

1行代码消除PyTorch的CUDA内存溢出报错,这个GitHub项目刚发布就揽星600+

点击上方“视学算法”&#xff0c;选择加"星标"或“置顶”重磅干货&#xff0c;第一时间送达丰色 发自 凹非寺量子位 报道 | 公众号 QbitAICUDA error: out of memory.多少人用PyTorch“炼丹”时都会被这个bug困扰。一般情况下&#xff0c;你得找出当下占显存的没用的…