加载中
GPT-3模型为何难以复现?这也许是分布式AI框架的最优设计

撰文 | 成诚 2020 年,最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信:大模型才是未来。但与之带来的问题是,训练超大...

2021/05/14 11:55
1.7K
GPU加速Pinterest推荐模型,参数量增加100倍,用户活跃度提高16%

作为图片届的“Twitter”,Pinterest首页展示给用户的图片也离不开背后的推荐模型。近期,其工程团队通过将机器学习服务从CPU转移到GPU上,使得Pinterest可以上线比之前大100倍的推荐模型。上...

08/10 08:03
9
OneFlow源码解析:算子指令在虚拟机中的执行

撰文|郑建华、赵露阳 1 Op在虚拟机里的执行 1.1 PhysicalRun和InstructionsBuilder 上一篇文章《OneFlow源码解析:Op、Kernel与解释器》中提到: PhysicalRun接受一个lambda函数作为参数,这...

左益豪:用代码创造一个新世界|OneFlow U

左益豪,一流科技工程师(实习),2022年本科毕业于北京邮电大学电子商务及法律专业,目前已保研到本校人工智能学院。除了爱写代码,他自称,“琴棋书画,样样不通,唱跳Rap篮球,完全不会,...

Geoffery Hinton:深度学习的下一个大事件

来源|The Robot Brains Podcast 翻译|胡燕君、沈佳丽、程浩源、许菡如、贾川 在当今享誉世界的AI科学家中,深度学习教父Geoffrey Hinton也许拥有最为与众不同的研究思维——他喜欢按直觉行...

08/02 08:03
15
OneFlow源码解析:Op、Kernel与解释器

撰文|郑建华 更新|赵露阳 1 Op与Kernel的注册 继续追踪执行流程会发现,ReluFunctor在构造UserOpExpr时会用到UserOpRegistryMgr管理的Op与Kernel。Op表示算子的描述信息,Kernel在不同设备...

07/29 08:03
434
18张图,直观理解神经网络、流形和拓扑

迄今,人们对神经网络的一大疑虑是,它是难以解释的黑盒。本文则 主要从理论上理解为什么神经网络对模式识别、分类效果这么好,其本质是通 过一层层仿射变换和非线性变换把原始输入做扭曲和变...

一种分布式深度学习编程新范式:Global Tensor

撰文|姚迟、许啸宇、左益豪、程国良 Global Tensor 是指多机多设备执行的 Tensor,它是实现全局视角(Global View)编程的接口。 当前的并行程序,大都采用单程序多数据(SPMD)的方式来编程...

如何在OneFlow中新增算子

撰文|姚迟、郑泽康 本文将以开发一个 leaky_relu(准确说是 leaky_relu_yzh op,因为 master 分支的 leaky_relu 组合了其它知识点)为例介绍如何在 OneFlow 中新增算子(https://github.co...

源启数字化:既有模式,还是开源创新?|砺夏行动

百年变局与世纪疫情交织叠加,不确定性增加。“产生混乱时最大的危险不是混乱本身,而是人们按照过去的逻辑行事”(德鲁克,1992)。有人会责怪命运不济,而智慧的人则认为这会是个千载难逢的...

07/20 11:36
24
我,AI博士生,在线众筹研究主题

给那个可怜的博士生一个研究主题吧。 AI崛起十年之后,一些低垂的研究果子能摘的基本都被研究者们摘完了,隐藏在高处的果子一般人很难拿下。现在,很多研究者拔剑四顾心茫然,尤其对刚刚踏入...

OneFlow v0.8.0正式发布

今天是 OneFlow 开源的 717 天,OneFlow v0.8.0 正式发布。本次更新包含523个commit,完整更新列表请查看链接: https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.8.0 ,欢迎下载体验...

OneFlow源码一览:GDB编译调试

作者|王益、严浩 翻译|程浩源、董文文 1 GDB Python3 PyTorch官方发布了如何使用GDB对Python触发的C++代码进行调试的指南,详情参考: https://github.com/pytorch/pytorch/blob/master/CO...

大模型训练难于上青天?效率超群、易用的“李白”模型库来了

来源|机器之心 大模型多了去了,告诉我怎么加速?自 2018 年 BERT 诞生,到 GPT-3、ViT 等拥有数以亿计的参数规模的模型不断涌现,AI 模型参数量的爆发式增长已不足为奇,让炼丹师无暇顾及甚...

并行计算的量化模型及其在深度学习引擎里的应用

撰文|袁进辉 天下武功,唯快不破。怎么更快地训练深度学习模型是业界一直关注的焦点,业界玩家或开发专用硬件,或开发软件框架,各显神通。本文将介绍对深度学习计算效率最关键的一些基本定...

LLVM之父Chris Lattner:为什么我们要重建AI基础设施软件

翻译|沈佳丽、贾川 人们曾经想象中的AI愿景很美好,现状却不尽人意。AI在自动驾驶、新药研发等日常应用上并未实现当初的预言,常见的吐槽是,全球的科技巨头汇集了一大批最聪明的大脑,但更...

从MLPerf谈起:如何引领AI加速器的下一波浪潮

作者|Adi Fuchs 翻译|程浩源、沈佳丽 在深度学习史上,专用化硬件至少在AlexNet和Transformers这两个革命性时刻发挥了关键作用,介绍这两种架构的论文都在其摘要中强调了GPU的作用,并详细...

OneFlow源码解析:算子签名的自动推断

撰文 | 郑建华 OneFlow是一个原生支持分布式训练的、高性能的深度学习框架。最近读了一些OneFlow的源码、架构设计和代码实现的文章,简单梳理一下自己的理解。主要通过图形展示调用过程和类之...

Geoffrey Hinton:我的五十年深度学习生涯与研究心法

来源|The Robot Brains Podcast 翻译|沈佳丽、程浩源、许菡如、胡燕君、贾川 他从未正式上过计算机课程,本科在剑桥大学读的是生理学和物理学,期间曾转向哲学,但最终拿到的却是心理学方向...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
http://www.vxiaotou.com