新2会员网址(www.122381.com):30名工程【cheng】师,历
  • 时1300天打造,又一“国产”AI框架开源了
  • 新2备用网址

    www.122381.com)是一个开放新2网址即时比分、新2网址代理最新登录线路、新2网址会员最新登录线路、新2网址代理APP下载、新2网址会员APP下载、新2网址线路APP下载、新2网址电脑版下载、新2网址手机版下载的新2新现金网平台。新2网址登录线路最新、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。

    ,

    作者 | Just

    出品 | CSDN(CSDNnews)

    “我发现,软件研发总会延期。”一流科技CEO袁进辉说。

    根据他的预期,深度学习框架OneFlow做两年就能开源给开发者磨练,但时间向后延伸了近一年半,“确实预计的禁绝”。

    但无论若何,经由1300多天的打磨,一个由30多人团队打造的基于静态调剂和流式执行手艺的OneFlow深度学习框架终于问世。

    对于刚刚在GitHub开源的OneFlow,袁进辉总体打85分。

    与其他几个“国产”AI框架相比,袁进辉以为,在完整性上,OneFlow比在今年3月开源的MindSpore和MegEngine要更好,不外支持的模子库照样比2016年就开源的PaddlePaddle要少。

    效率方面,OneFlow的一类优势是“人有我优”,好比其他框架做数据并行得90分,他们进一步“挖油水”,做到靠近100分;另有一类叫“人无我有”,其他框架基本只有深度定制才气支持超大模子,而OneFlow可以容易做到。袁进辉给出了一组数据对比,显示其他框架在大规模模子训练效率上与OneFlow对比,有数目级的差距。

    而在多卡的易用性上,OneFlow要比其他框架要好,但在支持动态图方面,袁进辉也坦承与PyTorch有差距,不外很快可以追上。

    2017年1月,Pytorch正式推出,TensorFlow正如日中天。彼时,海内外除了一线大厂,鲜有创业公司敢去啃AI框架这一硬骨头,但刚刚确立的一流科技却对此很坚定,即便那时从资金、团队、生态、品牌各个维度上来看,外界以为他们做的是Mission Impossible。

    他们的信心源自对底层手艺偏向的掌握。2015年,那时还在微软亚洲研究院的袁进辉(网名:先生木)已经研究了快两年的AI框架,和内部专家有过许多交流碰撞,这让他坚定要做一款差异手艺偏向的AI框架,但那时在研究院找不到工程团队支持。袁进辉信托,若是能找到数十个“袁进辉”组团,就可以搞定这件大事。

    2020年年头,在又一次估错开源时间后,OneFlow团队最终搞定,开源了二、三十万行代码。他希望,把这个框架的精妙和创新之处,与每一位使用它的开发者。

    GitHub链接:

    OneFlow地址:/,

    为什么是静态调剂和流式执行

    CSDN:显然,现在OneFlow是真正接受宽大开发者磨练的时刻了,跟之前的预期相比,你给现在开源的版本整体打若干分?

    袁进辉:预期的一定是想让框架综合来说都很好,但这样做工程量着实太大,以是现在只能在一个维度上异常有特色,有优势,整体我打85分,在扩展性这一个维度上是异常好的。

    易用性方面,Pytorch是异常好的。TensorFlow完整性异常好,用户用这个框架做训练之后,要在服务器端部署,就要serving,在终端上部署要有轻量级版本,要搞可视化,要支持许多的算子,模子库要厚实,要能支持图像、强化学习,自然语言、广告推荐等应用,要什么要有什么,TensorFlow在这方面异常好。

    另有扩展性或效率,就是算的快不快,好比用户投入10倍或100倍资源,能不能真的让它加速10倍或100倍,以及现在业界泛起的Bert、GPT-3等大模子,你的框架能不能做。

    OneFlow框架对照大的优势或特色,就是效率。

    CSDN:像GPT-3这些最新的模子OneFlow都市支持?

    袁进辉:GPT-3是土豪才气玩的模子,不然则手艺问题,暂时还不支持。Bert是支持的,另有像广告推荐、人脸识别、检测、图像分类,最常见的十几个模子一开源就会支持。

    CSDN:OneFlow架构大致分为哪几层?

    袁进辉:最上面是模子库,模子库支持CNN等种种经典模子应用,另有Python的API层,基本上其它框架主要也是Python。最底层就是跟硬件打交道的,另有XLA、TVM这些编译器。

    中央两层是OneFlow和其他框架差异对照大的地方,划分是编译层和执行层。编译层实在就是静态调剂的实现,执行层就是盘算图的执行。

    CSDN:OneFlow框架的设计理念和手艺创新是什么?

    袁进辉:架构是为目的服务的。我们最大的追求是降低用户使用多机多卡的难度,提升这方面的用户体验。

    但不幸的是,现在的框架只解决这个需求里最简朴的部门,也就是数据并行。若是神经网络模子参数目自己不大的话,现在所有框架都能有对照知足的效果,但厥后又泛起许多像Bert、GPT-3这种参数目伟大的新模子,以及超大规模的人脸识别,大规模广告推荐,这就需要支持参数支解的模子并行,模子运行在框架层面是一个异常挑战的难题,到今天绝大部门主流框架都没有这个功效,纵然定制之后能跑通,效率也很惨,知足不了工业级需求。

    另外,就是要解决编程效率问题,怎么让多机多卡漫衍式编程更容易,也是OneFlow多机多卡体验的一部门。

    为了知足这个目的,OneFlow趟出了一条其他框架还没有走的路,也就是静态调剂和流式执行。

    CSDN:静态调剂和流式执行怎么解决问题的?

    袁进辉:这跟深度学习算法和异构盘算特点相关。深度学习的义务负载特征跟以前Haddop,Spark面临的盘算纷歧样。以前许多义务是批式处置,处置整体数据,盘算粒度很大,但深度学习是随机梯度下降算法,是异常多小粒度的盘算组成,靠近流式盘算,大数据系统里的Flink、Storm也是流式系统,与那些批式处置系统纷歧样。

    底层支持硬件也纷歧样,深度学习包罗大量浓密盘算,异常适合高度并行的加速卡,普遍地依赖于异构盘算,既有CPU也有加速卡,不是以前的纯CPU集群,GPU等加速器处置更快。以是,每一片义务过来,都是百毫秒甚至在几毫秒以内差不多就完成了。

    一个作业重包罗数十万异常小的转瞬即逝的义务,每个义务粒度异常低,若是系统内里有一丁点不顺畅,可能就成为整个系统的瓶颈,由于所有的小义务都需要等着调剂器做决议。

    怎么解决这个问题?我们的思绪是凭证深度学习自己的特点,挖掘出调剂纪律,让系统在盘算发生之条件前获得许多调剂的纪律的和战略,这种情形下就能把所谓的运行时的那种分外的开销就降到尽可能的低,险些降到可忽略不计,这就能战胜异构的流式盘算里异常严重的挑战。

    流式执行是做什么?在这种义务里的多个卡之间频仍的数据搬运,对整个盘算义务来说也是一个异常显著的开销,那流式系统就能提前通过整体设计,在每一次盘算发生之前,就把所需要的数据参数都提前取到,通过流水线把数据搬运和盘算做完全地重叠。若是是以前那种批式处置的大数据系统,就没法做到。

    以是,OneFlow的思绪就是做一个偏静态调剂和流式执行的系统。

    CSDN:针对多机多卡的问题,除了OneFlow提出的解决路径,市面上其他框架怎么做的?

    袁进辉:在多机多卡义务上,另有解决那些庞大的超大模子场景上的探索,整个行业是对照低级的。像PyTorch只关注易用性的话,重点都是在单卡上,纵然做多卡也是最简朴的all reduce,调一下英伟达的NCCL库就好。

    由于近期有一些大模子出来,模子并行、流水并行的方式,整个行业才最先关注,包罗Google做的GPipe, Mesh-Tensorflow,另有华为MindSpore对这类模子举行探索,但大部门也仅仅是做一个插件,很难加入主干代码,要实现准确且高效是异常难的。

    不谦逊地说,在解决多机多卡问题上,其他框架和OneFlow可能是一两年的差距。

    CSDN:按你说的,多机多卡算是强需求,其他框架怎么一最先就没思量到这一点?

    袁进辉:这是个好问题,有多方面的因素。一是大部门用户没有那么大规模的盘算资源,有多机多卡的都是土豪,大部门用户面临的义务或场景还没到多卡的规模;二是从模子生长的情形来说,超大模子趋势是近期泛起的,早期,人人的认知就是做数据并行就够了,也不是那么难。

    三是差其余团队有差异战略,多机多卡属于公认的手艺难题,但摘果子的时刻人人一定先摘低垂的果子,以是有的框架可能先做最宽大用户看中的一些器械,把多机多卡的优先级往后移了,好比PyTorch一最先主打易用性,TensorFlow厥后做多机多卡的加速比收益很低,很难用,但不故障它捕捉大量的用户;四是,多机多卡需要GPU服务器之间有异常高速的带宽,这需要一些特殊的软件和硬件手艺,像支持RDMA的以太网等手艺另有普及的历程。

    CSDN:能支持超大模子,是OneFlow创业初期就有的判断照样后期有时的顺势而为?

    袁进辉:这也是个很好的问题。这个判断是创业初期就有的,但发生这个想法很具有有时性。

    有时刻别人也问我,为什么你最先想到搞这种并行,我就回复,我提前展望到这是个刚需,是早晚会发生的事情,由于底层芯片中,单个芯片的盘算力是有物理限制的,你必须通过互联方式等才可能解决。

    在2008~2011年在清华盘算机系做博士后时,对使用机械学习方式明白人脑神经网络结构的形成感兴趣。

    2013年,我在微软研究院,这时深度学习已经热起来,就想把我博士后的课题“明白神经网络为什么work”做下去,到现在这个问题还没有令人知足的理论效果,以及为什么CNN这种从人脑结构中启发获得的网络,在应用上效果这么好?要研究这个理论味道十足的问题,那时就会晤临一个挑战,明白参数目伟大的神经网络背后的机制,实在盘算空间参数目伟大。

    这个问题我在微软研究了一年,这种基于好奇心的研究又回到了盘算的手段上。而那时的许多框架,要实现这种研究都不能能,这项研究只好无疾而终。我后面在微软又做了主题模子LightLDA,是一个异常大规模的模子,我加倍信托,框架不能仅仅停留在做CNN这种很小参数目的模子。2014年年底,那时TensorFlow还没宣布,我已经最先想象未来的深度学习框架是什么样。

    厥后,Caffe、TensorFlow宣布后,仍然解不了我想要解决的伟大模子问题。以是,我照样要想设施用一种手艺或者架构去设计出一个框架来支持大模子研究。

    作为科学家,我有好奇心,就要竭尽万能去验证,我不想由于工具的缺失,验证不了一个idea。这就启发我和团队一直往这个偏向去想,我们也去看别人框架怎么做,从历史中去学习履历,包罗硬件迭代、高性能网络等等,最后不停提炼,把蹊径走通。

    CSDN:回到OneFlow框架整体的定位,它是一个首创了静态调剂和流式执行架构的ML框架,这个焦点定位到今天开源有没有发生过转变?

    袁进辉:没有,由于问题没有转变。那时能想到的最好方式也就是这样的,从那时到现在好几年时间把几十个要害难题买通,现在简直看到效果是相符预期的。

    若是说有什么扩展的话。已往一两年整个行业最大的转变就是PyTorch的崛起,应该很少人都预计到它能通过易用性捕捉那么多用户,固然,易用性背后也有动态执行等一套手艺支持,现在人人都这么搞了。以是在静态调剂和流式执行外,OneFlow也弥补了动态图执行的机制。

    开发者上手门槛高不高

    CSDN:OneFlow更多强调的是工业级落地,对学界的开发者支持力度怎么样?

    袁进辉:应该说,学界开发者也是我们很重视的。首先,已经提供了一些对照经典的模子,单机单卡的使用体验实事求是说和PyTorch有差距,但我以为会早晚追上。若是想用多机多卡或是单机多卡,OneFlow会很有优势,一个是效率的优势,一个是易编程的优势。

    新2会员网址

    www.122381.com)实时更新发布最新最快最有效的新2网址和新2最新网址,包括新2手机网址,新2备用网址,皇冠最新网址,新2足球网址,新2网址大全。

    CSDN:开发者上手容易吗?

    袁进辉:我们起劲把它做到上手体验和其他框架差不多,但我们为了提升漫衍式的易用性,引入了一些新的看法,可能需要开发者去领会、学习一下。固然,在单卡的情形下,和其它框架是差不多的,纵然有差距我们也会更快补上。

    CSDN:文档写得够详细吗?

    袁进辉:文档分三个条理。一部门是API文档,我们每个OP和TensorFlow、PyTorch险些是一样的,而且纵然有的地方没有文档,你看TensorFlow或PyTorch的文档也够了;另有用户搭建模子的文档,是对照全的;设计文档涉及到代码内里的架构,这是欠缺的,框架开源之后希望快速补上,我们会先放出一些对照high level的设计文档。

    CSDN:开源后,框架会若何优化?

    袁进辉:我们要做的事还真的蛮多。有模子库的建设,我们希望用户最需要的那些模子都在OneFlow上有实现,而且在业界有竞争力,还要做和其他框架的兼容,文档的也要做。

    另有一些对照深的手艺难题,包罗在框架和编译器,异常动态的神经网络,以及偏希罕的网络怎么能在OneFlow框架上支持。

    CSDN:在支持上层应用落地上,你们是做to B服务,在场景落地和客户的选择上是否有优先顺序的筛选?

    袁进辉:一定有。OneFlow框架主打效率和扩展,稀奇是头部的互联网企业、AI企业就有这个需求,我们并不是从这类企业内里去挣钱,而是真的知足它的需求,我们也愿意去做支持,希望能做成标杆客户,纯粹是为了增添OneFlow的应用场景。

    CSDN:开源后,商业化历程有没有什么设计?

    袁进辉:框架要在整个平台下面去做商业化,需要和许多其他的模块系统配合,以是我们是有私有部署的解决方案,稀奇是传统大型企业背后的算力中央需要整套解决方案,这可以作为近期商业服务收入,未来要向云服务生长。

    百家争鸣照样在向终局收敛

    CSDN:你现在还能相对客观的评价和总结一下,市面上其他主流框架的优势和不足吗?

    袁进辉:先声明这是利益相关。我是遵从心里,照样不冒犯别人呢?

    TensorFlow,我以为是最好,编译器、框架、 serving、 lite、可视化等都有,另有异常壮大的算法科学家、应用场景和工程团队的支持,社区和生态异常强。不足之处是大而全,在任何一个单点上总能找到比它更好一点的框架,TensorFlow历史肩负太重,系统太庞大,难以实时吸收框架手艺的新突破。

    PyTorch,它的优势也是它的瑕玷,整个架构是为领会决易用性问题,手艺较简朴,整个工程庞大度对照低,切中了用户痛点,这是它的利益。不足之处在于,为未来稀奇是大规模需求思量的不多,训练出来模子之后举行部署时也对照难题。

    MXNet,早期的时刻现实上有许多好的想法,但缺乏一个异常清晰的主蹊径,很长时间没有大的提高。

    PaddlePaddle,完整度是很好的,在百度内部强制使用,有实践磨练,但在手艺上像追随者的角色,没有突破和引领潮水。

    MindSpore,团队很强,做全栈AI的战略上想得异常清晰,局部有手艺创新,问题是对GPU的支持不足。

    MegEngine,亮点是把训练和推理一体化了,但这个团队的基因是视觉,对自然语言处置、广告推荐、强化学习等应用的支持可能不在他们的视野之内。

    CSDN:你说过,在资源有限的情形下,做框架必须找到最准确的路径才气做到又快又好,从百家争鸣向终局收敛,现在是百家争鸣照样说手艺框架的手艺已经在收敛了?

    袁进辉:我以为是现在处于争鸣和收敛的历程中,离终局可能另有两年时间。

    每一个框架上的生态就能像个黑洞一样,外界有什么新的想法也都为自己所吸纳。若是一个手艺创新不是足够大的话,这个想法就很容易被生态最强的框架吸已往。以是新框架必须与众差异,这样别人吸收你会异常难题,你也就有一个时间窗口能站稳,拥有一波铁杆用户,才可能生长壮大。

    CSDN:收敛是不是意味着手艺蹊径会走向同质化?

    袁进辉:是的,各个框架现在来说长得越来越像了,由于我看你这个想法好,也根据你的套路去做,以是竞争异常白热化。我信托未来这个市场现实上会酿成一个赢者通吃的事态。

    CSDN:你说竞争到了白热化,但总体来看,框架的数目是对照少的。

    袁进辉:框架这个领域确实数目不多,由于庞大性和难度已经拦住了许多人,有许多人以为做框架没有胜算,他就不会来做这个事,以是但凡进来的都是强者。

    CSDN:OneFlow会成为其中一个赢家吗?

    袁进辉:原来是TensorFlow一家独大,PyTorch的泛起造成各占百分之四五十的市场,我们信托OneFlow可以逐渐站住脚,先实现三分天下,甚至可以再进一步,我们有这个信心。

    CSDN:有人说,开发者对于训练和推理这两个维度的关注点纷歧样,在训练时更关注效率,推理时更关注低功耗,以是训练和推理可能会分化出两大框架市场,你赞成吗?

    袁进辉:一定赞成。训练有两个维度很主要,一个是易用性,研究员要快速的把自己的idea酿成product,PyTorch是这个特点,另一个是扩展性,可以不计成本训练对照大规模模子。然则,在端上要思量异常受限的场景,要思量到端侧算力弱,功耗要求苛刻,这一定要是异常轻量的,甚至跑的模子都需要压缩,训练框架在端上都不work。虽然我适才说赢者通吃,但在训练和推理上可能照样会分化出两套框架。

    “从各个维度,他们都说不能能做成”

    CSDN:OneFlow框架的研发履历了几个阶段?

    袁进辉:把我们的手艺设想跑通就花了快两年时间,约莫是2018年秋天;然后在这上面把经典的模子,调到知足的状态,又也许花了快一年的时间,主要是解决原来没预计到的问题;骨架打造好之后,最近半年都在做易用性、文档、模子库等能力。

    CSDN:之前你说今年第二季度会开源,但这个时间点显著延后了,发生了什么?

    袁进辉:我们原来是设计一季度开源,那时旷视和华为也开源了,但我们发现他们模子厚实度有点单薄,会影响开源效果,为了做到一个对照令人知足的状态,就再推迟了三、四个月。

    CSDN:一个初创公司做框架,历经三年多才开源,最难题的阶段是什么时刻?

    袁进辉:2018年的秋冬,那时已经研发了一年半以上。创业者有个18个月魔咒的说法,也就是一年半没看到希望,没有正反馈,心态就会发生转变,会失去耐心。

    我自己一定异常坚定,但团队里不是每一小我私人都这么坚定,长时间没有正反馈,有一部门人信心和耐力到了极限,以是谁人时间段,我又顶上去做了一段时间研发。同时,之前的融资也快花完了,那既是事实上的冬天,也是资源隆冬,公司处于濒死边缘,职员规模还做了缩短。

    CSDN:哪个机构解了OneFlow的燃眉之急?

    袁进辉:快手,另有老股东。

    CSDN:快手为什么会投,有战略上的思量吗?

    袁进辉:快手首创人宿华在种子轮就投了我们。我们那时和快手在统一栋楼,也经常借他们的盘算资源,以是知根知底,他们知道我们做的事是扎实的,是真的做出来了,只不外还差临门一脚。

    固然,快手自己的营业规模很大,也异常需要大规模机械学习基础设施,这个需求是存在的,而且知道这个问题难度很大。

    CSDN:那时,内部和外部对你们最大的质疑是什么?

    袁进辉:质疑有许多,从手艺能力、生态逆转各个维度去看,都以为我们是不能能做成。

    CSDN:怎么面临这些质疑?

    袁进辉:信心必须靠理性,通过扎实的剖析论证这个事情一定会发生,这个需求一定会发生。不管是谁解决这个需求,早晚会走到我们设想的这条路上来。那时,我们已经走到这条路上了,而别人还没有入手这个偏向,我们有先发优势,可能是天下上最先搞定这个问题的团队。

    若是没有这些理性剖析,就简直会以为很难,会者不难,难者不会。当我们把这个路子想通时,就是执行的问题,只是说别人还不知道,别人看到也不信托,但对内部的人来说,它的发生只是时间早晚的问题。

    CSDN:现在所有的框架都在提高,而且其他企业的投入比OneFlow都要大,你说是由于坚定和信心,但从另一维度,是不是可以明白成你是信托开发者群体有着识别好产物的眼光?

    袁进辉:简直。稀奇在开源的情形下,开发者可直接去做判断和体验,他能知道利害,好的器械一定会获得认可。

    CSDN:生态搭建在开源后的一两年应该对照主要,你们有没有实质性的开端设计?

    袁进辉:这属于术的层面,包罗战略、执行另有营销。最基本的照样两点:一,开源社区里有价值的器械,一定会出头;二,OneFlow自己的手艺领先,这是我们异常坚定的。这两点是条件,后面要解决的问题就是,通过一些手段告诉别人这是好器械。

    CSDN:现在是做开源软件最好的时刻吗?

    袁进辉:开源背后有很深的话题,开源本质是什么?怎么来的?流传纪律是什么?可谈的器械稀奇多。回到问题自己,现在确实是一个很好的时间,现在泛起了专门做开源,和云连系的蛮好的To B商业模式,海内另有新基建的政策盈利。

    CSDN:若是复盘一下,这三年来创业的最大感受是什么?

    袁进辉:总的来说,在一些主要的事情上,没有做错什么。我们创业,主要的矛盾都来自于在异常受限的资源下若何做好一件异常难的事情。在这种情形下,再高明的治理、运作战略也没设施,矛盾在这儿就是异常猛烈。

    以是,若是能解决资源问题,一定辅助很大。解决这些难题,我本人也履历了一个发展的历程,知道怎么和资源打交道,怎么说服手艺能手加入。

    解决资源问题,首先,创业者自己要想明了,想通想透。说服自己,你只需要想很近的器械。但要说服更多的人来一起辅助你,你就必须想到底,由于别人看到首创人也没想通,就没信心。其次,创业者不仅要想通,而且要能说明了,怎么以异常好的故事讲出来,获得别人认同。

    CSDN:OneFlow终于开源了,最近心情怎么样?

    袁进辉:最激动的时刻在前面已经发生了,当手艺设想买通那一刻,看到效果了,那时最激动。现在实在对照镇静,感受许多事情都在预计之内,一件件自然发生而已。

    • 评论列表:
    •  新2代理手机端
       发布于 2021-07-24 00:02:06  回复
    • 欢迎进入Allbet Gmaing官网(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。一气呵成看完
      •  澳洲5开奖网(a55555.net)
         发布于 2021-08-06 22:03:02  回复
      • 欢迎进入欧博allbet网址(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。有读者跟我互动吗
    •  a55555彩票网(a55555.net)
       发布于 2021-10-13 00:07:04  回复
    • www.9cx.net)实时更(geng)新发〖fa〗布最新最快“kuai”最有 you[效的新(xin)2最新〖xin〗登录网址‘zhi’,包括「kuo」新「xin」2手机网址,新2备用网“wang”址,皇冠『guan』最新网址,新2足球网‘wang’址‘zhi’,新2网 wang[址大全「quan」。回味无穷

    添加回复:

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。