解析百度AutoDL:打破SOTA纪录的神经构造搜索是如

时间:2022-11-15 12:13来源:www.tingshurens.com作者:未知点击:

导读:
扫描关注公众号

日前,百度云数据实验室在 arXiv 上发布了两篇论文,一篇给出了任何深度学习互联网在小学习率状况下的收敛性证明,包含用 AutoDL 搜出来的互联网,另一篇则提供了一个正则化的办法,让 AutoDL 搜索到的互联网的练习结果超越了之前所有公开报道的结果。基于 PaddlePaddle 框架达成的代码已经开源,相应功能也可以通过百度 EasyDL 免费用,这是继去年 11 月 AutoDL 2.0 于 2018 百度世界大会上正式发布以来,AutoDL 的又一次要紧更新。

机器之心就 AutoDL 各方向的设计思路和论文内容采访了百度云数据实验室主任浣军教授,以下为采访实录。

机器之心:百度开发 AutoDL 的初衷是什么?想要达成什么目的?

AutoDL 的理念,用一句话来概括,就是「开放普惠 人工智能」,让广大中小微型企业、初创企业和个人可以更便捷地应用云数据和深度学习。

目前,这类能力主要学会在大公司研发中心或者高校中间,并未向中小微型企业和初创企业辐射,缘由在于云数据剖析和深度学习对硬件、软件与工程技术职员的能力需要都比较高。

AutoDL 所做的事情,就是用深度学习来设计深度学习,从而达成让大伙都可以迅速用到这项能力。大家的愿景是把现在的「深度学习模型艺术品」变成「深度学习模型工业商品」,让深度学习的模型可以像工厂的商品一样被大规模地生产出来。

机器之心:这一目的具体由什么需要组成?怎么样满足这类需要?

大家从三个维度考虑这件事。硬件、应用场景和模态的多样化决让 人工智能 算法的维度空间极为庞大。想要尽量探索这一空间,就势必要从手工设计模型,转向智能化生产模型,迅速高效地产生可以适配不同硬件、支持不同场景、适应不同模态的深度学习模型。

为了达成这类需要,大家将 AutoDL 分成三个部分,分别是 AutoDL Design,AutoDL Transfer 和 AutoDL Edge。

AutoDL Design 依据用户提供的数据集从头设计全新深度学习模型。

AutoDL Transfer 支持小数据建模,借助百度拥有些很多数据预练习好的模型迁移到用户具体的应用场景上。

AutoDL Edge 将深度学习模型部署到拥有不同算力、内存资源的硬件上,满足不一样的能源消耗、响应时间需要。是 人工智能 和 IoT 的结合,是深度学习和边缘计算的完美结合。

AutoDL Design:更大的模型结构搜索空间带来更佳的成效

机器之心:从用户给出标注数据集到拿到自动设计好的模型结构,是一个哪种过程?

目前 AutoDL Design 有多条技术路线,但总的来讲仍然是一个端到端的练习过程。百度在模型结构优化方面选择了两条主要技术路线。

第一条技术路线借助深度增强学习完成设计。系统由两部分组成,第一部分是互联网结构的编码器,第二部分是互联网结构的测评器。

编码器一般以 RNN 的方法把互联网结构进行编码,然后测评器把编码的结果拿去进行练习和测评,拿到包含准确率、模型大小在内的一些指标,反馈给编码器,编码器进行修改,第三编码,这样迭代。经过若干次迭代将来,最后得到一个设计好的模型。

为了性能考虑,迭代中用到的练习数据一般是几万张规模的数据集(譬如 CIFAR-10),模型设计结束后,会用大规模数据(譬如 ImageNet)重新练习一次,进一步优化参数。

图:AutoDL 增强学习步骤

第二条技术路线是将结构图构建为可微的结构。即,连接节点的边不再是非 0 即 1 的状况,而是变成一个可求微分的概率。

此外,大家还进行了超参数优化,正则化练习等其他一系列优化,最后,大家在 CIFAR-10 上获得了正确率 98% 以上,这个结果优于所有有公开报道的设计互联网成效,包含人类专家设计的和机器自动设计的。

机器之心:能否更详细地讲解基于深度增强学习的技术路径里编码器与测评器的工作?迭代过程中计算资源消耗状况?

编码器的可以从一个随机的模型开始,也可以从一种已知的模型出发。从性能角度考虑,一般大家会选择从一个较优的模型结构出发。

上一篇:SEO排名优化排名如何操作

网站首页 返回栏目

下一篇:没有了

相关文章
推荐文章

热门标签

百度搜索优化

网站seo_seo培训入门_seo营销教程_乐云网

Copyright © 2002-2021 乐云网 (http://www.zhilvsports.com) 网站地图 TAG标签 备案号:

声明: 本站文章均来自互联网,不代表本站观点 如有异议 请与本站联系 本站为非赢利性网站