商汤科技X-Lab技术负责人刘宇:神经网络结构搜索与优化的研究和应用 | 公开课预告
更新时间: Oct 17, 2020  作者:刘网狐棋牌  来源:

在过去的几年里,Deep Neural Networks在图像理解、图像生成、机器翻译和语音识别等多项任务上取得了前所未有的成功。在深度学习时代,设计更好的神经结构成为了神经网络性能改进的主要驱动力之一。而随着神经网络架构搜索(Neural Architecture Search,NAS)在分类、检测、分割等任务上的广泛应用,数据增强、网络结构、损失函数等等都可以用机器搜出一个比人工设计更优的方案。

网狐棋牌知识蒸馏(Knowledge Distillation,KD)是一种将复杂模型(teacher)中的dark knowledge迁移到简单模型(student)中去的方法,一般是由teacher、student 两个网络组成。teacher具有强大的能力和表现,一般是ResNet 152这样的大模型,而student则更为紧凑,多为Res50这样的小模型。

通过知识蒸馏,我们希望student可

以尽可能逼近亦或是超过teacher,从而用更少的复杂度来获得类似的预测效果。因此student网络预测的结果不仅需要和ground truth计算loss,还要和teacher网络的预测值计算loss。而学者们也一直在研究如何让teacher教给student更多的内容,从而使student 可以涨更多的点。

现有的对于知识蒸馏的研究,主要是从teacher提供的soft label 比ground truth的one-hot label要好的角度来分析,但是却没有从网络结构的角度来考虑。虽然KD可以用在任意两对teacher-student网络上,然而对于所有的学生网络是否同样有能力接受不同老师的知识呢?

网狐棋牌7月29日晚8点,智东西公开课邀请到商汤科技X-Lab技术负责人刘宇参与「机器学习前沿讲座」第3讲。刘宇老师将围绕《神经网络结构搜索与优化的研究和应用》这一主题进行直播讲解。刘宇老师会从神经网络最优结构与数据分布的关系出发、深入讲解基于神经网络结构搜索的知识蒸馏优化方法、以及神经网络结构搜索在人脸识别中的应用。

刘宇是商汤科技X-Lab技术负责人,研究兴趣为神经网络原理与大规模强化学习。刘老师博士毕业于香港中文大学MMLab,2019年Google PhD Fellowship大中

华区唯一获得者,曾在Google研究院、微软研究院等知名机构工作实习。刘博在CV领域发表顶会20余篇,1000+引用量,也曾获得如ImageNet、OpenImage、FRVT、ActivitiNet等知名世界竞赛冠军。

课程时间

网狐棋牌直播时间:7月29日晚8:00

直播地点:智东西公开课小程序

答疑地址:智东西公开课讨论群

课程详情

主题:

神经网络结构搜索与优化的研究和应用

提纲:

1、神经网络的最优结构与数据分布的关系

(责任编辑:网狐棋牌)

本文地址:http://www.viagranit.com/yiguo/2020/1017/2625.html

上一篇:小鹏汽车赴美IPO,互联网巨头“三国杀”?

下一篇:腾讯5000亿加码新基建,华东重镇布局已开始

直击|ofo总部现退押金长队:排队2小时 只对信息登记

今日有网友反馈,有大批用户前往位于北京中关村互联网金融大厦的ofo总部退押金,新浪科技在现场发现,大厦楼下退押金的用户排起了长龙,排队时长大约两小时。据现场用户表示, ...详情

“一带一路”科技创新国际研讨会成果超预网狐棋牌期

由中国科学院等十二家国家科研机构及国际组织联合主办的2016“一带一路”科技创新国际研讨会今天(11月8日)在北京闭幕。秉承“和平合作、开放包容、互学互鉴、互利共赢 ...详情

价值驱动首战告捷:奥克斯连续领涨空调业

今年空调旺季市场大战于5月一触即发,领军企业奥克斯再度以一场更大规模的差异化价值风暴实现领跑:以AYA系列为代表的高性价比变频精品为主导,以明星泛代言的差异化营销为手段 ...详情

海尔发布UHomeOS填补智慧家庭操作系统空白

11月24日,物联网时代首个专为智慧家庭定制的生态操作系统 海尔UHomeOS在京震撼首发,同时发布了门中门T型馨厨互联网冰箱。海尔家电产业集团CTO、副总裁赵峰、工业和信息化部电子信 ...详情

Instagram正式推出“Throwback”功能 可调网狐棋牌取分享历史同一天内容

10月9日消息,据TechCrunch报道,Instagram将把Throwback变成正式功能,用户在创建新内容时可以选择这一天选项,那么过去同一日日期的内容将被调出供选择。  Instagr网狐棋牌am认为,这一 ...详情

马斯克身价周一增加27亿美元 个人全部身价已提升至348亿美元

4月14日消息,据国外媒体报道,电动汽车厂商特斯拉的股价在周一大涨,其CEO马斯克的身价也因此而增加了近27亿美元。  周一美国股市收盘时,特斯拉报650.95美元,较前一交易日收盘 ...详情

这些网狐棋牌台式机将是2017年电脑界的标志性产品!

但我们依然离不开它们。它们开始变得更加精致漂亮,规格也更高,2017我们能看到哪些最具代表性的产品?1、苹果27英寸5K iMac哪怕苹果今年不会发布新一代的27英寸iMac,旧款产品也足以 ...详情

无缘最佳新秀的十大巨星,科比领衔,欧文上榜,魔术师跻身前三

半月之前,NBA官方公布了本赛季最佳新秀的奖项得主,灰熊新秀莫兰特在和纳恩、锡安等人的竞争中脱颖而出,成功当选。对于一名年轻球员来说,能够拿到最佳新秀,会是一个莫大的 ...详情

支付宝:已有6款网狐棋牌二手回收类小程序MAU破百万

中关村在线消息:今天支付宝发布消息称,过去一个月已有6款二手回收类支付宝小程序MAU突破百万,还有十几款回收小程序MAU突破50万。其中包括易代扔、白鲸鱼、铛铛一下旧衣回收等 ...详情

传Uber洽购Bird或Lime 加快推进电动滑板车计划

据外媒报道,打车服务公司Uber可能觉得收购共享单车公司Jump还不足以实现其梦想。有消息人士称,该公司最近又开始与共享电动滑板车领域中最大的两家公司Bird和Lime公司洽谈收购事宜 ...详情