您当前位置:主页 > 本港台现场报码:开奖66 >

本港台现场报码:开奖66Class teacher

CVPR 2021 论文一作 阿里达摩院周靖凯:解耦动态卷积网络的研究

2021-09-24 

 

 

  提到标准卷积的原理,许多人头脑中会闪现出下图的画面。用通俗的话来解释就是被卷积图片与卷积核进行对应元素相乘并求和,所以一次卷积结果的输出是一个数,最后对被卷积图片进行遍历,最终得到一个结果矩阵,说白了就是一个卷积核在图像上滑动,并求取对应元素相乘求和的过程。

  目前主流的卷积神经网络中大都采用上面的卷积形式,尽管它很常用,但由于标准卷积对所有样本采用相同的卷积参数,当我们想提升模型的精度时,就需要增加模型的参数、www.49579.com,深度、通道数,进一步导致模型的计算量加大、部署难度提升。针对参数量大,深度和通道数多的问题,许多研究人员提出了轻量级卷积神经网络模型,但因其较低的计算预算同时也限制了卷积神经网络的深度和宽度,导致模型性能下降,表示能力受限。那是否存在一种卷积能够同时提升模型表达能力,并且计算成本小呢?动态卷积因此被提出。

  动态卷积的基本思路就是根据输入图像,自适应地调整卷积核参数,这种方法能够在不增加网络深度或宽度的情况下增加模型的表达能力。就像 私人定制 一样,动态卷积对不同的图像做出调整,用更适合的卷积参数进行处理。虽然动态卷积更加灵活,但其引入巨大的计算和存储开销,难以被应用于网络的每一层。

  那如何设计一个计算量小且易于整合入现有 CNN 架构中的动态卷积呢?在 CVPR 2021 中,来自华南理工大学的周靖凯博士提出了一种解耦的动态卷积 DDF。在 DDF 中,首先将深度动态卷积解耦为空间与通道动态滤波器,对于空间滤波器预测分支,仅仅采用 1 × 1 卷积;对于通道滤波器预测分支,采用了类似 SE 注意力的结构,即 GAP+FC+ReLU+FC,该方法大大减少了模型的参数量,并将计算量限制在与深度卷积同等水平。实验表明,采用 DDF 替换 ResNet50/101 网络中的标准卷积分别带来 1.9% 与 1.3% 的 top1 精度提升,且计算量近乎减半。同时,在检测与联合上采样方面,同样证实了 DDF 上采样优异性。

  9 月 26 日晚 7 点,智东西公开课邀请到该论文的一作、华南理工大学在读博士周靖凯围绕《解耦动态卷积网络的研究》这一主题,深入解析解耦动态卷积 DDF 及其在视觉任务上的应用。

  周靖凯是华南理工大学在读博士,导师刘琼,现在阿里达摩院实习。周博本科毕业于华南理工大学软件工程,博士期间曾前往 UCMerced 访学,师从 MingHsuan Yang 教授 和 Google 的 Varun Jampani 教授。他的研究方向包括目标检测与图像分类等。

  本次讲座将在智东西公开课知识社区进行,包含主讲和问答两个部分,其中主讲环节 40 分钟,问答环节 20 分钟。每个环节主讲老师都将通过视频直播进行实时讲解与互动。

  周靖凯,华南理工大学在读博士,导师刘琼,现在阿里达摩院实习;本科毕业于华南理工大学软件工程,博士期间曾前往 UCMerced 访学,师从 MingHsuan Yang 教授 和 Google 的 Varun Jampani 教授;研究方向包括目标检测与图像分类等。