1.介绍
在计算机视觉领域,EfficientNet因其高效的网络架构设计而广受欢迎。
本文将深入分析一个结合EfficientNet主干和Transformer分类头的创新模型实现。
模型概述
这个实现将EfficientNet的高效特征提取能力与Transformer的强大序列建模能力相结合,主要包含以下几个核心组件:
- 基础卷积模块:包括Swish激活函数和ConvBnAct组合模块
- MBConv模块:EfficientNet的核心构建块
- Squeeze-Excitation注意力机制:通道注意力模块
- Transformer分类头:替代传统全连接层的创新设计