LSTM有着不错的时序信息提取能力，ResNet有着不错的空间特征信息提取能力。如果现在有时空特征融合的创新需求，我们是否能将LSTM和ResNet两者的优点融合起来呢？

随着这个思路下去，LSTM + ResNet混合模型横空出世，在各个需要时空特征融合的交叉领域夺得SOTA。比如一种基于监督对比学习与混合神经网络架构的癫痫发作预测新方法。

该方法创新性地融合了ResNet特征提取器与LSTM时序建模模块，在CHB-MIT标准数据集上取得了突破性表现。实验结果表明，该模型在15分钟预发作时间窗的预测任务中，以91.90%的准确率和89.64%的敏感性刷新了当前最优性能指标。

我精心整理的10篇LSTM + ResNet的论文将为大家提供全面的模型创新方法思路。

点击【AI十八式】的主页，获取更多优质资源！

A ResNet-LSTM hybrid model for predicting epileptic seizures using a pretrained model with supervised contrastive learning

方法

1. 数据预处理

   • 使用短时傅里叶变换（STFT）将原始EEG信号转换为包含时频信息的频谱图，以解决EEG数据的复杂性和不规则性问题。

   • 通过滑动窗口算法进行过采样，缓解数据不平衡问题。

   • 截取0-60 Hz频段数据，去除高频噪声干扰。

2. 预训练（Pretext Task）

   • 采用数据增强技术（如带阻滤波、时间截断）生成增强数据，提升模型鲁棒性。

   • 使用ResNet-18结合监督对比损失进行预训练，学习频谱图的表征，解决小样本数据下的过拟合问题。

3. 下游任务训练（Downstream Task）

   • 构建ResNet-LSTM混合模型：

     • ResNet提取频谱图的图像特征。

     • LSTM捕获时间序列依赖关系，结合ResNet的特征进行时序分析。

   • 使用交叉熵损失和随机梯度下降（SGD）优化器进行端到端训练。

4. 验证与评估

   • 在CHB-MIT和SNUH数据集上采用留一交叉验证。

创新点

1. 针对EEG数据的优化预处理

   • 提出基于STFT的频谱图转换方法，将复杂EEG信号转化为图像形式，便于ResNet提取特征。

   • 结合滑动窗口过采样和均衡采样，有效缓解数据不平衡问题。

2. 监督对比学习的预训练策略

   • 在预训练阶段引入监督对比损失，通过类内聚合和类间分离优化表征学习，显著提升小数据集下的模型性能。

   • 结合数据增强技术（带阻滤波、时间截断）增强模型泛化能力。

3. ResNet-LSTM混合架构

   • 融合ResNet的图像特征提取能力与LSTM的时序建模能力，同时利用频谱图的时频信息。

   • 预训练的ResNet权重初始化下游模型，加速收敛并提升预测精度。

4. 实验结果优势

   • 在CHB-MIT和SNUH数据集上分别达到91.9%和83.37%的准确率，灵敏度和FPR优于传统方法。

   • 验证了预训练模型在患者特异性癫痫预测中的有效性，尤其对低灵敏度患者的性能提升显著。

论文链接：https://www.nature.com/articles/s41598-023-43328-y

Short-Term Load Forecasting and Associated Weather Variables Prediction Using ResNet-LSTM Based Deep Learning

方法

1. ​数据预处理与特征重构

   • ​数据清洗：采用箱线图方法处理异常值，确保数据质量。

   • ​特征相关性分析：通过皮尔逊相关系数分析负荷与天气、经济等变量的关联性。

   • ​时间序列重构：将每个时刻的负荷数据扩展为包含历史48个采样点（24小时）的56维特征向量（含日期、天气、价格、节假日等参数）。

   • ​数据标准化：使用Min-Max归一化处理多源异构数据。

2. ​模型架构设计

   • ​ResNet特征提取：

     • 采用ResNet-18网络，包含5个卷积模块。

     • 残差块设计解决深度网络梯度消失问题，通过跳跃连接保留原始特征。

     • 使用Batch Normalization加速训练收敛。

   • ​LSTM时序建模：

     • 接收ResNet输出的3D特征向量。

     • 包含2层LSTM网络，通过Dropout防止过拟合。

     • 最终通过全连接层输出预测结果。

3. ​多任务预测扩展

   • ​天气变量预测：将模型应用于干球温度、湿度等天气变量的预测，验证模型在关联因素预测中的有效性。

4. ​实验验证

   • ​对比模型：与MLR、LSTM、CNN、ResNet、CNN-LSTM等模型对比。

   • ​评估指标：采用RMSE、MAPE、MAE、APE等指标评估预测精度。

   • ​计算效率分析：统计模型参数量（FLOPs）和运行时间。

创新点

1. ​混合模型架构创新

   • ​ResNet与LSTM深度融合：首次将ResNet用于负荷数据的空间特征提取，结合LSTM捕捉时序依赖性，解决传统单一模型特征挖掘不足的问题。

   • ​残差块优化：通过跳跃连接保留原始特征，缓解深度网络退化问题，提升梯度传播效率。

2. ​多维特征重构策略

   • ​动态特征扩展：将当前时刻负荷与历史48个时间点的负荷值联合建模，构建56维动态特征向量，增强时间局部性建模能力。

   • ​多源数据融合：整合天气、价格、节假日等异构数据，通过相关性分析筛选关键特征。

3. ​天气变量预测拓展

   • ​关联因素预测能力：首次验证模型在干球温度、湿度等天气变量预测中的有效性，为负荷异常数据场景提供补充预测手段。

4. ​计算效率优化

   • ​轻量化设计：通过ResNet的特征降维（输出3D向量）减少LSTM输入维度，平衡模型复杂度与预测精度。

   • ​批标准化加速：在ResNet中引入Batch Normalization，提升训练速度与稳定性。

5. ​实证效果突破

   • ​精度显著提升：在澳大利亚昆士兰数据集上，MAPE相比传统模型降低3.8%到35.4%，RMSE降低10.1%到40.1%

   • ​多场景适用性：验证模型在24小时、48小时及7天预测任务中的鲁棒性，支持电力系统多时间尺度决策。

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10016697

点击【AI十八式】的主页，获取更多优质资源！