PatchTST（Patch Time Series Transformer）是一种专为时间序列预测任务设计的新型Transformer架构，由Nie等人于2023年在论文《PatchTST: Channel Independence is Not All You Need for Time Series Forecasting》中首次提出。该方法针对传统Transformer模型在处理时间序列数据时所面临的挑战进行了系统性改进，特别是在捕捉局部时间依赖性和缓解注意力机制对长序列建模的低效问题方面取得了显著进展。随着深度学习在时间序列分析中的广泛应用，研究者逐渐意识到直接将自然语言处理中的Transformer结构迁移至时间序列任务存在局限性，这促使了PatchTST等专用架构的发展。
详解最新PatchTST时间序列算法的原理及代码实现
PatchTST的核心思想源于视觉领域的“图像块”（patch）概念，并将其巧妙地迁移到一维时间序列建模中。具体而言，该方法将原始时间序列划分为若干连续且可能重叠的时间片段（即“时间块”），每个时间块被视为一个基本建模单元。通过这种方式，模型能够聚焦于局部时间动态，从而更有效地捕获短期模式和趋势。与传统Transformer逐点处理时间步不同，PatchTST以块为单位进行嵌入和注意力计算，不仅降低了计算复杂度，还增强了模型对时间局部结构的感知能力。
在模型架构上，PatchTST强调通道独立性（channel independence）与时间块表示的协同作用。尽管部分先前工作主张各变量通道应独立建模以提升性能，但PatchTST指出仅依赖通道独立性并不足以充分挖掘时间序列的内在规律。因此，该方法在保持通道独立处理的同时，引入基于时间块的自注意力机制，使得模型既能保留各变量自身的演化特性，又能通过块级注意力有效整合跨时间步的信息。这种设计兼顾了建模效率与表达能力，尤其适用于多变量时间序列预测场景。
相较于传统时间序列模型（如LSTM）以及早期基于Transformer的方法（如Informer、Autoformer），PatchTST展现出多项优势。首先，通过时间块划分显著减少了注意力机制的计算负担，使其能够高效处理长序列；其次，块级表示有助于模型学习更具语义意义的时间模式，提升泛化能力；再次，该方法对输入序列长度和预测范围具有良好的适应性，在多个公开基准数据集上均取得了领先性能。此外，其模块化设计便于与其他技术（如频域分析、协变量融合）结合，具备较强的可扩展性。
PatchTST通过引入时间块机制重构了Transformer在时间序列建模中的应用范式，有效解决了局部依赖建模不足与计算效率低下等关键问题。其设计理念体现了从“点到块”的建模范式转变，为后续时间序列深度学习模型的发展提供了重要启示。在当前强调模型效率与可解释性的研究趋势下，PatchTST不仅具有坚实的理论基础，也展现出广泛的实际应用潜力，是时间序列预测领域的一项重要进展。
程序名称：基于Bayes-PatchTST的综合能源负荷多变量时间序列预测
实现平台：python—Jupyter Notebook
代码简介：构建了基于贝叶斯优化的PatchTST能源负荷多变量时间序列预测模型。
贝叶斯优化是一种高效的全局优化方法，特别适用于目标函数计算成本高、无法求导或评估耗时的场景，如机器学习模型的超参数调优。其核心思想是通过构建一个概率代理模型（如高斯过程）来近似真实的目标函数，并利用采集函数在“探索未知区域”和“利用已知优秀区域”之间取得平衡，从而以尽可能少的评估次数找到接近最优的参数组合。
代码实现了一个基于PatchTST（Patch Time Series Transformer）架构的时间序列预测模型，并通过贝叶斯优化（Optuna）自动搜索最优超参数，以提升模型在综合能源负荷数据上的预测性能。整体流程可分为以下几个阶段：首先，在“复现控制”部分固定了Python、NumPy和TensorFlow的随机种子，确保实验结果可复现；接着，从Excel文件中读取能源负荷数据，利用滑动窗口方法构建输入-输出样本对；随后，对输入特征和目标变量分别进行Min-Max标准化处理，并按时间顺序划分训练集与测试集，避免打乱时序结构。在此基础上，定义了PatchTST模型类：该模型将输入序列划分为若干长度的patch，通过全连接层将每个patch映射到高维嵌入空间，并加入可学习的位置编码；随后堆叠多层Transformer模块（每层包含多头自注意力机制、前馈网络及LayerNorm归一化），最后通过全局平均池化和全连接层输出单步预测结果。为了优化模型性能，采用Optuna框架执行贝叶斯超参数搜索，在多次试验中自动调整d_model、n_heads、d_ff、n_layers、dropout和学习率等关键参数，并以验证集最小MSE作为优化目标。获得最优参数后，分别构建并训练最优参数模型与默认参数模型，两者均在相同数据上训练20个epoch。最后，通过对比两种模型的训练/验证损失曲线、MAE变化趋势、实际值与预测值的时间序列图以及散点图，全面评估其预测效果；同时计算MSE、MAE和R²三项指标，量化显示贝叶斯优化带来的性能提升（如MSE降低百分比等），从而验证了自动化超参数调优在时间序列预测任务中的有效性。
参考文献：《A Time Series Is Worth 64 Words: Long-Term Forecasting with Transformers》
代码获取方式：【原创代码改进】基于贝叶斯优化的PatchTST综合能源负荷多变量时间序列预测
