多彩编程 多彩编程MZPH · CODE BLOG
ARTICLE DETAIL

文章详情

深耕前端与后端开发技术的一线实战笔记与踩坑复盘。

DP-GPT4MTS: Dual-Prompt Large Language Model for Textual-Numerical Time Series Forecasting

DP-GPT4MTS: Dual-Prompt Large Language Model for Textual-Numerical Time Series Forecasting 文章主要内容总结本文针对文本-数值时间序列预测任务,提出了一种名为DP-GPT4MTS的双提示大型语言模型框架。研究背景:时间序列预测在各行业决策中至关重要,但传统模型多聚焦于数值数据,忽视了新闻、事件等文本信息对预测精度的提升作用。现有基于大型语言模型(LLMs)的方法虽尝试整合多模态数据,但单提示框架难以有效捕捉带时间戳文本的语义,易引入冗余信息,限制模型性能。模型设计:DP-GPT4MTS创新性地采用双提示机制:显式提示(Explicit Prompt):作为固定前缀,提供清晰的任务指令、输入统计信息和自然语言解释,帮助模型理解任务目标。文本提示(Textual Prompt):通过BERT提取带时间戳文本的语义向量,经自注意力机制和前馈网络优化,生成上下文感知嵌入,捕捉文本时序关系。两种提示与时间序列嵌入结合后输入冻结的预训练模型(基于GPT-2),最终通过输出投影得到预测结果。实验验证:在GDELT(全球事件数据)和Time-MMD(多领域多模态数据)数据集上,与Transformer、TimeLLM、GPT4MTS等主流方法对比,DP-GPT4MTS在MSE(均方误差)和MAE(平均绝对误差)指标上均显著优于基线模型。消融实验验证了双提示机制和自注意力组件的有效性。结论与展
返回列表