这项由哈尔滨工业大学深圳校区团队领导的研究发表于2025年1月，论文编号为arXiv:2601.09636v1，有兴趣深入了解的读者可以通过该编号查询完整论文。研究团队开发了一种全新的手机助手系统，它就像一位贴心的管家，能够通过观察你长期以来的手机使用习惯，自动理解你的真实意图并提前为你准备好相应的服务。

当我们平时使用手机时，经常会遇到这样的情况：你只是简单地说"帮我点外卖"，但实际上心里想的可能是"点美团上那家最近的麦当劳单人餐"。传统的手机助手只能按照字面意思理解你的指令，而无法猜透你的真实想法。这就好比一个新来的服务员，只能按照菜单上的文字为你服务，却不知道你的饮食偏好和习惯。

哈工大的研究团队注意到了这个问题。他们发现，在日常生活中，人与人之间的交流往往依赖于共同的背景知识和默契。比如当你对老朋友说"我们去老地方吃饭吧"，朋友立刻就知道你指的是哪家餐厅。同样的道理，一个真正智能的手机助手也应该能够理解这种"言外之意"。

为了解决这个问题，研究团队提出了"PersonalAlign"的概念，这是一种让手机助手能够理解用户隐含意图的技术。这项技术的核心思想是让助手像一个长期陪伴你的朋友一样，通过观察你的行为模式来理解你的真实需求。

研究团队将用户的隐含意图分为两个层次。第一个层次是"偏好意图"，就像你在餐厅对服务员说"来份炒饭"，但服务员通过之前的观察知道你喜欢蛋炒饭而不是扬州炒饭，于是主动为你推荐蛋炒饭。第二个层次是"例行意图"，这就更加智能了——助手能够根据时间、地点等环境信息，主动预测你可能需要的服务。比如每天早上八点你都会在办公室打卡，助手就能在你到达办公室时主动询问是否需要打开钉钉进行签到。

为了训练和测试这种"读心术"助手，研究团队构建了一个名为"AndroidIntent"的数据集。这个数据集就像一个巨大的用户行为观察记录册，包含了91个用户在两个月内超过2万次的手机操作记录。研究人员从中精心挑选和标注了775个偏好意图案例和215个例行意图案例。

构建这样一个数据集面临着巨大的挑战。什么样的行为算是用户的偏好？什么样的模式可以被称为例行公事？这些概念本身就很主观，很难用客观标准来衡量。为了解决这个问题，研究团队开发了一套"层次化过滤-验证"策略。

这套策略的工作原理就像筛金子一样。首先，系统会自动分析用户的历史记录，计算每个操作的语义相似度和用户状态的一致性。语义相似度就是看你的指令在意思上是否相近，比如"点外卖"和"叫外卖"在语义上是相似的。用户状态一致性则是看你在相似的时间、地点是否会做相似的事情。

通过这种自动分析，系统能够识别出三种不同类型的用户行为模式：临时性的一次性行为、反复出现的偏好行为，以及高度规律的例行行为。研究人员发现，当他们把所有用户的行为数据汇总后，这些行为模式呈现出三个清晰的分布峰，就像三座山峰一样分别对应着这三种类型。

为了确保数据的准确性，研究团队还邀请了人工标注员对筛选出的候选案例进行验证。这些标注员就像质检员一样，需要根据用户的历史记录判断某个行为是否真的属于偏好或例行模式。为了构建模糊指令，研究团队还使用了GPT来生成各种省略了具体偏好信息的指令版本，然后由标注员选择最符合用户可能意图的版本。

一、HIM-Agent：会学习的智能记忆系统

有了数据集之后，研究团队开发了一个名为"HIM-Agent"的智能助手系统。这个系统的全称是"层次化意图记忆智能体"，它的工作原理就像一个拥有完美记忆力的贴身助理。

HIM-Agent的核心创新在于它的记忆系统设计。传统的助手系统通常只是简单地存储用户的历史操作记录，就像一个机械的录像机。而HIM-Agent则更像一个善于观察和总结的人类助理，它能够主动从海量的历史记录中提取有用的模式和规律。

这个记忆系统采用了"流式聚合"的技术。可以把它理解为一个智能的文件管理员，它不会让你的桌子上堆满零散的文件，而是会定期整理这些文件，把相关的内容归类到不同的文件夹中。具体来说，系统会分析用户的每日操作记录，将语义相似、操作路径相近的行为聚合成"记录原型"。

比如，你在不同时间多次使用"打开美团，搜索麦当劳，选择最近的店，点单人餐"这样的操作序列，系统就会将这些相似的操作聚合成一个记录原型。这个原型包含了你的偏好信息：喜欢用美团、偏爱麦当劳、通常选择最近的店铺、经常点单人餐。

HIM-Agent的记忆系统进一步分为两个专门的记忆模块：偏好意图记忆和例行意图记忆。偏好意图记忆主要关注你在执行类似任务时的选择倾向，而例行意图记忆则专门存储那些在特定时间和场景下的固定行为模式。

偏好意图记忆的构建过程就像一个经验丰富的购物顾问在学习客户的喜好。系统会同时分析指令的语义内容和具体的操作轨迹。语义分析确保系统理解"点外卖"和"叫外卖"表达的是同一个意图，而操作轨迹分析则让系统学会你具体是如何完成这个操作的——比如你习惯先选择哪个app，通常会选择什么样的商家，偏好哪些商品等等。

例行意图记忆的工作原理则更加精细。系统不仅要识别重复的行为模式，还要分析这些行为与环境状态的关联度。比如，系统发现你每天早上8点到9点之间在公司都会打开钉钉签到，这种行为的时间一致性和场景一致性都很高，就会被归类为例行意图。当系统检测到你再次处于相似的状态（早上8点左右到达公司）时，就会主动询问是否需要帮你打开钉钉。

这种分层的记忆架构让HIM-Agent能够在不同层次上理解用户意图。当你说"帮我点外卖"时，系统首先会检索偏好意图记忆，发现你通常喜欢用美团点麦当劳的单人餐，于是自动补全这些缺失的信息。同时，系统也会根据当前的时间和地点检查例行意图记忆，看看是否需要提供主动建议。

二、技术实现的精妙设计

HIM-Agent在技术实现上有许多巧妙的设计细节。为了处理GUI操作这种特殊的交互形式，研究团队开发了专门的"基于执行的偏好过滤器"。

传统的文本对话系统主要依赖语义相似度来匹配用户意图，但GUI操作涉及具体的界面元素和操作序列。用户可能会用不同的话来表达同一个意图，比如"打开微信"和"启动微信"在语义上相似，但更重要的是它们都对应着相同的操作序列：点击微信图标，等待应用加载完成。

基于执行的偏好过滤器结合了两种相似度计算方法。第一种是传统的语义相似度，包括dense embedding（密集嵌入）和sparse Jaccard（稀疏Jaccard）相似度。Dense embedding能够理解"点外卖"和"叫外卖"的语义相似性，而sparse Jaccard则专门处理GUI指令中经常出现的应用名称、商品名称等实体词汇。

第二种是操作轨迹相似度，这是HIM-Agent的独特创新。系统使用动态时间规整（DTW）算法来比较不同的操作序列。DTW算法原本用于语音识别领域，能够处理时间序列的对齐问题。在GUI操作中，即使用户完成同一个任务的步骤略有不同（比如有时会多一个等待步骤），DTW也能识别出这些操作序列的本质相似性。

对于例行意图的识别，系统使用了"基于状态的例行过滤器"。这个过滤器会计算一个"主动置信度"分数，用来判断某个行为模式是否足够稳定，可以用来提供主动建议。

主动置信度的计算考虑了三个关键因素。首先是状态稳定性，系统会分析用户在执行某个操作时的时间和场景分布。如果你总是在相似的时间（比如每天早上8点左右）和相似的场景（比如在公司）进行某个操作，那么状态稳定性就很高。其次是记录长度，也就是这种行为模式在历史中出现的频次。最后是聚合权重，反映了系统对这种行为模式一致性的信心程度。

只有当主动置信度超过预设阈值时，系统才会将某个行为模式存储到例行意图记忆中，并在检测到相似状态时主动提供建议。这种设计避免了系统过于主动而打扰用户，确保了主动建议的准确性和实用性。

三、实验验证与性能表现

为了验证HIM-Agent的有效性，研究团队进行了大规模的实验评估。他们测试了多个知名的GUI智能体，包括开源模型UI-TARS、GUI-Owl、Qwen3-VL，以及闭源模型GPT-5.1、GLM-4.5V、QwenVL-Max等。

实验结果揭示了一个有趣的现象：当用户指令从完整明确变为模糊简化时，所有测试的智能体都出现了显著的性能下降。虽然在理解指令大意方面（类型准确度）只下降了大约3%，但在具体执行成功率方面却下降了约20%，而关键步骤错误率更是暴增了45%。

这个现象就像让一个新手厨师按照不完整的菜谱做菜。厨师可能知道今天要做"红烧肉"，但如果菜谱上没有写明具体的调料比例、火候控制等细节，最终做出来的菜很可能会偏离预期。同样，GUI智能体虽然能理解用户想要"点外卖"，但在缺乏具体偏好信息的情况下，很容易在选择应用、商家、商品等关键步骤上做出错误决策。

在主动建议能力的测试中，研究团队发现了更大的挑战。大多数现有的GUI智能体在平衡主动性和准确性方面表现不佳。它们要么过于保守，很少提供主动建议；要么过于激进，频繁地给出不恰当的建议，导致虚警率过高。只有GPT-5.1表现出了相对平衡的主动建议能力，但仍然存在改进空间。

HIM-Agent在这些测试中表现出色。在处理模糊指令方面，HIM-Agent将关键步骤错误率从原来的26.6%提升到了42.3%，提升幅度达到15.7%。在主动建议方面，HIM-Agent实现了53.5%的语义对齐度和36.3%的判断对齐度，同时将虚警率控制在49%的合理水平，相比基准方法有7.3%的提升。

研究团队还进行了详细的消融实验，验证了HIM-Agent各个组件的重要性。实验发现，语义相似度、操作轨迹相似度和状态一致性分析都对系统性能有重要贡献。特别有趣的是，如果移除状态过滤器，系统的虚警率会飙升到近70%，这说明了状态分析对于准确的主动建议的重要性。

四、实际应用效果展示

研究团队提供了一个生动的案例来展示HIM-Agent的实际工作效果。在这个案例中，用户只是简单地说了一句"浏览一下奶酪焗饭的种类"，这是一个相当模糊的指令。

传统的反应式智能体面对这样的指令时会显得很迷茫，因为用户没有指明要在哪个应用上搜索，要搜索哪家店的奶酪焗饭，以及具体要看什么信息。它可能会打开默认的搜索引擎，搜索"奶酪焗饭种类"，然后给出一些通用的搜索结果。

而HIM-Agent的处理方式就智能多了。系统首先查询用户的偏好意图记忆，发现用户经常使用美团点外卖，特别喜欢点某家店的奶酪焗饭。基于这些历史偏好，HIM-Agent自动补全了指令的缺失信息：打开美团，定位到用户常去的那家店，进入店铺页面，筛选出奶酪焗饭相关的商品。

更令人印象深刻的是HIM-Agent的主动建议功能。当检测到用户在晚上8点40分在家中的状态时，系统会查询例行意图记忆，发现用户经常在这个时间段在家点外卖。于是系统主动询问："现在是晚上8点40分，您在家中，需要我帮您浏览一下奶酪焗饭的种类吗？"

这种主动性让HIM-Agent更像一个真正理解用户习惯的智能伙伴，而不仅仅是一个被动的指令执行器。它能够预判用户的需求，在合适的时机提供恰当的帮助，大大提升了用户体验的便利性。

五、技术突破与创新意义

PersonalAlign技术代表了GUI智能体领域的一个重要突破。传统的智能体研究主要关注指令理解和任务执行的准确性，但往往忽视了个性化和主动性这两个关键维度。HIM-Agent的创新在于将这两个维度有机地结合起来，构建了一个真正以用户为中心的智能交互系统。

从技术角度来看，HIM-Agent解决了几个重要的挑战。首先是长期记忆的组织和利用问题。如何从海量的历史交互数据中提取有用的模式，如何避免记忆系统随着时间推移而变得混乱，这些都是实际部署中必须解决的问题。HIM-Agent的流式聚合模块和层次化记忆架构为这些问题提供了有效的解决方案。

其次是个性化与通用性的平衡问题。过度的个性化可能导致系统过拟合到特定用户的行为，缺乏泛化能力；而过于通用的系统又无法提供真正个性化的服务。HIM-Agent通过区分偏好意图和例行意图，在不同层次上实现个性化，既保证了个性化的深度，又维持了系统的稳定性。

第三是主动性与干扰性的权衡问题。主动的智能助手固然方便，但如果主动得不合时宜，反而会成为用户的负担。HIM-Agent的状态感知机制和置信度评估系统为解决这个问题提供了思路。

从应用角度来看，这项研究为智能手机、智能家居、车载系统等各种人机交互场景都提供了有价值的参考。随着人工智能技术的不断发展，用户对智能助手的期望也在不断提高。他们不再满足于简单的指令执行，而是希望助手能够真正理解自己的需求和习惯，提供更加贴心和智能的服务。

研究团队也坦诚地讨论了当前研究的局限性。首先是数据可获得性的问题。构建高质量的个性化数据集需要大量的用户行为数据，但受限于隐私保护和数据获取的难度，目前的评估还主要基于Fingertip数据集。其次是冷启动问题，对于新用户或历史数据不足的场景，系统的个性化能力会受到限制。

六、未来展望与发展方向

PersonalAlign技术开辟了GUI智能体研究的新方向，但这仅仅是一个开始。研究团队在论文中展望了几个更加激进和前瞻性的发展方向。

第一个方向是"主动执行"模式。在这种模式下，智能助手不仅能够主动提供建议，还能直接执行预判的操作。设想这样的场景：当你到达办公室时，手机已经自动解锁并停留在工作相关的界面；当你下班离开公司时，导航应用已经自动启动并设置好回家的路线。这种高度主动的交互模式将彻底改变人与设备的关系，让智能助手真正成为生活中的智能伙伴。

第二个方向是基于触发器的主动模式。系统可以通过学习用户的历史行为，自动识别出一系列触发条件和对应的操作。比如"当时间是工作日早上8点且位置在公司时，提醒打卡"这样的规则。这种方式比实时分析更加高效，也更适合在资源受限的移动设备上部署。

第三个方向是个性化指令重写。系统可以在理解用户意图的基础上，自动将模糊的指令扩展为完整明确的指令，然后再交给执行模块处理。这种方式的好处是可以与现有的GUI智能体系统兼容，不需要对底层执行逻辑进行大幅修改。

隐私保护是PersonalAlign技术面临的重要挑战。个性化服务依赖于大量的用户行为数据，如何在提供个性化服务的同时保护用户隐私，是一个需要深入思考的问题。研究团队建议采用本地化部署、联邦学习或模拟用户代理等技术来缓解隐私担忧。

数据规模化也是未来需要解决的问题。目前的研究主要基于Android平台，未来需要扩展到更多的操作系统和应用场景，构建更大规模、更多样化的数据集。同时，如何设计更加高效的标注策略，降低人工标注的成本，也是实用化部署需要考虑的问题。

在线评估是另一个技术挑战。目前的评估主要采用离线模式，通过比较系统输出与标准答案来评估性能。但在实际应用中，用户的反馈和满意度才是最重要的评价指标。如何构建有效的在线评估框架，让系统能够从用户反馈中持续学习和改进，是未来研究的重要方向。

说到底，PersonalAlign技术代表了人工智能从工具向伙伴转变的重要一步。传统的智能助手更像是一个高效的工具，按照指令完成任务；而个性化的智能助手则更像是一个了解你的朋友，能够理解你的习惯，预判你的需求，在合适的时机提供恰当的帮助。这种转变不仅仅是技术上的进步，更是人机交互范式的根本变革。

随着技术的不断发展和完善，我们有理由相信，未来的智能设备将变得更加贴心和智能，真正成为我们生活和工作中不可或缺的智能伙伴。当然，在享受这种便利的同时，我们也需要谨慎地处理隐私保护、数据安全等重要问题，确保技术的发展能够真正造福人类。

Q&A

Q1：PersonalAlign技术是什么？

A：PersonalAlign是哈工大团队开发的一种让手机助手能够理解用户隐含意图的技术。它让助手像长期陪伴的朋友一样，通过观察用户的行为模式来理解真实需求，分为偏好意图和例行意图两个层次。

Q2：HIM-Agent比传统手机助手强在哪里？

A：HIM-Agent拥有智能记忆系统，能从用户历史操作中学习偏好和习惯。当你说"点外卖"时，它知道你通常用美团点麦当劳单人餐；它还能根据时间地点主动提供建议，比如早上8点在公司时主动询问是否需要打卡。

Q3：PersonalAlign技术什么时候能普及使用？

A：目前还处于研究阶段，面临数据获取、隐私保护等挑战。研究团队建议采用本地化部署、联邦学习等方式来保护隐私。随着技术完善，未来可能会应用到智能手机、智能家居、车载系统等各种场景中。