总目录 大模型相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328

https://link.springer.com/chapter/10.1007/978-3-031-98414-3_16

https://www.doubao.com/chat/35331140679072514

论文原文：https://download.csdn.net/download/WhiffeYF/92545046

论文集下载：https://download.csdn.net/download/WhiffeYF/92543315

学生问题解决手写轨迹的自动建模与分析

Zhonghua Sheng¹, Shuyu Shen², Leixian Shen^1(✉), Qiqi Duan², Nan Tang^1,2,
Pan Hui^1,2, Huamin Qu¹, and Yuyu Luo^1,2

¹香港科技大学,香港,中国
lshenaj@connect.ust.hk

²香港科技大学(广州),广州,中国

摘要

理解学生在问题解决中的认知模式对个性化教育至关重要,然而传统方法难以有效捕获和分析这些模式。本文提出了CogChain,一种将数字笔技术与多模态大语言模型(MLLMs)协同结合的新方法,用于自动构建学生在考试期间的逻辑链。我们收集了一个包含25名真实高中学生在数学、物理和化学科目中的87,679条手写轨迹的综合数据集。基于构建的学生逻辑链,我们从三个维度进行了深入分析:解题、时间和课程,揭示了一系列关于他们问题解决行为的发现。(1)解题维度:我们识别出四种不同的解题轨迹模式,表明中等复杂度的方法达到最高准确率。(2)时间维度:我们发现了三种时间分配模式,表明将更多时间分配给结构化推理的学生获得更高准确率,而优先考虑书写速度的学生往往表现较差。(3)课程维度:不同学科需要不同的问题解决和时间管理策略,数学受益于逐步推导,物理受益于视觉推理,化学受益于快速解答。这些见解为制定个性化教学策略提供了有价值的指导。

关键词:手写轨迹 · 多模态大语言模型 · 逻辑链 · 认知模式

1 引言

考试对于评估学生学习至关重要,学生在纸上记录他们的问题解决过程和答案,教育工作者评估其准确性和完整性[2,24]。这些书面记录包含关于学生问题解决轨迹的丰富信息,提供了对学生思维模式和认知方式的洞察[18,19]。例如,一些学生倾向于使用草图绘制辅助图表,可视化地构建他们的解决方法,而其他学生则直接进入方程阶段,专注于公式推导和计算。

然而,面对大量学生和复杂的考试问题,单独分析每个学生的整个解题过程具有挑战性,而且学生在问题解决过程中往往难以准确回忆他们的思维过程[1,5,27]。为了应对这一挑战,分析手写轨迹可以重建从初始理解到最终解决方案的顺序步骤,形成我们所称的逻辑链[4,7,8,15]。这些链代表了为解决问题而采取的推理和行动的结构化进展,揭示了学生认知模式的两个关键方面:显示学生如何构建解决方案的解题轨迹模式(例如,通过视觉辅助或直接方程推导),以及反映学生如何管理问题解决过程的时间分配模式。理解这些认知模式为更有针对性的个性化指导提供了机会,并帮助教育工作者优化教学策略[3,14]。

使用数字笔捕获手写轨迹。数字笔作为创新的数据收集工具,可以在学生解题过程中实时记录纸上笔移动的轨迹坐标(x, y)和时间信息(时间、状态),如图1(a)和图2所示。这些原始数据仅由需要与答题纸对齐才能进行有意义分析的时空坐标点组成。然而,如果没有适当的处理,教育工作者从这个丰富的数据集中提取有意义的见解仍然具有挑战性[28,32]。

逻辑链建模。为了解决从原始轨迹数据中提取洞察的挑战,我们利用多模态大语言模型(MLLMs)的最新进展[12,23]。它们处理多模态输入(包括手写笔记)的能力,使它们成为分析学生问题解决手写轨迹的有前途的工具。在此基础上,我们提出了CogChain,这是一种基于MLLM的方法,用于自动分析学生使用数字笔的时序手写轨迹(见图1(b))。CogChain提取时空特征,将它们可视化为可以转换为甘特图[9]的逻辑链,说明不同的认知阶段(例如,草图绘制和思考过程)。

基于提取的逻辑链,我们进一步从三个维度分析学生的认知模式:解题、时间和课程(图1©)。

• Q1: 逻辑链中的解题轨迹模式是什么(解题维度)?我们旨在探索学生解题轨迹模式与知识主题之间的关系,以揭示轨迹特征。
• Q2: 学生逻辑链的时间特征是什么(时间维度)?我们旨在探索学生时间分配与解题轨迹模式之间的关系,以揭示时间特征。
• Q3: 逻辑链如何跨学科变化(课程维度)?我们旨在比较不同课程的解题轨迹模式,以识别认知差异。

我们的贡献总结如下:

• 数据集整理。我们使用数字笔开发了一个手写数据集,包含来自25名高中学生两个月的记录(见图1(a))。数据集包括数学、物理和化学的试卷,共有87,679条手写轨迹。
• CogChain:自动逻辑链构建。我们提出了CogChain,一种基于MLLM的方法,用于从手写轨迹自动生成逻辑链(见图1(b))。逻辑链显示轨迹之间的时间分布和关系,为理解学生的问题解决行为提供了一种新方法。
• 逻辑链的多维研究。我们从三个维度对逻辑链进行了深入分析:解题、时间和课程(见图1©)。通过分析逻辑链,我们探索了学生在不同学科中的解题轨迹模式和时间管理模式,为学生的认知模式提供了有价值的见解。

2 相关工作

2.1 用于教育的数字笔

数字化学生手写可以显著提高评分效率,并有可能实现智能、个性化教育[11]。与手写文字识别系统[13]相比,数字笔提供了几个优势:它们捕获时间信息[29],促进直观交互[28],并允许对原始数据进行细粒度分析[6,10,17,25,31,32]。例如,Yan[31]证明了智能纸笔技术通过提高效率来改善课堂互动。Guo等人[10]开发了一个利用数字笔的学习平台,结合了一个分析模型,根据经过验证的指标评估学习者对作业的参与度。同样,Siddiqui和Muntjir[25]引入了一个集成数字笔和纸张的智能学习平台,以支持学生阅读、写作和解决课堂练习。尽管有这些优势,数字笔手写轨迹数据集仍然缺乏,对这些轨迹的细粒度分析也不足。本文通过构建真实世界数据集并利用MLLMs分析手写轨迹中的认知模式来解决这个问题。

2.2 学生逻辑链分析

理解和建模学生在问题解决过程中的逻辑链已经引起了广泛关注。Wang和Chiew[30]强调问题解决是一个核心认知功能,与抽象、学习、决策、推理和综合交织在一起。他们进一步捕获这些交互以研究学生认知的复杂性。最近的人工智能进步引入了诸如思维链提示[26]之类的技术,该技术训练模型使用逐步推理来以更高的准确性处理复杂任务。这与建模学生逻辑链的目标一致,因为它强调将复杂问题分解为可管理的步骤。此外,在教育中使用数字工具为捕获和分析学生问题解决过程开辟了新途径。例如,数字笔可以在学生问题解决活动期间记录实时轨迹坐标和时间信息。可以分析这些数据以重建学生采取的认知步骤序列,提供对其逻辑链的洞察[10,25]。尽管有这些进展,当前方法面临捕获认知阶段之间转换的粒度不足的关键局限性[16,20]。为了解决这些差距,我们提出利用MLLMs从数字笔手写轨迹重建细粒度、时序逻辑链。

3 数据集整理

我们从一个中学班级收集了25名学生(10名男生和15名女生,年龄17-19岁)的数据。考试在标准条件下进行,学生接受了数字笔使用培训。然后,学生使用嵌入坐标的特殊设计答题纸完成限时考试,使笔移动的精确跟踪成为可能(见图2(a))。他们的问题解决体验与传统纸质考试相同,而我们通过笔的蓝牙功能收集了手写轨迹数据。

在两个月的时间里,我们收集了37份数学、物理和化学考试试卷。每次笔画都记录了状态信息(笔按下、移动和笔抬起)、空间特征(x和y坐标)和时间戳。我们将轨迹定义为从笔按下到笔抬起的完整笔移动序列,包括所有中间位置及其空间坐标。这个过程产生了87,679个轨迹段。我们通过将坐标映射到标准答题纸进一步预处理这些轨迹。图2©说明了一个学生如何解决三个线性规划问题。对于Q32,学生圈出了问题主干,排除了错误选项,并写了’B’。对于Q33,学生写了方程,划掉了错误选项,并选择了’D’。对于Q34,学生写了方程,创建了图表,并在排除错误选项后选择了’A’。教育工作者可以通过评分平台进行评分和记录结果(见图2(b))。

数据集包括三个主要组成部分:带有唯一标识符的学生信息、包括正确答案和知识主题的问题信息,以及包含这些详细笔画记录的手写数据(见图1(a))。该数据集能够深入分析问题解决模式、认知策略和个性化学习见解。

4 CogChain:自动逻辑链构建

逻辑链代表学生的结构化问题解决过程,包括书写阶段(例如,方程、草图)、思考间隙(表示推理或分析的暂停)和时间组织(反映逻辑和时间分配的顺序流)。为了深入了解学生的认知模式,我们提出了CogChain,这是一种利用MLLMs从学生的原始手写轨迹数据自动构建和可视化逻辑链的方法。如图3所示,CogChain包括三个模块:基于时间的轨迹分割、轨迹分类和逻辑链可视化。

4.1 基于时间的轨迹分割

为了更准确地生成学生的逻辑链,我们首先采用基于时间的轨迹分割方法来处理大量的手写轨迹(见图3(a))。考虑到一次输入所有轨迹会丢失时间序列信息,过多的轨迹可能导致准确性损失,我们通过设置时间阈值(2秒)来采用启发式分组方法来分割学生的书写行为。当相邻轨迹之间的时间间隔小于2秒阈值时,我们认为这是一个连续的书写阶段。例如,当学生在2秒阈值内连续写下’x’字母序列时,这些笔画被分组为单个书写行为,保留了书写的自然流程。在此阶段,我们将这些连续的笔轨迹分组在一起并记录它们的书写持续时间。当时间间隔超过2秒阈值时,我们将其识别为学生的思考暂停阶段,并将此期间记录为思考间隙。

如图3(a)所示,该方法将学生的轨迹分割为三个不同的书写组,每个组都与书写持续时间相关联,中间有两个思考间隙。为了便于逻辑链构建,我们按时间顺序将这些组映射到答题纸上。图3(a)说明了这三个书写组如何映射到三张单独的答题纸上。

4.2 手写轨迹分类

基于对我们数据集的全面分析,我们将手写轨迹组分类为五种不同的类型,这些类型构成了学生逻辑链的书写阶段(见图3(b)):

• 草图:数学图表和图形元素(例如,坐标轴、数字线);
• 方程:作为辅助计算或最终答案的数学表达式;
• 高亮:标记符号,包括删除线和下划线;
• 选择题答案:括号内的基于字母的回答(例如,A、B、C、D);
• 未知:无法识别的标记或不相关的内容(例如,涂鸦、杂散标记)。

分类过程利用MLLMs分析分段的手写内容。由于学生经常在问题之间切换,手写内容可能无意中与相邻问题重叠。为了解决这个问题,我们的MLLMs执行双重分类,识别手写类型和相应的问题。通过分析映射到答题纸的轨迹图像的空间分布和内容特征,MLLMs确保准确的分类。

4.3 逻辑链可视化

我们使用甘特图表示学生问题解决过程的逻辑链(见图3©)。这些图表整合了三个关键数据组件:来自轨迹分割的书写持续时间和思考间隙,以及来自MLLMs的手写分类结果。甘特图的横轴表示时间进展,纵轴表示不同的问题。书写阶段根据其类型(例如,方程、草图、答案)进行颜色编码,思考间隙显示为灰色区域。作为我们的可视化方法如何捕获问题解决过程的示例,考虑图3中显示的学生对"哪个向下开口并保持在x轴上方?"问题的解答。甘特图揭示了一个结构化序列:学生开始时记下相关公式,暂停进行战略思考,构建函数坐标,并通过标记’A’作为最终答案来结束。这种可视化方法有效地捕获了学生解题轨迹模式和时间分配模式的顺序性质。

5 逻辑链的多维研究

通过第4节中描述的自动逻辑链构建方法,我们分析了从37份考试试卷中收集的87,679个数字笔轨迹段,从而使用CogChain识别了8,304个轨迹组。通过将这些轨迹组与其相应的问题关联,我们获得了1,765个完整的问题解决过程,其中每个过程可能包含代表解决问题的不同阶段的多个轨迹组。我们进一步基于这些逻辑链从三个维度分析学生的认知模式:解题、时间和课程。

5.1 解题维度

实验设计。为了分析学生的问题解决轨迹特征,我们首先将解题轨迹模式定义为单个问题逻辑链中相似书写阶段序列的聚类。为了识别这些模式,我们对1,765个问题解决过程进行聚类分析,从每个逻辑链中提取两个特征:轨迹组的总数和第4节中定义的不同轨迹类型的基于时间的分布。

使用这些特征,我们采用K-means聚类和肘部方法来确定最佳聚类数。通过这种分析,我们识别了四种典型的解题轨迹模式:

• 快速解答:一种简洁的问题解决方法,轨迹组较少(平均2.8个),学生主要对选择题使用高亮(49.1%)。关键特征是最少的计算(平均0.6个方程)和高亮使用(平均0.8个),达到71.8%的准确率。
• 视觉推理:一种具有中等轨迹组(平均6.7个)的解决方法,以草图为主(54.4%)。显著特征是加入了图形元素(平均2.8个草图),如坐标系统和函数图,达到70.7%的准确率。
• 逐步推导:一种具有更多轨迹组(平均11.2个)的解决过程,结合了方程(44.9%)和高亮(46.9%)。其特点是方程推导(平均3.8个)和高亮(平均3.9个),显示出系统的问题解决逻辑,准确率为74.1%。
• 综合计算:一种具有大量轨迹组(平均29.5个)的广泛解决方法,其特点是详细的数学推导(51.4%方程)。它的特点是方程推导(平均12.3个方程),保持73.6%的准确率。

发现。为了评估不同解题轨迹模式的有效性,我们分析了:(1)从问题信息中得出的知识主题和问题类型,以及(2)基于教育工作者在评分平台中的评分的解答准确性。通过对这些指标在不同解题轨迹模式中的全面分析(见图4),我们识别了几个关键发现:

轨迹模式对应知识主题和问题类型。学生在各种知识主题和问题类型中表现出不同的问题解决偏好,如图4(a)所示。在与几何相关的内容中,如圆弦和角度以及循环四边形测试,这些内容具有视觉和空间性,学生倾向于在超过20%的解决方案中使用视觉推理。对于代数主题,如函数变换和图形解决方案,具有数字和符号性质,学生主要倾向于快速解答方法,占解决方案的80%以上。关于问题类型,在需要详细解释的自由回答问题中,学生更倾向于使用逐步推导和综合计算,这两种方法的综合比例在各知识主题中超过60%。相比之下,快速解答方法在选择题中占主导地位,每种方法超过60%的回答。这些模式表明,学生根据知识主题的固有性质和问题格式的具体要求自适应地选择解决方法。

解题复杂度不保证准确性。我们发现,广泛的解题模式并不一定导致更高的准确性(见图4(b))。虽然逐步推导(10-15个轨迹组)显示出最高的74.1%准确率,但这种中等复杂度的方法仅在154个问题解决过程中被选择。相比之下,快速解答只涉及2-4个轨迹组,计算量最少,出现在1,307个过程中,并达到了可比的71.8%准确率。具有5-9个轨迹组的视觉推理(70.7%,n=267)和涉及超过15个轨迹组的综合计算(73.6%,n=37)显示出相似的性能水平。这表明有效的问题解决取决于在细节和简洁之间找到适当的平衡,而不是简单地最大化或最小化解题轨迹。

5.2 时间维度

实验设计。为了深入理解学生在考试期间的时间管理,我们首先将时间分配模式定义为整个考试期间单个学生逻辑链中相似时间组织的聚类。然后,我们对37份完成试卷的考试时间分布数据进行聚类分析,其中包括几个时间特征:思考间隙和书写持续时间的平均时间和标准差,考试时间管理分配(在考试的第一和最后三分之一期间花费的平均时间),以及答题序列特征(逆序答题比率)。遵循第5.1节中描述的相同聚类方法,我们将学生分为三种典型的时间分配模式:

• 快速-低准确率:特点是书写速度快(平均12.1秒),间隙时间长(平均95.8秒),准确率最低(45%)。逆序答题比率为5.3%。
• 快速-高准确率:显示快速书写速度(平均12.7秒),间隙时间最短(平均47.2秒),准确率良好(65.5%)。所有聚类中时间效率最高,总解题时间最低(平均59.8秒)。
• 缓慢-高准确率:显示较长的书写时间(平均42.8秒),间隙时间长(平均106.6秒),但准确率最高(70.3%)。其特点是显著减速,后期平均时间(平均249.4秒)大大高于早期阶段(平均94.3秒)。

发现。为了识别时间管理中的个性化认知模式,我们将时间分配模式与答题准确性和解题轨迹模式(遵循第5.1节导出)进行比较,如图5所示。

间隙时间服务于不同的认知功能。如图5(a)所示,跨聚类的不同间隙时间模式揭示了它们的不同作用:快速-低准确率组的长间隙(95.8秒)加上他们的低准确率(45%)可能表明尽管有延长的思考时间,但在问题理解上存在困难,而缓慢-高准确率组的延长间隙(106.6秒)可能反映了更深层次的分析处理,有助于他们的卓越准确率(70.3%)。快速-高准确率组较短的间隙(47.2秒)结合良好的准确率(65.5%)表明高效的信息处理和决策能力,表明更长的思考时间不一定转化为更好的表现。

引导学生进行结构化推理至关重要。如图5(b)所示,不同学生组的解决方法存在明显差异。快速-低准确率组严重依赖快速解答(74%),这可能导致他们较低的准确率(45.0%)。相比之下,快速-高准确率和缓慢-高准确率组更频繁地使用逐步推导(分别为24%和43%),取得了显著更好的结果(分别为65.5%和70.3%准确率)。这些发现表明,鼓励学生通过高亮和制定方程来花时间识别关键信息可能是有益的。特别是,应该引导快速-低准确率学生减少对快速解答的过度依赖,转而采用更系统的方法,而快速-高准确率学生可以从增加使用逐步推导策略中受益。

5.3 课程维度

发现。通过系统比较不同学科的解题轨迹模式,如图6所示,我们识别了答题准确性、书写持续时间和思考间隙(如第4.1节所定义)的差异。

学科特征影响问题解决策略和习惯。不同学科的知识结构决定了它们适合的问题解决策略(见图6(a))。数学具有严格的逻辑性质,最好通过逐步推导来处理,达到平均80%的准确率。物理涉及抽象概念,受益于视觉推理,这种方法产生了93.8%的高准确率。化学以其多样化和复杂的主题为特征,在快速解答方法中看到最大优势,准确率为80.9%。然而,学生的实际问题解决习惯并不总是与最佳策略一致。例如,在数学中,学生倾向于偏好快速解答(n=905),但这种方法通常导致较低的准确率。相反,在物理(n=113)和化学(n=289)中,学生更倾向于采用较慢的问题解决策略。因此,学生应该根据每个学科的特征调整他们的问题解决习惯,以避免僵化习惯对问题解决有效性的负面影响。

每个学科都有其独特的时间管理模式。如图6(b)所示,数学通常具有较短的书写时间(中位数5秒)和相对较长的思考时间(中位数28秒),而物理的书写时间为11秒,思考时间为57秒,化学的书写时间为12秒,思考时间为46秒。鉴于所有数学问题都是选择题,答案相对简洁,有助于较短的书写时间。物理和化学包括选择题和自由回答问题,需要更详细的解决步骤和解释。物理显示最长的思考间隙(57秒),这可能与物理问题通常需要的多步骤问题解决过程有关。总体而言,思考间隙的中位数是书写时间的4-5倍,表明分析和规划主导解决过程的认知模式。值得注意的是,所有学科的快速解答都显示出分散的时间分布,反映了快速问题解决方法的固有不稳定性。

6 讨论

启示。我们的研究在三个维度提供了启示:

认知诊断维度。基于我们在第3节中的手写轨迹数据集,我们使用CogChain生成逻辑链可视化(第4节)。通过这种分析,我们识别了学生的认知模式,包括问题解决策略和时间分配模式(第5节)。这些发现帮助教育工作者分析学生的问题解决过程。认知模式特征为智能题库系统提供了数据驱动的支持,以更好地评估和适应学生的学习需求。

学习策略维度。通过问题解决数据的分析(第5节),我们识别了思考时间分配、解决方案选择和解答准确性方面的显著个体差异。我们通过分析跨知识点的轨迹模式(第5.1节)、考试时间管理(第5.2节)和跨学科策略适应(第5.3节)构建了全面的学生认知档案。这些档案为学生和教育工作者提供了见解,以做出关于学习策略的明智决策。

学科特定认知维度。我们的分析(第5.3节)揭示了跨学科的不同认知模式。数学学习需要系统的逻辑推导,并涉及更长的反思时间以进行概念理解。物理受益于图形推理方法结合逻辑思维,而化学偏好具有简洁解决方法的高效问题解决策略。通过来自多个机构和地区的更大样本的数据,这些发现可以进一步验证,以指导教科书开发以增强思维技能指导和考试设计,并更好地对齐问题类型和时间分配。

局限性和未来工作。我们的研究也有几个局限性,为未来工作提供了机会。

数据集。本研究中使用的第3节中的数据集在规模和多样性上都有限,因为它只关注来自单个学生班级的科学科目(物理、化学和数学)。这种狭窄的范围可能无法完全反映不同学术流派、社会经济背景和学习需求的学生群体的多样性。未来的研究可以扩展分析以涵盖更广泛的学科、学生人口统计数据和长期研究,以跟踪个人表现随时间的轨迹。

MLLMs集成。虽然CogChain有效地分析了学生的问题解决模式,但当前的MLLMs主要依赖于表面层面的模式匹配,这限制了它们掌握深层推理和检测概念错误的能力[21,22]。在理解复杂推理和生成自适应反馈方面仍存在挑战。未来的研究将专注于增强CogChain建模复杂认知过程的能力,整合更精细的学习行为数据库,并推进个性化AI驱动的支持[23]。

致谢。本文得到了中国国家自然科学基金(62402409)、广东省项目2023CX10X008、广州市大数据智能重点实验室(2023A03J0012)、广东省基础与应用基础研究基金(2023A1515110545)、广州市基础与应用基础研究基金(2025A04J3935)以及广州-港科大(广州)联合资助计划(2025A03J3714)的支持。

References

1. Akben, N.: Effects of the Problem-posing approach on students’ problem solving skills and metacognitive awareness in science education. Res. Sci. Educ. 50(3), 1143–1165 (2020)
2. Arnold, I.J.: Do examinations influence student evaluations? Int. J. Educ. Res. 48(4), 215–224 (2009)
3. Bhutoria, A.: Personalized education and Artificial Intelligence in the United States, China, and India: A systematic review using a Human-In-The-Loop model. Comput. Educ. Artif. Intell. 3(100068), 1–18 (2022)
4. Bridgwood, M.: Guidelines for communication and engineering problem solving at the basic level. IEEE Trans. Prof. Commun. 42(3), 156–165 (1999)
5. Chaudhury, R., Chilana, P.K.: Designing visual and interactive self-monitoring interventions to facilitate learning: insights from informal learners and experts. IEEE Trans. Visual Comput. Graphics 31(2), 1542–1556 (2025)
6. Cho, Y.I., Altayeva, A.B.: Android-based E-board smart education platform using digital pen and dot pattern. Int. J. Fuzzy Logic Intell. Syst. 15(4), 260–267 (2015)
7. Cirillo, M., Hummer, J.: Competencies and behaviors observed when students solve geometry proof problems: an interview study with smartpen technology. ZDM - Math. Educ. 53(4), 861–875 (2021)
8. Docktor, J.L., Dornfeld, J., Frodermann, E., Heller, K., Hsu, L., Jackson, K.A., Mason, A., Ryan, Q.X., Yang, J.: Assessing student written problem solutions: a problem-solving rubric with application to introductory physics. Phys. Rev. Phys. Educ. Res. 12(1), 1–18 (2016)
9. Geraldi, J., Lechter, T.: Gantt charts revisited: a critical analysis of its roots and implications to the management of projects today. Int. J. Manag. Proj. Bus. 5(4), 578–594 (2012)
10. Guo, P., Shao, J., Ji, J., Pan, L., Pu, H., Pu, R.: Application status and prospect of dot matrix digital pen. In: Yu, Z., Patnaik, S., Wang, J., Dey, N. (eds.) Advancements in Mechatronics and Intelligent Robotics. pp. 545–549. Springer (2021)
11. Guruloo, T.N.M., Osman, K.: Beyond Pen and Paper: Understanding the Landscape of Digital Assessment in Stem Higher Education. In: Lecture Notes in Educational Technology, vol. Part F3676, pp. 177–197. Springer (2024)
12. Han, A., Zhou, X., Cai, Z., Han, S., Ko, R., Corrigan, S., Peppler, K.A.: Teachers, parents, and students’ perspectives on integrating generative AI into elementary literacy education. In: Proceedings of the CHI Conference on Human Factors in Computing Systems, pp. 1–17. ACM (2024)
13. Islam, M.S., Doumbouya, M.K.B., Manning, C.D., Piech, C.: Handwritten code recognition for pen-and-paper CS Education. In: Proceedings of the Eleventh ACM Conference on Learning @ Scale, pp. 200–210. ACM (2024)
14. Jovanovic, M., Vukicevic, M., Milovanovic, M., Minovic, M.: Using data mining on student behavior and cognitive style data for improving e-learning systems: a case study. Int. J. Comput. Intell. Syst. 5(3), 597 (2012)
15. Labahn, G., Lank, E., MacLean, S., Marzouk, M., Tausky, D.: MathBrush: a system for doing math on pen-based devices. In: 2008 The Eighth IAPR International Workshop on Document Analysis Systems, pp. 599–606. IEEE (2008)
16. Li, B., Luo, Y., Chai, C., Li, G., Tang, N.: The dawn of natural language to sql: are we fully ready? Proceedings of the VLDB Endowment 17(11), 3318–3331 (2024)
17. Li, W., Hilton, E., Hammond, T., Linsey, J.: Persketchtivity: An Intelligent PenBased Online Education Platform for Sketching Instruction. In: Electronic Visualisation and the Arts, pp. 1–9 (2016)
18. Liang, Z., Sha, L., Tsai, Y.S., Gašević, D., Chen, G.: Towards the automated generation of readily applicable personalised feedback in education. In: Proceedings of the 25th International Conference on Artificial Intelligence in Education, AIED 2024, pp. 75–88. Springer Nature Switzerland (2024)
19. Liu, J., Huang, Z., Xiao, T., Sha, J., Wu, J., Liu, Q., Wang, S., Chen, E.: SocraticLM: Exploring socratic personalized teaching with large language models. In: The 38th Annual Conference on Neural Information Processing Systems (2024)
20. Liu, X., et al.: A survey of NL2SQL with large language models: Where are we, and where are we going? (2025). https://arxiv.org/abs/2408.05109
21. Liu, X., Shen, S., Li, B., Tang, N., Luo, Y.: Nl2sql-bugs: A benchmark for detecting semantic errors in nl2sql translation. arXiv preprint arXiv:2503.11984 (2025)
22. Luo, T., et al.: nvbench 2.0: A benchmark for natural language to visualization under ambiguity (2025). https://arxiv.org/abs/2503.12880
23. Shen, L., Li, H., Wang, Y., Xie, X., Qu, H.: Prompting Generative AI with Interaction-Augmented Instructions. In: Extended Abstracts of the CHI Conference on Human Factors in Computing Systems, CHI EA '25, pp. 1–9. ACM (2025). https://doi.org/10.1145/3706599.3720080
24. Shen, S., Lu, S., Shen, L., Sheng, Z., Tang, N., Luo, Y.: Ask humans or ai? exploring their roles in visualization troubleshooting. arXiv preprint arXiv:2412.07673 (2024)
25. Siddiqui, A.T., Muntjir, M.: An approach to smart study using pen and paper learning. Int. J. Emerg. Technol. Learn. 12(05), 117 (2017)
26. Tang, N., Yang, C., Fan, J., Cao, L., Luo, Y., Halevy, A.Y.: Verifai: Verified generative AI. In: CIDR. www.cidrdb.org (2024)
27. Van Mechelen, M., et al.: Emerging Technologies in K-12 Education: A Future HCI Research Agenda. ACM Trans. Comput.-Hum. Interact. 30(3), 1–40 (2023)
28. Walny, J., Lee, B., Johns, P., Henry Riche, N., Carpendale, S.: Understanding pen and touch interaction for data exploration on interactive whiteboards. IEEE Trans. Visual Comput. Graphics 18(12), 2779–2788 (2012)
29. Wang, J.S., Chuang, F.C.: An accelerometer-based digital pen with a trajectory recognition algorithm for handwritten digit and gesture recognition. IEEE Trans. Industr. Electron. 59(7), 2998–3007 (2012)
30. Wang, Y., Chiew, V.: On the cognitive process of human problem solving. Cogn. Syst. Res. 11(1), 81–92 (2010)
31. Yan, Y.: Analysis of Teachers’ and Students’ Technology Application Behaviors in a Smart Paper-Pen Environment. In: Proceedings of the 2023 6th International Conference on Educational Technology Management, pp. 42–48. ACM (2023)
32. Yang, Q., Zhan, Z., Du, X.: A Learning Engagement Analysis Model for Assignments based on Dot Matrix Pen Technology. In: Proceedings of International Conference on Education and Multimedia Technology. pp. 90–96. ACM (2022)