要点总结 #
研究背景与问题:近年来,人工智能(AI)驱动的自动写作评估(AWE)系统在语言学习中引起了广泛关注。然而,大多数研究集中在北美地区,且主要关注AWE的有效性,而较少关注学生在多次提交中的修订过程。本研究旨在填补这一空白,通过分析五名中国大学生与Pigai系统的互动,探讨他们如何响应AI生成的反馈。Pigai是中国最大的AI写作评估系统,提供语法、词汇和结构等方面的反馈。
方法论与贡献:研究通过分析五名学生在单一写作任务中的多次提交,详细记录了Pigai提供的反馈类型以及学生的修订行为。结果显示,学生在最初的提交中主要关注错误纠正反馈,但随着提交次数的增加,非错误纠正反馈(如词汇建议)逐渐增多。研究还发现,学生对反馈的响应从最初的机械性修订逐渐转变为更具思考性的修订策略。研究通过地形模型展示了学生与Pigai互动的动态过程,揭示了学生在多次提交中的自主性提升。
关键要点 #
论文重要性 #
这项研究对于语言教学和AWE系统的未来发展具有重要意义。首先,研究揭示了学生在多次提交中如何与AI反馈互动,为教师提供了如何更好地利用AWE系统的指导。其次,研究结果表明,AWE系统在提供反馈时,主要关注语言相关的错误,而在内容和创意方面的反馈较为有限。这为未来的AWE系统设计提供了改进方向,尤其是在提供更个性化和多样化的反馈方面。此外,研究还表明,学生在多次提交中逐渐提升了自主性,这为未来的语言学习研究提供了新的视角。未来的研究可以进一步探讨学生在使用AWE系统时的情感投入和决策过程,以更全面地理解AI反馈对学生学习的影响。
图表分析 #
Pigai反馈类型与数量 #
🔼 本图表展示了五位参与者在使用Pigai自动写作评估系统后,在多次提交过程中收到的反馈类型和数量。图表清晰地显示,随着提交次数的增加,错误纠正反馈的数量逐渐减少,这可能是因为学生们更容易处理直接的错误纠正反馈。同时,建议和提示类型的反馈(例如同义词、词汇差异和搭配建议)在数量上显著高于错误纠正反馈。具体来说,错误纠正反馈主要集中在大小写、语法、动词错误、名词错误和标点符号等方面,而非错误反馈则包括了大量的同义词、词汇差异以及搭配建议,这些建议占总反馈的73%。
此外,图表还揭示了反馈的重点从局部层面(如语法、词汇表达和机械错误)向全局层面(如文章结构和连贯性)转变的趋势。尤其是在学生5的12次提交中,最初几次提交的反馈主要集中在局部错误,但随着提交次数的增加,系统开始提供更多关于文章整体组织和连贯性的反馈。图表还进一步细化了错误类型,显示了句子错误、动词错误和名词错误在首次提交时最为常见,但之后出现的频率有所下降。图表中的数据表明,Pigai系统在早期阶段主要关注具体的语言错误,随后逐渐提供更高级别的写作建议,这有助于学生们全面提高写作能力。然而,值得注意的是,系统可能未能识别出一些诸如单复数错误和句子结构错误等问题,这表明AWE系统在某些方面仍有改进空间。总的来说,这张图表为理解学生如何与自动写作评估系统互动提供了宝贵的见解,并突出了AWE系统在不同阶段反馈的特点。
更多图表分析
学生提交与反馈数量 #
🔼 该图为柱状图,展示了单个学生在多次提交写作任务后,从自动写作评估系统 Pigai 收到的错误反馈和建议提示反馈的数量变化。横轴代表学生的提交次数,从第一次提交到第十二次提交。纵轴表示反馈的数量。图中蓝色柱状图表示错误反馈的数量,橙色柱状图表示建议和提示反馈的数量。从图表中可以观察到以下几个主要趋势:首先,错误反馈的数量在最初的几次提交中相对较高,随后迅速下降,并在后续的提交中维持在较低水平,这表明学生在最初几次提交中集中处理了明显的错误。其次,建议和提示反馈的数量整体上远高于错误反馈,并且随着提交次数的增加,呈现出持续增加的趋势。这表明 Pigai 系统在提供纠错反馈的同时,也着重为学生提供丰富的语言资源和改进建议,这些建议在多次提交中累积。特别地,在第 8 次提交后,建议和提示反馈数量趋于稳定并维持较高水平。这一现象可能反映了学生在解决了基础错误后,更多地关注于语言表达的丰富性和准确性。此外,图表也体现了学生与 Pigai 系统互动的一个动态过程:初始阶段侧重于错误修正,而随着提交次数增多,重点逐渐转向语言的优化和提升。该图表对于理解学生如何与自动写作评估系统互动,以及如何根据反馈调整和改进其写作具有重要意义,也为未来如何设计更有效的自动写作评估工具提供了启示。

学生5在不同提交版本的反馈侧重点 #
🔼 该图表展示了学生5在12次提交中, automated writing evaluation (AWE) 系统 Pigai 提供的反馈侧重点变化。横轴代表学生提交的版本序号,纵轴表示不同反馈类型的数量。图表主要展示了六种反馈类型:语法错误(形态和句法错误),词汇表达错误,机械错误(拼写、标点和大小写),针对意图和个人观点的反馈,针对内容传达信息的反馈,以及针对文章结构(句子、段落或篇章的链接结构)的反馈。最初的几次提交中,Pigai 主要关注语法、词汇和机械错误,这些错误在提交1和2中数量较多,此后逐渐减少,其中机械错误在提交2后基本消失,语法错误在提交8短暂出现后再次消失,词汇错误在提交4之后也大幅减少,仅在提交5和7出现少量。从第4次提交开始,当学生5的文章满足了字数要求后,Pigai开始提供更详细的全局反馈,关注文章的组织结构,主要表现在关于结构、连接词和过渡的使用,以及使用更复杂句子的建议。从提交4到提交12,关于文章组织的反馈稳定出现,且数量稳定在3个左右。值得注意的是,Pigai没有对文章的中心思想和内容提出反馈。该图揭示了AWE系统在反馈侧重上的变化,早期集中于局部语言错误,后期转向文章结构。这反映出AWE系统在初期主要进行简单的语法检查和修正,随着学生写作质量提高,反馈逐渐转向更高级的组织结构分析。

学生写作评分示例 #
🔼 该图表展示了一个学生在使用AI写作评估系统(Pigai)后得到的反馈示例,其中包含了总分、各个维度(词汇、句子、篇章结构、内容相关性)的得分情况以及文字反馈。总分84.5分显示该学生在该次写作中表现良好。图中清晰地呈现了各部分得分的相对比例,直观地反映了学生在各个方面的优势和不足,其中“词汇”和“句子”部分占比最高,表明学生在词汇和句子运用方面表现较好,但其他维度得分较低,可能需要进一步改进。
文字反馈中,系统指出学生“文章词汇使用较为灵活,希望能够更加熟练地使用学术词汇,可适当增加长句和复杂句的使用”,这表明系统不仅给出了量化分数,还提供了具体的改进建议。同时,系统还评价“全文结构较为严谨,应适当增加文中衔接词的使用”,指出了学生在文章结构和连贯性方面存在提升空间。这些反馈信息有助于学生了解自己的写作情况,并在后续的写作中针对性地进行改进。该图表呈现了AI写作评估系统在提供反馈方面的特点,不仅能够给出量化分数,还能提供具体的改进建议,有助于学生提高写作水平。该图表是典型的AI写作反馈展示,反映了当前AI技术在教育领域的应用,具有一定的代表性。

学生对反馈的修正次数 #
🔼 该图表展示了四名学生在两次提交的写作任务中,针对自动写作评估系统(AWE)提供的反馈进行修改的情况。图表使用柱状图的形式,分别用蓝色表示第一次提交时收到的错误纠正反馈数量,橙色表示第一次修改中进行的纠正次数,灰色表示第二次提交时收到的错误纠正反馈数量,黄色表示第二次修改中进行的纠正次数。从图表中可以看出,学生1和学生4在第一次提交时收到的错误纠正反馈较多,分别为18和22次,并在第一次修改中对大部分反馈进行了修正。学生2和学生3在第一次提交时收到的反馈相对较少,但他们的修改次数在第一次和第二次提交之间波动较大。整体而言,第一次提交时收到的反馈数量普遍高于第二次,且第一次修改的纠正次数也相对较高,表明学生在初期更倾向于积极响应AWE的错误纠正反馈。该图表主要关注学生对错误纠正反馈的接受程度和修改行为,未涉及非错误反馈的互动情况。图表数据反映了学生在接受AWE反馈时,初期对直接错误修正的重视,以及在多次修改中反馈与修改行为的动态变化。这些数据对于理解学生如何利用AWE反馈,以及如何改进AWE系统的反馈机制具有一定的参考价值。此外,该图表也暗示了学生在多次提交过程中可能存在不同的学习策略和反馈利用偏好。

学生5的错误反馈与修正 #
🔼 该图表展示了学生5在11次论文修订过程中,自动写作评估系统提供的错误修正反馈、学生修正的错误以及未修正的错误数量。横轴表示修订次数,纵轴表示错误数量。图例表明,蓝色柱状图代表每次修订收到的错误修正反馈总数,橙色柱状图代表学生实际修正的错误数量,灰色柱状图代表未修正的错误数量。
从图表可以看出,在第一次修订时,学生5收到的错误修正反馈最多,接近9个,并且修正了其中约7个错误,但仍有部分未修正。在第二次修订时,错误修正反馈大幅减少,学生修正的错误也相应减少,未修正的错误仍然存在。从第三次修订开始,错误修正反馈和修正错误的数量都持续保持在较低水平,偶尔有零星的错误出现和修正。值得注意的是,在第8次和第9次修订时,出现了少量的错误修正反馈,同时学生也进行了相应的修正。整体而言,随着修订次数的增加,系统提供的错误修正反馈逐渐减少,学生对错误的修正也趋于稳定,表明学生在早期阶段更多地依赖系统的直接反馈进行修正,后期则更多地依赖自身能力进行修改。图表显示,尽管学生在早期阶段积极响应反馈,但在整个过程中仍存在一些未被修正的错误,这可能反映了学生对某些类型错误的理解不足或修改难度较大。
此图表揭示了自动写作评估系统在提供即时反馈和促进学生错误修正方面的作用,也展示了学生在多次修订过程中逐渐提高自我修正能力的过程。同时,图表也暗示,仅仅依赖自动反馈系统可能无法完全解决学生在写作中遇到的所有问题,教师的指导和补充反馈仍然非常重要。

四名学生修改建议反馈对比 #
🔼 该图为柱状图,展示了四名学生在两轮提交中收到的修改建议反馈的数量以及他们根据这些反馈进行的修订次数。横轴代表学生,纵轴代表反馈或修改次数。图例中,蓝色柱代表第一次提交时收到的建议反馈数,橙色柱代表第一次修改时根据建议进行的修改次数;灰色柱代表第二次提交时收到的建议反馈数,黄色柱代表第二次修改时根据建议进行的修改次数。从图中可观察到,四名学生在第一次提交时收到的修改建议反馈的数量均高于第二次,这表明随着学生对写作的改进,机器的反馈逐渐减少。同时,首次提交反馈后的修改量普遍高于第二次修改,这可能是因为学生更倾向于先解决首次反馈指出的问题。具体来看,学生1在第一次提交时收到了约14条建议,进行了约6次修改,第二次收到约13条建议,进行了约2次修改。学生2的修改建议反馈数明显高于其他学生,在第一次和第二次提交分别收到约22和18条建议,修改次数也相对较高。学生3的建议反馈数较学生2略少,第一次和第二次分别为约18和13条,但修改次数较低。学生4的建议反馈数最高,第一次收到约27条,第二次约20条,第一次的修改次数接近学生2,但第二次的修改次数偏低。总的来说,图表清晰地展示了学生在不同提交轮次中与AWE系统互动的模式,揭示了学生对反馈的接受和处理程度。

深度解读 #
反馈类型分析 #
本论文详细分析了中国最大的AI写作评估系统Pigai提供的反馈类型及其对学生写作的影响。研究发现,Pigai的反馈主要分为错误纠正反馈和非错误反馈。错误纠正反馈主要集中在拼写、语法、标点等语言层面的错误,而非错误反馈则提供了大量的词汇替换建议和搭配提示。尽管非错误反馈占据了总反馈的73%,但其采纳率却远低于错误纠正反馈。这表明,学生在面对缺乏上下文和示例的词汇建议时,往往难以有效利用这些反馈。此外,Pigai的反馈在多次提交后逐渐减少,尤其是在错误纠正反馈方面,表明学生在初期能够快速纠正明显的语言错误,但在面对更复杂的词汇和搭配问题时,反馈的采纳率较低。这一发现揭示了AI反馈系统在提供更具体、上下文相关的反馈方面的局限性。
学生反馈互动 #
论文通过分析五名中国大学生与Pigai系统的多次互动,揭示了学生在面对AI反馈时的行为模式。学生在初期主要关注错误纠正反馈,并在前两次提交中迅速纠正这些错误。然而,随着提交次数的增加,学生对非错误反馈的采纳率逐渐提高,尤其是在词汇替换和搭配建议方面。值得注意的是,一名提交了12次的学生在后期表现出更高的自主性,尝试根据反馈进行更多的自我修正。这种自主性体现在学生对复杂句式和学术词汇的尝试中,尽管有时会出现错误,但这种尝试反映了学生在写作过程中的认知和行为变化。这一发现表明,多次提交和反馈互动能够促进学生的自主学习和写作能力的提升,尤其是在面对复杂的语言问题时。
反馈采纳率 #
论文通过详细的数据分析,揭示了学生对Pigai反馈的采纳率差异。错误纠正反馈的采纳率高达49%,而词汇建议和搭配提示的采纳率仅为15%。这种差异表明,学生在面对具体的语言错误时更容易做出修正,而在面对缺乏上下文和示例的词汇建议时,往往难以有效利用这些反馈。此外,学生对一般性反馈的采纳率也较高,尤其是在多次提交后,学生开始根据反馈调整文章结构和语言表达。这一发现表明,反馈的具体性和上下文相关性对学生的采纳率有重要影响。未来的AI反馈系统应更加注重提供具体的示例和上下文信息,以提高学生对反馈的采纳率。
自主学习模式 #
论文通过分析一名提交了12次的学生,揭示了学生在多次提交过程中逐渐形成的自主学习模式。该学生在初期主要依赖错误纠正反馈进行修正,但在后期逐渐表现出更高的自主性,尝试根据一般性反馈和词汇建议进行自我修正。这种自主性体现在学生对复杂句式和学术词汇的尝试中,尽管有时会出现错误,但这种尝试反映了学生在写作过程中的认知和行为变化。这种自主学习模式的形成表明,多次提交和反馈互动能够促进学生的自主学习和写作能力的提升。这一发现为未来的AI反馈系统设计提供了重要启示,即系统应更加注重培养学生的自主学习能力,而不仅仅是提供错误纠正。
未来研究方向 #
论文指出了未来研究的几个重要方向。首先,未来的研究应更加关注学生在面对AI反馈时的认知和情感反应,尤其是通过访谈和思维记录等方法,深入了解学生在修正过程中的决策和情感变化。其次,未来的AI反馈系统应更加注重提供具体的示例和上下文信息,以提高学生对反馈的采纳率。此外,未来的研究还应探索如何将教师反馈、同伴反馈和AI反馈结合起来,以提供更全面的写作支持。最后,未来的AI系统应更加注重对写作内容和思想的反馈,而不仅仅是语言层面的错误纠正。这些研究方向的探索将对AI反馈系统的设计和应用产生深远的影响。
完整论文 #





















