变革教育评估：ChatGPT 和大型语言模型在评分中的应用洞察

AI应用教育概述

#

🔼 Table 1 概述了人工智能（AI）在教育领域的多种应用。该表格列出了不同类型的 AI 工具及其在教育中的具体用途和影响。例如，AI 聊天机器人和内容生成器（如 ChatGPT）主要用于自动化评分、提供学生反馈和生成课程内容，从而提高学生的参与度和个性化支持。AI 评估工具（如 Gradescope）则专注于自动化各种作业的评分，旨在简化评分流程并减轻教育工作者的工作量。写作工具（如 Grammarly）提供写作辅助和润色，以提高学生的写作技能和作业质量。转录工具（如 Otter.ai）能够转录和记录笔记，从而使讲座内容更易于访问，并帮助学生进行学习和复习。语音助手（如 Amazon Alexa）通过互动学习环节来增强学习效果。此外，行政工具（如 Gradescope）可以简化行政任务，提高资源管理效率并节省管理时间。项目管理工具（如 ClickUp）则能改进学生和教育工作者之间的项目管理和协作。总而言之，Table 1 展示了 AI 在教育领域应用的广度和多样性，表明 AI 不仅能自动化重复性任务，还能提供个性化学习体验并提高教学效率。表格的整体布局清晰，将每个 AI 应用的教育目的和影响/用例分别列出，方便读者快速理解。这些信息对于理解当前 AI 在教育领域的应用现状及其未来发展方向至关重要。

AI应用教育概述

#

🔼 该表格（Table 1）概述了人工智能（AI）在教育领域的多种应用及其目的和影响。表格列举了AI聊天机器人和内容生成器（如ChatGPT、Jasper）在自动化评分和生成课程内容方面的应用，它们能提升学生参与度和提供个性化支持。AI评估工具（如Gradescope、Teachflow.AI）通过自动化评分简化了评估流程，减轻了教育工作者的工作负担。写作工具（如Grammarly、QuillBot）能辅助学生提升写作技巧和作业质量。转录工具（如Otter.ai、Rev）将讲座内容转录为文本，方便学生学习和复习。语音助手（如Amazon Alexa、Apple Siri）通过互动式学习环节增强学习体验。行政管理工具（如Gradescope、Querium）简化了行政任务，提高了资源管理效率，节省了行政时间。项目管理工具（如ClickUp、Asana）通过改善学生和教师之间的协作，提高了教育环境中的生产力。表格不仅展示了AI在教育领域的多样化应用，也突显了其在提高教学效率、提供个性化学习体验和促进教育公平方面的巨大潜力。

该表格以简洁明了的方式呈现了AI技术在教育领域的广泛应用，并清晰地说明了每种应用的主要功能和益处。通过这种方式，读者可以快速了解AI在不同教育场景下的作用，及其对提升教育质量和效率的贡献。表格数据来源于相关文献，具备一定的学术可靠性。这些应用不仅体现了AI在技术上的创新，也反映了教育领域对提高教学质量和学生学习体验的不断追求。总的来说，表格为AI在教育领域的进一步研究和应用提供了有价值的参考。

AI在教育中的应用概览

#

🔼 这张表格总结了人工智能（AI）在教育领域的多种应用，并列出了其目的和实际应用案例。表格分为三列：AI应用、教育目的、影响/应用案例。第一列的AI应用包括AI聊天机器人和内容生成器（如ChatGPT、Jasper）、AI评估工具（如Gradescope、Teachflow.AI）、写作工具（如Grammarly、QuillBot）、转录工具（如Otter.ai、Rev）、语音助手（如Amazon Alexa、Apple Siri）以及行政工具和项目管理工具。第二列的教育目的对应了这些AI工具在教育中扮演的角色，例如自动化评分、学生反馈、课程内容生成、辅助写作、转录和笔记、互动学习辅助、简化行政任务以及增强教育环境中的生产力。第三列的影响/应用案例则展示了这些工具如何影响教育，包括提高学生参与度和个性化支持，简化评分流程，减少教师工作量，增强学生写作技巧，提高作业质量，提供可访问的讲座内容，辅助学习和复习，通过互动学习提高学习效果，实现高效的资源管理和节省行政任务时间，以及改善学生和教育工作者之间的项目管理和协作。总的来说，该表清晰地展现了AI技术在教育领域的广泛应用和潜力，涵盖了从教学支持到行政管理的多个方面，体现了AI在提升教育质量和效率方面的巨大价值。表格还突出了每种AI工具的具体应用场景，有助于教育工作者更好地了解和应用这些技术。

Table 1. Overview of AI applications in education.

#

🔼 Table 1 概述了人工智能在教育中的应用。它列出了不同的 AI 工具及其在教育中的用途，并强调了它们的影响。例如，AI 聊天机器人和内容生成器（如 ChatGPT 和 Jasper）被用于自动评分、学生反馈以及课程内容生成，从而提高学生的参与度和个性化支持。AI 评估工具（如 Gradescope 和 Teachflow.AI）通过自动化各种作业的评分流程，减轻了教育工作者的工作负担。写作工具（如 Grammarly 和 QuillBot）通过提供写作辅助和润色来提高学生的写作技能和作业质量。转录工具（如 Otter.ai 和 Rev）可实现无障碍的讲座内容，有助于学习和复习。语音助手（如亚马逊 Alexa 和苹果 Siri）通过互动式学习课程增强了学习体验。行政工具（如 Gradescope 和 Querium）简化了行政任务，提高了资源管理效率。最后，项目管理工具（如 ClickUp 和 Asana）改善了学生和教育工作者之间的项目管理和协作。总的来说，此表强调了人工智能工具在增强教学和学习过程中的多样化和有益的应用，涵盖了从内容生成到行政管理的各个方面，展示了 AI 在教育领域的广泛潜力。

AI在教育中的应用概述

#

🔼 此表格总结了人工智能（AI）在教育领域的多种应用及其目的和影响。表格分为三列，清晰地列出了AI应用、教育中的用途以及具体的影响和用例。第一类AI应用是聊天机器人和内容生成器，例如ChatGPT和Jasper，它们的主要用途是自动化评分和学生反馈，以及课程内容生成。这些工具能够提高学生的参与度和提供个性化的支持。第二类是AI评估工具，如Gradescope和Teachflow.AI，主要用于自动化各种作业的评分，从而简化评分流程并减轻教育工作者的负担。第三类是写作工具，如Grammarly和QuillBot，旨在提供写作辅助和润色功能，从而提升学生的写作技能和作业质量。第四类是转录工具，如Otter.ai和Rev，主要用于转录和笔记，为学习和复习提供便利。第五类是语音助手，如Amazon Alexa和Apple Siri，用于互动式学习和辅助，通过互动式学习课程增强学习体验。第六类是行政工具，如Gradescope和Querium，用于简化行政任务，实现高效的资源管理和节省行政任务时间。最后一类是项目管理工具，如ClickUp和Asana，用于增强教育环境中的生产力，改善学生和教育工作者之间的项目管理和协作。总体而言，这张表格全面展示了AI在教育领域的多种应用，突出了其在提供个性化学习、提高效率和支持教学方面的潜力。它强调了AI在教育领域不仅可以辅助教学和管理，还可以为学生提供更丰富的学习体验。

Table 1. AI in education

#

🔼 Table 1 presents an overview of various AI applications in education, detailing their purpose and impact. It includes AI chatbots and content generators like ChatGPT and Jasper, which are used for automated grading, feedback, and content creation, leading to improved student engagement and personalized support. AI assessment tools such as Gradescope and Teachflow.AI are designed for automated grading of diverse assignments, streamlining the grading process and reducing educators’ workload. Writing tools like Grammarly and QuillBot assist in writing and refinement, enhancing student writing skills and assignment quality. Transcription tools like Otter.ai and Rev provide accessible lecture content and aid in study and revision. Voice assistants like Amazon Alexa and Apple Siri offer interactive learning experiences, enhancing learning through interactive study sessions. Administrative tools such as Gradescope and Querium streamline administrative tasks, improving resource management and saving time. Lastly, project management tools like ClickUp and Asana enhance productivity and collaboration among students and educators. The table is instrumental in understanding the scope and application of AI in education, highlighting specific examples and their impact on teaching and learning. The overview underscores the potential of AI to automate tasks, personalize learning, and improve overall educational experiences while also emphasizing the need for continued monitoring and adaptation to maximize its benefits.

AI在教育中的应用概述

#

🔼 本表格总结了人工智能（AI）在教育领域的各种应用及其目的和影响。表格中列出了几种AI工具，例如AI聊天机器人和内容生成器（如ChatGPT和Jasper），主要用于自动评分、提供学生反馈以及生成课程内容。这些工具旨在提高学生参与度和个性化支持。此外，表格还展示了AI评估工具（如Gradescope和Teachflow.AI），用于自动评分各种作业，从而简化评分过程并减轻教育工作者的工作负担。写作工具（如Grammarly和QuillBot）通过提供写作辅助和润色功能来增强学生的写作技能。转录工具（如Otter.ai和Rev）能够转录和记录笔记，使得讲座内容更易于访问，并帮助学生进行学习和复习。语音助手（如Amazon Alexa和Apple Siri）通过互动学习会话增强学习体验。行政工具（如Gradescope和Querium）可以简化行政任务，提高资源管理效率，并节省管理任务的时间。最后，项目管理工具（如ClickUp和Asana）旨在提高教育环境中学生和教育工作者之间的项目管理和协作效率。表格整体呈现了AI在教育领域的广泛应用，涵盖了从教学、评估到管理等多个方面，强调了AI技术在提高教学质量和效率方面的潜力。这些应用体现了AI在教育领域的创新性和实用性，为未来的教育发展提供了参考。

AI应用在教育中的概述

#

🔼 该表格概述了人工智能（AI）在教育领域的多种应用，并阐述了其在不同教育环境中的目的、影响和使用案例。表格列出了七种主要的AI应用，包括AI聊天机器人和内容生成器、AI评估工具、写作工具、转录工具、语音助手、行政工具以及项目管理工具。每种应用都对应着特定的教育目的和使用案例。例如，AI聊天机器人主要用于自动化评分和学生反馈，以及生成课程内容，从而提升学生的参与度和个性化支持。AI评估工具旨在自动化各种作业的评分过程，减轻教育工作者的负担，并简化评分流程。写作工具如Grammarly和QuillBot则致力于提升学生的写作技能和作业质量。转录工具如Otter.ai和Rev可以帮助生成可访问的讲座内容，并辅助学生进行学习和复习。语音助手如Amazon Alexa和Apple Siri则通过互动学习课程增强学习效果。行政工具如Gradescope和Querium旨在简化行政任务，提高资源管理效率。项目管理工具如ClickUp和Asana则旨在改善学生和教育工作者之间的项目管理和协作。总的来说，这张表格突出了AI在教育中多方面的应用，表明AI技术可以显著提升教育过程的效率和质量，并为学生和教育工作者提供更有效的支持。表格中列出的这些工具和应用表明，AI正在成为教育领域中不可或缺的一部分，它不仅可以自动化一些重复性任务，还可以为学生提供个性化的学习体验，从而更有效地促进学习效果。

AI在教育中的应用

#

🔼 本文主要探讨了人工智能（AI），特别是大型语言模型（LLMs）在教育评估和评分中的应用，并以ChatGPT为例进行了实证研究。研究的核心问题是：在社会科学领域，如何有效利用如ChatGPT等先进AI来辅助教师进行考试评分，并确保评分过程的公正性与准确性。研究者通过对比ChatGPT和人工评分员对同一批社会科学专业学生期中考试中一道开放式问题的评分结果，来评估AI评分的有效性和可靠性。结果显示，尽管两者之间存在一定的相关性，但并不足够强，暗示了AI评分在复杂、开放式问题上仍存在局限性。研究使用了Pearson和Spearman相关系数来分析两组评分的相似性，发现两者存在中等程度的相关性。在均值方面，人工评分的平均分为2.92（满分7分），而ChatGPT的平均分为2.54，显示AI评分稍显保守。标准差显示，ChatGPT的评分波动性略高于人工评分员。研究进一步通过散点图和Bland-Altman图展示了两者评分差异的分布情况。尽管存在差异，研究结果仍然支持了LLMs在教育评估中应用的潜力，尤其在提高评分效率方面。AI能够处理重复性评分任务，从而让教师有更多时间专注于教学和学生的个性化指导。此外，研究还探讨了AI在教育中的伦理和社会影响，如可能加剧教育不平等以及对教育工作者的潜在影响。研究强调了在教育领域整合AI时，保持AI辅助和人工指导之间的平衡至关重要，同时需要考虑公平性、透明度和道德责任。未来的研究方向包括如何进一步提升AI评分的准确性和一致性，以及探索其在更广泛教育场景下的应用。总之，本研究为AI在教育评估中的应用提供了有价值的见解，并呼吁在技术应用的同时关注其社会责任和伦理考量。

AI评分与人工评分比较散点图

#

🔼 该散点图展示了AI（ChatGPT）评分与人工评分之间的对比情况。横轴代表人工评分，纵轴代表AI评分，每个点代表一个学生的成绩。图中可见，数据点并非完全沿对角线分布，这意味着AI评分和人工评分之间存在差异。最佳拟合线展示了一种正相关的趋势，表明尽管存在偏差，但总体上AI评分随着人工评分的增加而增加。图中的数据点主要集中在人工评分的2分到4分之间，AI评分则分布在0到5分之间，表明AI评分的范围更广。在人工评分较低的区域，AI评分的分布较为分散，表明AI在这些低分段的评分上存在更大的不确定性或差异。此外，图中还可见一个明显的离群点，表明AI在某个学生的评分上与人工评分存在较大的差异，这种情况值得进一步分析。散点图的垂直方向的聚集情况也暗示了在某些特定分数段，AI和人工评分之间存在不一致的情况。总的来说，该散点图提供了AI评分与人工评分差异的直观表现，反映了AI在评分方面的优势、局限性和进一步改进的空间。尽管两者之间存在一定程度的相关性，但AI评分仍需进一步优化，以更准确地反映学生的实际水平。

AI在教育中的应用概览

#

🔼 本表格总结了人工智能在教育领域的多种应用及其目的和影响。表格分为三列：AI应用、教育目的和影响/用例。第一列列举了AI的具体应用，包括AI聊天机器人和内容生成器（如ChatGPT、Jasper），AI评估工具（如Gradescope、Teachflow.AI），写作工具（如Grammarly、QuillBot），转录工具（如Otter.ai、Rev），语音助手（如Amazon Alexa、Apple Siri），行政管理工具（如Gradescope、Querium）以及项目管理工具（如ClickUp、Asana）。第二列阐述了这些AI工具在教育中的具体用途，例如自动化评分和学生反馈、课程内容生成、写作辅助和完善、转录和笔记、互动式学习和辅助、简化行政任务以及提高教育环境中的生产力。第三列则详细描述了这些工具带来的具体影响或用例，包括提高学生参与度和个性化支持，简化评分流程并减轻教育者的工作量，增强学生写作技能并提高作业质量，提供可访问的讲座内容并辅助学习和复习，通过互动式学习课程增强学习效果，实现高效的资源管理并节省行政任务时间，以及改善学生和教育者之间的项目管理和协作。总的来说，表格清晰地展示了AI工具在提升教育质量和效率方面的巨大潜力，从内容生成、评分、辅助写作到行政管理，AI技术正在深刻地改变教育的各个方面。

图3：人工评分与ChatGPT评分的散点图

#

🔼 该散点图展示了人工评分者与ChatGPT对同一组学生作业的评分对比情况。横轴代表ChatGPT的评分，纵轴代表人工评分者的评分。图中的每个点代表一个学生的作业，其位置根据两个评分者的评分确定。从图中可以看出，评分点主要集中在低分区域，并且呈现出一定的正相关趋势，这意味着ChatGPT的评分和人工评分者在整体趋势上具有一致性，但并非完全一致。最佳拟合线从低分区域开始，随着分数的增加，两个评分者之间的差异也逐渐增大，表明在较高分数段，ChatGPT的评分可能与人工评分者存在更大的偏差。值得注意的是，ChatGPT的评分分布更为分散，且使用了非整数的分数，而人工评分者的评分则集中在少数几个整数点上，这反映了两种评分方式的差异。此外，图中并没有出现最高分（6分或7分），这表明两种评分方式都比较严格，或者该题目的高分要求较高。散点图还揭示了潜在的评分模式和差异点，例如在某些分数段，ChatGPT的评分明显高于或低于人工评分者，这些差异值得进一步研究，以提高AI评分系统的准确性和可靠性。总的来说，这个散点图为理解AI和人类在评分上的异同提供了一个直观的视角，同时也突出了在教育评估中平衡AI与人类评分的复杂性。通过深入分析这种图表，可以更好地理解LLM在评分过程中的局限性。

AI在教育中的应用概述

#

🔼 表格1概述了人工智能在教育领域的各种应用及其目的和影响。这个表格呈现了一个结构化的视角，展示了AI技术如何被用来改进教育实践。在第一列中，列出了一系列AI应用，包括AI聊天机器人和内容生成器（如ChatGPT、Jasper）、AI评估工具（如Gradescope、Teachflow.AI）、写作工具（如Grammarly、QuillBot）、转录工具（如Otter.ai、Rev）、语音助手（如Amazon Alexa、Apple Siri）以及行政工具（如Gradescope、Querium）和项目管理工具（如ClickUp、Asana）。第二列阐述了这些AI工具在教育中的主要用途，例如，自动化评分和学生反馈，课程内容的生成，写作帮助和完善，转录和笔记记录，交互式学习和辅助，简化管理任务，以及提高教育环境中的生产力。第三列则揭示了这些工具在教育中的具体影响或用例，如提高学生参与度和个性化支持（通过AI聊天机器人），简化评分过程，减少教师工作量（通过AI评估工具），提高学生写作技能和作业质量（通过写作工具），使得讲座内容更加方便访问，支持学习和复习（通过转录工具），增强互动式学习会话（通过语音助手），以及实现高效的资源管理和节省行政任务的时间（通过行政工具）。此外，项目管理工具可以改善学生和教育工作者之间的项目管理和协作。总的来说，这个表格强调了AI技术在教育领域的广泛应用，以及它如何通过提高效率、个性化学习和改善教学体验来支持教育目标。这些应用不仅简化了教学过程，还为学生提供了更加个性化和高效的学习环境。通过理解和整合这些AI工具，教育工作者和机构可以更好地准备迎接未来的教育挑战，并最大化学生的学习成果。

AI评分与人工评分对比

#

🔼 本研究旨在探讨大型语言模型（LLM），特别是OpenAI的ChatGPT 3.5，在多大程度上能够有效地模拟人类评分者的行为，并准确地为学生的书面作业评分，从而为教育领域自动评分技术的发展做出贡献。研究比较了ChatGPT 3.5和人类评分者对一份社会科学期中考试中开放式问题的评分结果。研究发现，人类评分者给出的平均分数为2.92（满分7分），而ChatGPT 3.5的平均分数为2.54。虽然这个差异并不显著，但表明ChatGPT 3.5的评分整体上略低于人类评分者。此外，人类评分者的标准差为0.702，而ChatGPT 3.5的标准差为0.978，表明ChatGPT 3.5的评分结果比人类评分者更具变异性。Pearson相关系数为0.46，Spearman秩相关系数为0.518，两者均表明人类评分者和ChatGPT 3.5之间的评分存在中等程度的正相关关系，虽然并非完全一致，但统计上显著。图3中，散点图显示，两个评分系统在特定分数上存在垂直聚类，表明在某些评分区域可能存在差异。最佳拟合线从两者的一致点开始，逐渐出现分歧，特别是在较高分数段，表明人类评分者倾向于给出更高分数，而ChatGPT 3.5则使用了非整数分和更广的评分范围（0-5），与人类评分者（2,3,4）相比评分更分散。Bland-Altman图显示平均差异约为-0.4，表明两种评分方法基本一致，但存在一些显著差异，特别是在高分区域。这些结果表明，ChatGPT 3.5在自动评分方面具有潜力，但仍需进一步调整以提高其准确性和一致性。研究还强调，尽管AI在评分中具有效率和客观性优势，但人类评分者在提供细致入微和情境化的见解方面仍然至关重要。总而言之，AI在教育领域的整合需要平衡自动化效率与人类教育者的专业知识，以达到最佳的教育效果。

人与ChatGPT评分差异散点图

#

🔼 该散点图（图3）展示了人工评分员和ChatGPT对同一批学生论文的评分差异。横轴代表由人工评分员给出的分数，纵轴代表ChatGPT给出的分数。图中每个点代表一篇论文，其位置表示了两个评分员给出的分数。图中可见，大部分点集中在对角线附近，这表明在大多数情况下，人工评分员和ChatGPT给出的分数较为一致，两者之间存在一定的正相关关系。最佳拟合线也显示出这种正相关关系，但同时也表明随着分数的升高，两者之间的差异可能会加大。值得注意的是，图中的点并非均匀分布，而是在某些特定分数区域形成了聚集。这表明，尽管整体趋势一致，但在具体评分上，人工评分员和ChatGPT之间存在一些系统性差异。例如，ChatGPT倾向于给出一个更广泛的分数范围（0到5），而人工评分员给出的分数则集中在几个整数上（2，3，4）。另外，散点图还显示，两个评分员都没有给出最高分（6或7），这说明该次评估的评分标准较为严格。总体而言，这个散点图揭示了AI在评分中虽然具有一定的效率和一致性，但仍需进一步完善才能与人类评分员的评判标准更贴近，并强调了人工校准的必要性。图的标题应该改为’人与ChatGPT评分差异散点图’，更准确描述图的信息。

LLM在评分中的应用

#

🔼 该图表以流程图的形式展示了大型语言模型（LLM）在教育评估中的应用，主要分为三个部分：优点（Pros）、缺点（Cons）和建议（Recommendations）。优点部分列出了LLM在评分中的积极作用，包括与人类评分者相当的评分能力、提高评分效率的潜力、客观公正的评分系统、在所有学生中实现可靠且统一的评分、减少教育工作者的工作量和实现快速评分，以及提供全面的反馈和争议解决机制。这些优点突出了LLM在自动化评分过程中的优势，表明其可以减轻教师的负担并提高评分的公正性。缺点部分则指出了一些潜在的负面影响，如加剧教育不平等、担忧AI取代人类教育工作者、在处理复杂和专业任务方面的局限性、无法捕捉细微的主观性和见解、在适应有特殊需求的学生方面存在的挑战，以及对训练数据的质量和多样性的依赖。这些缺点提醒我们在采用LLM时需要谨慎，特别是要关注其可能带来的社会影响和技术限制。建议部分则提出了应对这些挑战的措施，强调需要继续投资于公平的AI接入、强调AI的补充作用以及人类教师的重要性。这些建议表明，AI并非完全取代人类，而是应该与人类教师合作，以实现更有效的教育。总体而言，该图表旨在全面概述LLM在教育评估中的作用，既强调了其潜在的优势，也指出了其存在的挑战，并给出了如何在教育实践中合理应用AI的建议。该图表内容与文章的主题高度相关，即探讨ChatGPT等大型语言模型在教育评分中的应用，并分析其优缺点，最终为教育者和政策制定者提供参考。