使用BERTopic和传统主题建模技术高效识别MOOC论坛紧急帖子

BERTopic主题词得分

#

🔼 该图展示了使用 BERTopic 模型对 MOOC 论坛帖子进行主题建模后，前八个主题的关键词得分情况。每个主题都由一组关键词及其对应的得分表示，得分越高表示该词在该主题中的重要性越高。图表横轴代表得分，纵轴展示关键词。主题 0 的关键词包括“essay（文章）”、“peer（同伴）”、“redacted（编辑）”、“review（评论）”和“students（学生）”，表明该主题可能与学生作业的提交、评审以及反馈相关。主题 1 的关键词包括“cold（寒冷）”、“body（身体）”、“stress（压力）”、“temperature（温度）”和“water（水）”，这可能与医学或健康相关课程中关于人体对环境因素反应的讨论相关。主题 2 的关键词是“video（视频）”、“videos（视频，复数）”、“download（下载）”、“youtube（油管）”和“slides（幻灯片）”，这些词表明该主题涉及课程视频和资料的访问和下载问题。主题 3 的关键词包括“price（价格）”、“demand（需求）”、“supply（供应）”、“curve（曲线）”和“cost（成本）”，这些词暗示该主题可能与经济学或商业课程中的供求关系和成本分析有关。主题 4 的关键词包括“women（女性）”、“education（教育）”、“girls（女孩）”、“rights（权利）”和“health（健康）”，可能涉及社会科学或人权相关的主题。主题 5 的关键词是“null（空）”、“hypothesis（假设）”、“null hypothesis（零假设）”、“study（研究）”和“value（值）”，可能与统计或研究方法相关。主题 6 的关键词有“regression（回归）”、“logistic（逻辑）”、“eta（伊塔）”、“logistic regression（逻辑回归）”和“model（模型）”，可能属于统计建模或机器学习相关的主题。主题 7 的关键词包括“tia”、“yet wahoo”、“nein”、“wahoo tia”和“wahoo”，这些词可能是一些非正式用语或特定课程中的术语。这些主题词的得分高低清晰地展示了各主题的关键内容，也为理解学生在 MOOC 论坛中讨论的核心问题提供了重要线索。

各课程类型的主题分布

#

🔼 该图展示了不同课程类型（医学、教育和人文）中主题的频率分布。横轴表示主题出现的频率，纵轴表示课程类型。每种颜色代表一个特定的主题，右侧的图例详细解释了这些主题。

主要发现:

1. 教育课程: “essay_peer_students_course”(0)主题在教育课程中占据显著地位，表明学生在教育类课程中大量讨论与论文、同伴互评和课程相关的内容。这可能是因为教育课程通常包含较多的写作任务和讨论。

2. 人文课程: 人文课程的主题分布相对分散，包括“cold_body_stress_water”(1), “video_videos_download_youtube”(2), “price_demand_supply_curve”(3), “women_education_girls_rights”(4)等，显示出课程内容的多样性，涵盖了气候变化、视频资源、经济学和性别研究等多个方面。其中 “video_videos_download_youtube” 主题的频率最高，表明学生对视频资源和下载的问题最为关注。

3. 医学课程: 医学课程的主题相对集中，“video_videos_download_youtube”(2)和“package_file_data_load”(5) 这两个主题占主导地位， 这暗示医学课程中学生比较关注视频资源、下载和数据文件加载相关的问题。

4. 总体趋势: 整体而言，“video_videos_download_youtube” (2)主题在所有课程中都有一定的频率，这表明无论哪个领域的课程，学生都普遍关注视频内容和技术问题。

数据趋势:

• 教育类课程集中在“0_essay_peer_students_course”主题，强调了该类型课程中对学术写作的重视。
• 人文课程主题分布广泛，反映了人文科学的跨学科性质，学生们讨论的问题覆盖了较多的主题。
• 医学类课程中，技术和资源获取问题（如视频和数据文件）似乎更为突出。

关键对比:

对比不同课程类型，教育类课程主题相对集中，而人文课程的主题则更为多样化，医学类课程则侧重于与资源和技术相关的讨论。

上下文关联:

该图与研究的主要问题紧密相关，即识别MOOC论坛中紧急帖子的主题。通过分析不同课程类型中讨论的主题，可以更好地理解学生在不同课程中面临的具体问题和挑战。例如，对于教育课程，可以加强写作和同伴互评方面的支持；对于人文课程，则需要提供多样化的资源和技术支持；对于医学课程，则需要确保视频和数据资源的可用性和可访问性。

表达效果:

该图以清晰的柱状图形式展示了不同课程类型中主题的分布情况，通过颜色区分不同主题，使信息易于理解和比较。图例解释了每个颜色对应的具体主题，增强了信息的可读性。

潜在局限:

该图仅展示了主题的频率分布，而没有深入探讨主题的具体内容和情感倾向。未来的研究可以结合情感分析，进一步理解学生在不同主题下的情感表达。

可能的改进:

未来的改进方向包括：可以尝试使用更复杂的图表类型，如堆叠柱状图，以便更直观地展示每个课程类型中不同主题的比例。同时，可以添加误差线，展示主题分布的置信区间。

替代表达方式:

可以用表格的形式来呈现该信息。例如，用课程类型作为行，主题作为列，表格中的数值表示对应主题在对应课程中的出现频率。表格形式更精确地显示了具体的数据，但可能在视觉效果上不如柱状图直观。

Dataset Group D主题词得分

#

🔼 该图表展示了数据集D组（Medicine courses）的12个主题（Topic 0至Topic 11）及其对应的关键词得分。每个主题的关键词均以水平条形图的形式呈现，条形长度代表该关键词在主题中的重要程度。具体来看，Topic 0的主题词包括“peer”、“essay”、“course”、“review”和“grade”，这些词汇可能与课程论文的互评和评分有关。Topic 1 的关键词是 “writing”、“sentence”、“voice”、“plagiarism”、“use”，可能与写作作业相关。Topic 2 中， “yes”、“helpful”、“good”、“got”、“help” 提示了可能与学生之间的互助、寻求帮助相关的主题。Topic 3 的 “redacted”、“name”、“screen”、“screen name”、“anon” 似乎与匿名或信息隐藏处理有关。Topic 4 包含了 “video”、“videos”、“download”、“chrome”、“using”，这暗示了视频下载或观看的技术问题。Topic 5 的 “answer”、“question”、“correct”、“rounding”、“round” 表明该主题与答案、问题和计算准确性相关。Topic 6 的关键词如 “null”、“hypothesis”、“significant”、“null hypothesis”、“value” 表明可能与统计假设检验有关。Topic 7 中的 “standard”、“mean”、“sample”、“deviation”、“median” 同样表明该主题与统计分析有关。Topic 8 的 “problem”、“email”、“tech support”、“tech”、“solution” 明确指向技术支持问题。Topic 9 的“raj”、“pointing”、“right”、“good”、“romain”可能与特定课程内容或讨论有关。Topic 10 的“deducer”、“package”、“data”、“use”、“xiconnect”似乎与软件包或数据分析有关，而 Topic 11 的“probability”、“event”、“lottery”、“hiv”、“pa” 则可能与概率论或生物统计相关。总的来说，该图表清晰地展示了数据集D组中不同主题的关键词分布情况，有助于研究人员理解医学相关课程讨论中学生关注的各类主题，包括论文互评、技术问题、统计分析和特定课程内容等，为MOOC平台的内容管理和学生支持提供了有价值的参考。

不同模型在不同主题数下的连贯性得分

#

🔼 该图表展示了在数据集A上，四种主题模型（LDA、LSI、NMF 和 BERTopic）在不同主题数量下的连贯性得分。横轴表示主题数量，从2到60，纵轴表示连贯性得分，数值范围从0.35到0.65。连贯性得分越高，表示模型生成的主题越具有语义上的相关性。从图表中可以看出，NMF模型（红色线）和 BERTopic 模型（黑色线）在大多数主题数量下都表现出较高的连贯性得分，特别是NMF模型在主题数量较少时表现突出，而BERTopic模型在主题数量较多时表现更佳。LDA模型（蓝色线）和LSI模型（绿色线）的连贯性得分相对较低，且波动较大。NMF模型在主题数量为6左右时达到最佳的连贯性，约为0.66。BERTopic模型的连贯性得分随着主题数量增加而上升，并在主题数量为50左右时达到相对较高的水平，约为0.616。此外，LDA和LSI模型的表现相对不稳定，在不同主题数下连贯性得分变化明显，整体表现不如NMF和BERTopic。此图说明了NMF和BERTopic在处理MOOC论坛文本数据时能更好地提取出有意义且连贯的主题，有助于理解学生在论坛中讨论的主要问题。这张图还直观地展示了不同模型在不同主题数量下的表现，为选择合适的主题模型提供了依据。

各模型在不同数据集上的性能比较

#

🔼 本文通过对比 BERTopic 和传统的 LDA、LSI、NMF 等主题模型，探究 MOOC 论坛中紧急帖子背后原因的自动化识别方法。实验使用了斯坦福 MOOC 论坛数据集，并将其分为 A、B、C、D 四个组，分别代表所有课程、教育类课程、人文类课程和医学类课程的紧急帖子。研究发现，NMF 和 BERTopic 模型在主题一致性和多样性上优于 LDA 和 LSI 模型。具体来说，NMF 模型在需要少量主题时表现更好，而 BERTopic 模型在生成大量高一致性主题时表现出色。在所有数据集分组中，BERTopic 模型通常自动生成比其他模型更多的细粒度主题，这表明它能更全面和连贯地识别和提取多样化的主题。例如，在数据集 A 中，NMF 模型的最佳主题数为 6，一致性得分为 0.66，而 BERTopic 模型最佳主题数为 50，一致性得分为 0.616，两种模型 RBO 值均为 1。这些结果强调了 BERTopic 模型在区分和提取多样化主题方面的能力。此外，通过分析生成的具体主题，可以发现，紧急帖子中的常见主题包括课程内容相关问题、技术问题（如视频下载）、以及作业相关问题。这些发现表明，使用 BERTopic 可以有效地对 MOOC 论坛中的紧急帖子进行分类，并识别其根本原因，从而为教员提供更有针对性的支持。本研究还讨论了如何利用这些主题模型来改善 MOOC 平台上的学生支持服务，例如通过开发专门的聊天机器人来解决紧急问题。

不同模型在不同主题数下的连贯性得分

#

🔼 该图展示了在不同主题数量下，LDA、LSI、NMF和BERTopic这四种主题模型在数据集Group B上的连贯性得分。横轴表示主题的数量，从2到38递增，纵轴表示连贯性得分，范围从0.3到0.65。连贯性得分越高，表示模型生成的主题越有意义和可解释性。从图中可以看出，BERTopic模型在主题数量较少时，连贯性得分迅速上升，并在主题数量约为6时达到最高点，之后略有下降但保持在较高水平。NMF模型在主题数量较少时得分较低，但在主题数量增加到6左右时，得分迅速上升，之后缓慢下降。LSI模型的得分波动较大，整体表现不如NMF和BERTopic。而LDA模型的得分则在较低水平徘徊，表现最不稳定。这表明，对于Group B数据集，BERTopic和NMF模型在生成连贯性主题方面表现更佳，尤其BERTopic在主题数量较少时表现出很高的连贯性，而NMF则在主题数较多时仍能保持较好表现。图中BERTopic的线明显高于其他模型，表示在相同主题数下，BERTopic模型可以更好地抓住文本的内在结构并提取出具有实际意义的主题。

根据图中数据，BERTopic模型在主题数约为6时表现最佳，而NMF模型在主题数约为6至10时表现接近最佳。而LSI模型则在主题数量为10附近有小高峰，但整体不如BERTopic和NMF。LDA模型则表现最差，其连贯性得分始终较低且不稳定。通过该图的比较分析，我们可以得出结论：对于Group B数据集，BERTopic模型在连贯性得分和稳定性方面都具有显著优势，其次是NMF模型。LSI和LDA模型则表现相对较弱。 这也呼应了论文中其他部分的结论，即在MOOC论坛数据上，BERTopic模型能够更有效地提取连贯的主题。

不同主题模型在不同主题数下的连贯性得分

#

🔼 该图表展示了LDA、LSI、NMF和BERTopic四种主题模型在不同主题数量下的一致性得分。横轴表示主题数量，从2到40不等；纵轴表示连贯性得分，范围从0.4到0.7。连贯性得分用于评估每个主题内部词语的语义相似度，得分越高表示主题的质量越高。图中四条曲线分别对应四种主题模型。具体分析如下：

1. LDA模型：用蓝色线条表示，其连贯性得分在初始阶段较高，但随着主题数量的增加，得分呈现波动下降的趋势，表明LDA模型在较少主题时效果较好。

2. LSI模型：用绿色线条表示，其连贯性得分整体较低，并在主题数量增加时呈下降趋势，表明LSI模型在本数据集上的表现不如其他模型。

3. NMF模型：用红色线条表示，其连贯性得分在较少主题时较高，且在主题数量增加的过程中呈现先上升后下降的趋势，表明NMF模型在特定主题数量下能获得较好的连贯性。

4. BERTopic模型：用黑色线条表示，其连贯性得分整体较高，且在主题数量增加时表现较为稳定，表明BERTopic模型在不同主题数量下都能保持较好的连贯性，尤其在较多主题时依然能保持较高水平。整体而言，该图表说明NMF和BERTopic模型在处理MOOC论坛的紧急帖子时，具有更强的提取主题能力和连贯性表现。特别地，NMF模型在少量主题情况下表现出优势，而BERTopic模型则在大量主题时保持稳定且较高的连贯性。该图支持了论文中NMF和BERTopic模型优于LDA和LSI的论点，并为选择合适的主题模型提供了依据。此外，图表还清晰地展示了不同模型在不同主题数量下的性能差异，有助于读者理解不同模型在主题建模方面的优劣。