Skip to main content
  1. 论文/

将定性编码与自然语言处理和深度学习相结合以评估公众评论:以清洁电力计划为例

·8112 words·17 mins
公众评论 能源政策 公众态度 卷积神经网络 监督机器学习
Table of Contents

✏️ Sooji Ha
✏️ Emily Grubert

要点总结
#

研究背景与问题:公众评论是了解公众对政策态度的重要数据来源,但其规模庞大,传统定性分析方法难以应对。尽管深度学习和自然语言处理(NLP)技术可以用于分类这些数据,但它们需要高质量的标注数据。本研究探讨了将严格的定性编码方法与机器学习相结合,是否能够在保持手动工作量可控的情况下,有效分类大规模政策导向的文本数据(如公众评论)。研究以美国《清洁电力计划》(CPP)为例,分析了公众对该政策的态度变化。

方法论与贡献:研究使用卷积神经网络(CNN)对公众评论进行分类,结合手动编码和数据增强技术,模型在情感和主题分类上表现出色(F1分数分别为0.71和0.81)。研究发现,尽管CPP最终被废除,但大多数评论者仍支持该政策,并揭示了气候变化与化石燃料社区之间的正义叙事竞争。研究展示了结合定性编码与机器学习的潜力,能够有效处理复杂的政策文本数据,并为未来的政策分析提供了新的工具。

关键要点
#

论文重要性
#

这项研究展示了结合定性编码与机器学习的潜力,能够高效处理大规模政策文本数据,减少手动工作量。 研究结果不仅揭示了公众对《清洁电力计划》的态度变化,还为未来的政策分析提供了新的工具。随着气候变化政策的日益重要,理解公众态度对政策制定至关重要。 此外,研究还为如何平衡不同利益群体的需求提供了见解,尤其是在气候行动中如何兼顾环境正义与化石燃料社区的转型。未来的研究可以进一步探索如何利用这些方法分析其他政策领域的公众评论,推动更有效的政策制定。


图表分析
#

不同城市对清洁电力计划的态度
#

🔼 这张图表展示了不同城市在清洁电力计划(CPP)最终确定和废除前听证会和听证会期间的公众情绪分布和支持度评分。横轴代表不同的城市,纵轴(图a)表示在该城市举行的听证会中,公众意见在“反对”,“其他”和“支持”这三种类别中的分布比例。在图b中,纵轴表示支持度得分,根据公式计算得出,反对为-1,其他为0,支持为1,支持度评分范围为-1到1,其中-1表示100%反对,1表示100%支持。在所有城市中,除了吉列,大多数评论者都支持该计划。值得注意的是,在吉列,支持度得分是负的。该图表清晰地展示了公众对清洁电力计划的态度在不同地区之间的差异。其中,吉列位于美国煤炭产量最高的地区,因此其反对态度可能与当地经济依赖于煤炭产业有关。其他城市的支持则表明,即使在最终被废除的情况下,公众对气候政策的支持仍然普遍存在。这种差异不仅反映了不同地区对于能源政策的偏好,也揭示了气候政策在执行过程中可能面临的挑战。图表结合了数值评分和分类数据,从而为理解公众意见提供了更加全面的视角。总的来说,该图表表明在制定政策时,考虑不同地区的社会经济背景至关重要,因为这些背景会显著影响公众对政策的态度。并且,该图表也强调了气候政策在某些地区可能面临较强阻力。

更多图表分析

模型预测的情感分布与支持度
#

🔼 图1展示了模型预测的情感分布和支持度得分。图1(a)显示了各个城市对清洁电力计划(CPP)的情感分布情况,以直方图的形式展示了每个城市中支持(Support)、反对(Oppose)和其它(Other)观点的评论数量。图1(b)则呈现了各城市对CPP的支持度得分,通过计算各城市评论中支持、反对和其它观点的比例,得出支持度得分,该得分值介于-1到1之间,其中-1表示完全反对,1表示完全支持,0表示中立。通过分析可以发现,除了吉列市(Gillette)之外,其他城市的评论者大多支持该计划,并获得了较高的支持度得分。值得注意的是,吉列市是美国煤炭产业的中心,其负支持度得分反映了该地区对该计划的强烈反对态度。这个结果与手动标记的训练数据结果一致,表明模型具有一定的可靠性。该图清晰地展示了不同地区对清洁电力计划的态度差异,为进一步的政策分析提供了有价值的参考。

各城市的支持得分和情感分布
#

🔼 图 1 展示了模型预测的情感分布(a 图)和各城市的支持得分(b 图)。情感分布和支持得分的“真实”手动标记训练数据在补充信息图 S2-S5 中给出。除了吉列(Gillette),大多数评论者都支持该计划,支持得分均为正值。观察到预测的支持得分在除吉列之外的城市都相对较高,吉列是美国最多产的煤炭地区的中心,对于模型(图 1)和真实标签,对于随机样本(图 S2、S4)和非随机训练数据(图 S3、S5)均是可靠的。各城市的支持得分和情感分布的比较,可以帮助我们理解不同地区对清洁能源计划的态度差异。例如,吉列作为煤炭产业的重要地区,对该计划的支持度明显低于其他地区,这与该地区以煤炭产业为经济支柱有关。另一方面,其他城市普遍显示出较高的支持度,可能与这些城市更关注环境问题有关。这些信息对于政策制定者来说非常重要,因为他们可以根据不同地区的态度,采取更具针对性的政策措施,以提高公众对清洁能源计划的支持度。

各城市CPP支持度与讨论主题
#

🔼 该图表展示了在不同城市举行的清洁能源计划(CPP)听证会和意见征询会中,公众对该计划的支持程度以及讨论的主要主题。图表分为两部分:(a) 城市情感分布,显示了各城市对CPP的支持、反对或其他立场的评论比例;(b) 城市支持度得分,用数值表示各城市对CPP的平均支持程度,分值范围从-1(完全反对)到1(完全支持)。从图中可以看出,除了吉列(Gillette)以外,大多数城市的评论者都表现出对CPP的较高支持度,支持度得分均为正值。吉列的得分明显为负,表明该城市对CPP的反对声音较强。图表结合了情感分析和主题分析,揭示了不同地区公众对气候政策的接受程度和关注重点。图表下方的表格提供了更详细的信息,展示了各城市在不同主题上的讨论水平,包括环境影响(气候、健康、污染、极端事件)、经济(就业、成本、未来经济)、资源(煤炭、天然气、清洁能源)和伦理(未来世代、正义)。这些数据有助于理解不同城市在考虑CPP时关注的具体问题,并为政策制定者提供有针对性的信息。例如,可以发现,在查尔斯顿和堪萨斯城,健康和污染是讨论较多的议题,而在吉列,对未来经济和煤炭的讨论更为突出。此外,图表还强调了气候变化是各城市都非常关注的话题,但具体细节和观点因地而异。总体而言,该图表提供了关于美国不同地区对气候政策的复杂态度和关注点的全面视图。

各城市对清洁电力计划的观点
#

🔼 图 1 展示了模型预测的公众对清洁电力计划 (CPP) 的情感分布和支持度评分。图 1(a) 显示了在不同城市中,支持、反对以及其他意见的分布情况。其中,吉列市(Gillette)的反对意见显著高于其他城市,而其他城市则普遍对 CPP 持支持态度。图 1(b) 则进一步量化了这种情感,给出了每个城市的平均支持度评分。评分范围从 -1(完全反对)到 1(完全支持)。从图中可以看出,除了吉列市以外,其他城市的平均支持度评分均为正值,表明大多数城市的评论者倾向于支持 CPP。例如,华盛顿特区(DC)的平均支持度评分最高,接近 0.7,而吉列市的评分则为负值,约为 -0.2。这些结果表明,公众对气候政策的态度在不同地区存在显著差异。吉列市作为美国煤炭主产区,其居民对 CPP 的反对可以理解为对当地经济的担忧。然而,其他城市的普遍支持则可能反映了对气候变化和环境问题的日益关注。 值得注意的是,即使在吉列市,支持分数虽然是负数,但并没有非常极端,这暗示即便在对煤炭产业依赖较强的地区,仍存在对气候政策的潜在支持或复杂情感。 总的来说,这张图表揭示了在气候政策的讨论中,地域因素的重要性,以及政策制定者需要考虑不同地区民众的不同诉求和担忧。

各城市情感分布与支持度得分
#

🔼 该图展示了模型预测的各城市对清洁电力计划(CPP)的情感分布和支持度得分。图(a)以柱状图形式展示了每个城市评论中“支持”、“反对”和“其他”三种情感的比例。可以看出,除了吉列(Gillette)之外,大多数城市的评论都以“支持”为主导,尤其是在华盛顿特区(DC)、堪萨斯城(Kansas City)和旧金山(San Francisco),支持率显著高于其他城市。图(b)则以条形图的形式展示了各城市计算出的支持度得分,该得分基于评论情感的数值(支持为1,反对为-1,其他为0)计算得出。可以看出,吉列的支持度得分明显为负,表明该城市对CPP的反对情绪较为强烈,而其他城市的得分均为正值,与图(a)的观察一致,进一步证实了大多数城市对CPP的支持态度。值得注意的是,丹佛(Denver)和匹兹堡(Pittsburgh)虽然支持率较高,但支持度得分略低于其他支持城市,这可能意味着这些城市在支持CPP的同时,也存在一些担忧或保留意见。总的来说,此图通过可视化手段,清晰地展示了不同城市对于CPP的情感倾向和支持程度,为理解不同地区对该政策的反应提供了有价值的信息。结合文章内容,可以推测,吉列作为煤炭重镇,其民众对CPP的反对可能与其经济利益密切相关。而其他城市对CPP的支持,则可能反映了对环境保护和可持续发展的普遍诉求,但具体原因可能因城市而异,需要在结合其他图表分析和数据分析才能确认。

各城市情感分布与支持度得分
#

🔼 该图表展示了在清洁电力计划(CPP)最终确定和废除期间,不同城市公众评论的情感分布和支持度得分。图中(a)部分显示了每个城市中,支持(Support)、反对(Oppose)以及其他(Other)评论的分布情况,而(b)部分则呈现了基于这些评论计算出的支持度得分。支持度得分的计算方法是将支持评论赋值为1,反对评论赋值为-1,其他评论赋值为0,然后计算平均得分。整体来看,除吉列(Gillette)外,其他城市均显示出对CPP的较高支持度,支持度得分均为正值,表明多数发言者对该计划持支持态度。其中,华盛顿特区(DC)和旧金山(San Francisco)的支持度得分最高,而吉列的支持度得分为负值,这与其作为美国主要煤炭产区的特殊地位有关。该图表揭示了在不同地理和社会经济背景下,公众对气候政策的态度存在显著差异,并强调了在制定和实施气候政策时需考虑地区差异和公众情感的重要性。此外,该图表还突出了公众意见中复杂性和多面性,对于决策者制定更加全面和有效的气候政策提供了有价值的参考。

各城市对清洁能源计划的支持度
#

🔼 该图表展示了不同城市对清洁能源计划(CPP)的支持度评分以及相关主题的讨论程度。图表分为两部分:顶部展示了各城市的支持度评分,使用数值表示,取值范围为-1到1,其中1表示完全支持,-1表示完全反对,0表示中立或不相关;底部表格则列出了各个城市在不同主题下的讨论程度,主题包括环境影响、经济、资源和伦理,每个主题下又细分为若干子主题,如气候、健康、污染等。讨论程度使用数值表示,数值越高,表示该主题在评论中被讨论的频率越高。从图中可以看出,除吉列市外,其他城市对清洁能源计划的支持度普遍偏高,表明在公众中存在广泛的支持。此外,气候变化是各城市普遍关注的话题,其次是健康和污染等环境问题。经济方面,成本和就业问题也受到较多关注。资源方面,煤炭问题在吉列市的讨论程度最高,而在其他城市则较低。伦理方面,未来世代和正义问题也有一定的讨论度。该图表为我们理解公众对清洁能源计划的态度提供了重要依据,表明公众普遍支持清洁能源政策,同时也关注其环境、经济和社会影响。同时该图表突出了不同地区在清洁能源计划上的关注点差异,为政策制定者提供了有价值的参考。

各城市支持分数与讨论级别
#

🔼 该图表主要展示了不同城市对清洁能源计划(CPP)的支持程度以及各个主题的讨论级别。从图中可以看出,除了吉列(Gillette)以外,其他城市的评论者大多对该计划表示支持,支持分数普遍较高。然而,吉列的评论者则呈现出较低的支持分数,这可能与该地区是美国煤炭生产中心有关。在主题讨论方面,气候变化是所有城市中最受关注的主题,讨论级别几乎都达到了0.9以上。此外,在查尔斯顿(Charleston)和堪萨斯城(Kansas City),健康和污染问题也受到了高度关注,讨论级别超过了0.7。经济方面,在亚特兰大(Atlanta)和匹兹堡(Pittsburgh),成本问题是讨论的热点,而未来经济则在匹兹堡和吉列受到了更多的关注。煤炭作为一种资源,在吉列的讨论级别最高,达到0.74。值得注意的是,未来世代的讨论在各城市间相对均匀,而正义主题则在查尔斯顿和堪萨斯城的讨论级别较高。总体而言,该图表揭示了不同城市对于清洁能源计划的态度及其关注点的差异,以及支持和反对该计划的多种角度,为深入了解公众对气候政策的看法提供了重要的数据支持。

讨论水平比较
#

🔼 该图表展示了在美国清洁电力计划(CPP)最终确定和废除两个阶段,公众评论中不同主题的讨论水平的比较。图表将主题分为四大类:环境影响、经济、资源和伦理,并在每个类别下列出了具体的主题。使用柱状图比较了在最终确定前(Pre-finalization)和废除前(Pre-repeal)两个时期,每个主题的讨论水平,并用星号标记了两个时期之间差异的统计显著性水平(*p<0.05, **p<0.01, ***p<0.001)。

在环境影响类别下,气候变化在两个时期都得到了高水平的讨论,但在废除阶段略有下降。健康和污染这两个主题的讨论在废除阶段显著增加,这可能反映了公众对气候政策健康和环境共同效益的关注。极端事件的讨论水平在两个时期都较低,并且没有显著变化。经济类别下,就业的讨论在废除阶段有所增加,而成本的讨论则显著下降。未来经济在两个阶段都保持相对稳定的讨论水平。在资源类别下,煤炭的讨论在两个阶段没有显著变化,但天然气和清洁能源的讨论在废除阶段显著减少,这可能与CPP对煤炭的关注以及对天然气和清洁能源的预期替代有关。伦理类别下,未来世代的讨论水平在两个阶段没有显著变化,而公正的讨论在废除阶段显著增加。总体而言,图表清晰地展示了在CPP的不同阶段,公众讨论重点的变化,表明公众对政策的关注点随着政策阶段的变化而发生转移。例如,在废除阶段,人们更关心健康、污染和就业等直接影响,而在最终确定阶段,人们更关注能源类型和成本。

Pairwise topic correlation
#

🔼 该图表展示了不同主题之间讨论水平的成对相关性,以及它们与支持得分之间的关系。图表中的每个数字代表两个主题在评论中同时出现的频率的皮尔逊相关系数。相关性值的范围从-1到+1,正值表示正相关,负值表示负相关,0表示没有线性关系。颜色编码更直观地显示了相关性的强度,绿色表示正相关,红色表示负相关,黄色表示接近零的相关性。Support Score是衡量评论对清洁电力计划(CPP)支持程度的指标,根据评论的内容分为支持、反对和其他三种。分析发现,支持得分与“气候”、“健康”、“极端事件”、“未来世代”等环境影响主题呈正相关。这表明,当评论者强调气候变化的影响或对未来世代的责任时,他们更倾向于支持清洁电力计划。相反,“就业”、“成本”和“未来经济”等经济主题以及“煤炭”和“天然气”等资源主题与支持得分呈负相关,表明评论中关注经济利益或化石燃料的评论者,更倾向于反对清洁电力计划。环境影响主题(如“健康”、“污染”和“极端事件”)彼此之间呈现出正相关性,表明这些主题经常同时在评论中被提及。经济主题也彼此之间呈正相关,表明对经济的担忧通常是相互关联的。能源资源(煤炭和天然气)与环境影响主题呈负相关,但与经济主题呈正相关。这意味着评论者在讨论能源资源时,通常会同时考虑其经济影响,而较少关注环境影响。“未来世代”与“健康”、“污染”和“极端事件”呈强正相关,但与经济主题呈负相关,突显了对环境的保护与经济发展之间的权衡。“正义”主题与其他主题的相关性较为复杂,与支持得分几乎没有相关性,表明“正义”这个概念在支持和反对清洁电力计划的评论中都有被提及,具体体现为环境正义和受化石能源影响的社区的利益。

深度解读
#

混合方法创新
#

本研究通过将严格的定性编码方法监督深度学习和**自然语言处理(NLP)**相结合,提出了一种新的混合分析方法,用于处理大规模政策导向的文本数据(如公众评论)。传统上,公众评论的分析依赖于人工编码,耗时且成本高昂。本研究的创新之处在于,通过使用卷积神经网络(CNN)模型,能够在保持手动工作量可控的情况下,对大量文本数据进行分类。具体而言,研究通过对美国《清洁电力计划》(CPP)的公众评论进行分析,展示了该方法在情感和主题分类上的良好表现(F1分数分别为0.71和0.81)。这种混合方法的优势在于,它不仅能够处理大规模数据,还能通过手动编码确保数据的理论基础和质量。然而,该方法也存在一定的局限性,例如对训练数据的依赖性较强,且在处理罕见主题时表现不佳。未来的研究可以进一步优化模型,探索如何在不牺牲理论严谨性的前提下,提高模型的泛化能力。

公众态度分析
#

通过对《清洁电力计划》(CPP)的公众评论进行分析,研究发现大多数评论者支持该计划,尽管该计划最终被废除。这一发现表明,公众对气候政策的支持度较高,尤其是在气候变化和健康等议题上。研究还揭示了公众评论中的修辞趋势,例如气候变化受害者与化石燃料社区之间的正义叙事竞争。这种修辞趋势反映了公众对气候政策的复杂态度,既有对环境保护的支持,也有对经济影响的担忧。这一发现对政策制定者具有重要意义,表明在制定气候政策时,需要综合考虑环境、经济和社会因素,以确保政策的广泛接受度。此外,研究还发现,不同地区的公众态度存在显著差异,尤其是在依赖煤炭的地区,反对声音更为强烈。这提示政策制定者在实施气候政策时,应特别关注受政策影响较大的社区,采取适当的补偿措施。

时空动态分析
#

本研究通过分析《清洁电力计划》(CPP)在不同时间和地点的公众评论,揭示了公众态度的时空动态变化。研究发现,公众对CPP的支持度在不同城市之间存在显著差异,尤其是在依赖煤炭的地区(如怀俄明州的吉列特),反对声音更为强烈。这种时空动态变化反映了公众对气候政策的复杂态度,既有对环境保护的支持,也有对经济影响的担忧。研究还发现,公众评论中的主题讨论水平在不同时间段内发生了变化,尤其是在CPP被废除前后,健康、污染和就业等议题的讨论显著增加。这一发现对政策制定者具有重要意义,表明在制定气候政策时,需要综合考虑环境、经济和社会因素,以确保政策的广泛接受度。此外,研究还揭示了公众评论中的修辞趋势,例如气候变化受害者与化石燃料社区之间的正义叙事竞争。这种修辞趋势反映了公众对气候政策的复杂态度,既有对环境保护的支持,也有对经济影响的担忧。

模型性能评估
#

本研究通过使用卷积神经网络(CNN)模型对公众评论进行分类,评估了模型在情感和主题分类上的性能。模型在情感分类上的F1分数为0.71,在主题分类上的F1分数为0.80,表现良好。然而,模型在处理罕见主题(如“管理”)时表现不佳,这主要是由于训练数据的不平衡性。为了提高模型性能,研究采用了数据增强技术,如同义词替换,以增加训练数据的多样性。此外,研究还发现,模型在处理“反对”类评论时表现较差,这主要是由于训练数据中“反对”类评论的数量较少。这一发现提示,未来的研究需要进一步优化模型,特别是在处理不平衡数据时,可以采用更复杂的模型或引入更多的训练数据。此外,研究还建议,未来的研究可以探索其他机器学习方法,如迁移学习,以提高模型的泛化能力。

未来研究方向
#

本研究为未来的公众评论分析提供了多个研究方向。首先,可以进一步优化混合方法,探索如何在不牺牲理论严谨性的前提下,提高模型的泛化能力。其次,未来的研究可以探索其他机器学习方法,如迁移学习,以提高模型在处理罕见主题时的表现。此外,研究还建议,未来的研究可以进一步分析公众评论中的修辞趋势,特别是气候变化受害者与化石燃料社区之间的正义叙事竞争。这种修辞趋势反映了公众对气候政策的复杂态度,既有对环境保护的支持,也有对经济影响的担忧。最后,未来的研究可以探索如何将公众评论分析与其他数据源(如社交媒体数据)相结合,以更全面地了解公众对气候政策的态度。这些研究方向的探索将对气候政策的制定和实施产生深远的影响。

完整论文
#