要点总结 #
近年来，机器学习工具在社会科学研究中的应用显著增加，但大规模生成语言模型（如GPT-3）的潜力尚未被充分挖掘。 这些模型通过训练能够捕捉自然语言中的语法、文化知识和对话模式，生成的文本几乎与人类生成的文本无法区分。本文提出，这些模型可以作为人类受访者的替代品，用于各种社会科学任务。传统上，人工智能工具的偏见问题被视为模型的单一宏观特征，但本文认为这些偏见实际上是人类思想、态度和背景之间复杂关联的反映。通过适当的条件设置，GPT-3能够生成与特定人类子群体高度一致的响应分布，这种能力被称为“算法保真度”。
本文通过三项研究展示了GPT-3在模拟人类子群体方面的能力。 研究1通过生成“硅样本”来模拟人类受访者的自由文本响应，研究2和3则分别预测了投票行为和复杂的人类数据关联。结果表明，GPT-3能够准确反映不同人口群体的态度和行为模式，尤其是在美国政治和公共意见领域。本文提出了“算法保真度”的四个标准，并通过实验验证了GPT-3在这些标准上的表现。这些研究不仅为语言模型在社会科学中的应用奠定了基础，还展示了其在理论生成和测试中的潜力。
关键要点 #
论文重要性 #
这项研究的重要性在于它展示了语言模型在社会科学研究中的巨大潜力。 通过模拟人类子群体的复杂态度和行为，GPT-3能够为研究人员提供一种低成本、高效率的工具，用于理论生成和测试。这不仅能够减少对人类受访者的依赖，还能在数据收集之前帮助研究人员设计实验和分析计划。此外，本文提出的“算法保真度”概念为未来语言模型在社会科学中的应用提供了理论框架，推动了这一领域的进一步发展。随着语言模型技术的不断进步，未来研究可以探索其在更广泛的社会科学领域中的应用，进一步验证其在不同文化和时间背景下的适用性。
图表分析 #
硅样本示例 #
🔼 该图展示了研究中使用的硅样本的示例。文本内容描述了两种不同的个体，分别具有保守派和自由派的意识形态。每个描述都包含了个人的政治立场、种族、性别、经济状况和年龄。此外，每个描述后面都跟随一个提示，要求个体列出四个词来描述支持民主党的群体。示例一中，一个保守派的白人男性，经济状况良好，年纪较轻，用“自由主义者”、“社会主义者”、“共产主义者”和“无神论者”来描述民主党支持者。这个例子显示了在政治观点上的一种刻板印象，特别是将民主党人与更极端的政治意识形态联系起来。示例二中，一个自由派的白人女性，经济状况较差，年纪较大，用“自由主义者”、“年轻人”、“女性”和“穷人”来描述民主党支持者。这个例子反映了另一种刻板印象，倾向于根据人口统计特征来定义一个政治群体。这两个例子说明了模型如何被用来模仿不同的社会群体，并展示了模型如何能产生与人类相似的刻板印象和偏见。通过使用这些模拟的“个体”，研究人员可以分析不同的观点、偏见，以及投票模式等，这为深入了解人类行为和社会动态提供了可能。这些硅样本的创建，旨在测试语言模型在多大程度上能够反映真实人类的观点和态度，从而建立语言模型在社会科学研究中作为人类替代者的有效性。
更多图表分析
描述共和党人的示例 #
🔼 本图展示了两个不同的GPT-3生成的“硅个体”如何描述共和党人。第一个硅个体，被设定为保守派、强共和党人、白人男性，用“保守派”、“男性”、“白人”、“基督徒”来描述共和党人，这些词汇直接反映了其自身的社会政治身份。这表明模型在给定特定的背景信息后，能生成与其高度一致的描述。第二个硅个体，被设定为极度自由派、强民主党人、西班牙裔男性、上层阶级，用“无知”、“种族主义者”、“厌恶女性者”、“恐同者”来描述共和党人。这种强烈的负面描述反映了其与第一个硅个体完全相反的政治立场和社会身份。这两个例子都显示了GPT-3能够产生符合给定社会人口背景的描述，说明了其“算法保真度”。 这两种描述之间存在明显的对比，表明GPT-3可以根据背景信息生成各种观点，并且其输出不仅仅是单一的、笼统的偏见。这一发现进一步强调了该模型模拟人类不同子群体观点和态度能力的潜力。这两个例子也突出了模型在理解不同群体如何看待彼此方面的重要性，这对于社会科学研究具有重要意义。总体而言，该图有力地支持了论文的核心论点，即GPT-3可以作为人类的有效替代品，尤其是当根据特定的社会人口特征进行调节时。
图 1：示例上下文和补全 #
🔼 该图展示了研究 1 中分析的四个硅“个体”的示例上下文和补全。纯文本表示条件上下文；带下划线的单词表示我们动态插入到模板中的人口统计信息；蓝色单词是四个提取的单词。本图展示了如何通过调整 GPT-3 的输入（即条件上下文）来模拟不同人群的反应。每个“个体”都有一个独特的背景故事，包括意识形态、政治立场、种族、性别、财务状况和年龄等信息。这些背景故事被用来引导 GPT-3 生成描述民主党人和共和党人的单词列表。例如，一个被描述为保守派、坚定的共和党人、白人、男性、上层阶级和年轻的“个体”，被要求写下四个通常用来描述民主党支持者的词语，并产生了“自由主义者”、“社会主义者”、“共产主义者”和“无神论者”的列表。另一个被描述为自由主义者、坚定的民主党人、白人、女性、贫困和年老的“个体”，产生的词语列表是“自由主义者”、“年轻”、“女性”和“贫困”。这些例子突显了 GPT-3 根据输入中的不同社会人口特征产生不同词语列表的能力。此外，该图还展示了 GPT-3 如何根据输入的个人背景信息，生成具有一定一致性的文本。这种能力对于在社会科学研究中将语言模型用作人类受试者的替代品至关重要。通过对模型进行适当的调节，使其能够产生与特定人群相关的输出分布。这允许研究人员提取有关不同人群态度和想法的见解，并探索这些群体之间的复杂关系，同时纠正训练数据中可能存在的偏差。总之，该图强调了 GPT-3 的细粒度特性和人口统计相关性，这使其成为社会科学研究的有力工具。
描述民主党和共和党的常用词 #
🔼 该图表展示了GPT-3模型和人类受访者在描述民主党和共和党时最常用的词语。图表分为上下两部分，分别对应描述民主党和共和党，且每部分又分为GPT-3模型生成和人类受访者提供的词语。横轴表示被描述者的政治倾向，从极度保守（Extremely C）到极度自由（Extremely L），中间包括独立人士（Independent）。气泡的大小表示该词语在相应类别中出现的频率，颜色深浅也对应频率高低。
从描述民主党的部分来看，GPT-3模型和人类受访者都倾向于使用如“自由的”、“年轻的”、“进步的”、“贫穷的”、“思想开放的”、“女性”、“受过教育的”、“聪明的”等词汇。此外，人类受访者还使用了一些与民主党政策相关的词汇，如“支持选择权”、“富有同情心”等。这些词语反映了民主党通常被认为的特点，如偏向自由主义、关注弱势群体等。
在描述共和党的部分，GPT-3模型和人类受访者都常用如“保守的”、“白人”、“宗教的”、“种族主义者”、“富有”、“年老的”、“基督徒”、“男性”、“富有的”、“恐同的”、“爱国者”、“无知的”、“传统的”、“自私的”等词语。这些词语反映了共和党常被认为的特点，如偏向保守主义、宗教信仰强等。值得注意的是，GPT-3模型和人类受访者在描述共和党时，都使用了一些带有负面色彩的词语，如“种族主义者”、“恐同的”、“自私的”等，这可能反映了对共和党的一种负面刻板印象。
总体而言，该图表显示，无论是GPT-3模型还是人类受访者，在描述不同政治倾向的群体时，都倾向于使用具有一定模式和倾向性的词汇，而且二者之间存在一定的相似性。这表明GPT-3模型能够捕捉到人类在描述政治群体时的认知模式和偏见，具有一定的算法保真度。
图3：GPT-3与人类对政治描述的分析 #
🔼 图3展示了对GPT-3模型和人类受访者在描述政治立场时的文本分析结果。该图分为两个子图：A和B。子图A深入探讨了受访者在描述共和党和民主党时，使用正面词汇和极端词汇的比例，数据按受访者的意识形态进行细分，包括“极度保守”、“保守”、“中间派”和“极度自由”。子图B则比较了人类和GPT-3生成的文本在多个维度上的表现，包括正确识别政治立场、正面性、极端性以及是否提及特征、问题和社会群体。在子图A中，我们可以看到，无论是人类还是GPT-3，在描述自己的党派时，都会使用更多的正面词汇，而在描述对方党派时，则更倾向于使用极端词汇。这种模式在不同意识形态的受访者中都存在。子图B则显示，GPT-3在“正确识别政治立场”方面与人类有一定差距，但在“正面性”和“极端性”方面的表现与人类高度相似。尤其值得注意的是，人类和GPT-3在描述政治人物时都倾向于使用特征描述（如“偏执”、“诚实”等），这表明两者都能够捕捉到人类在描述他人时的重要视角。此外，尽管GPT-3在某些维度上与人类有所不同，但总体趋势显示，GPT-3能够模拟人类在描述政治立场时的模式，为进一步使用语言模型进行社会科学研究提供了有力支持。这些发现支持了论文提出的“算法保真度”概念，表明大型语言模型能够反映人类在政治认知方面的复杂性。图表整体呈现出GPT-3在政治描述上的高度还原能力，但同时也揭示了其在某些细节上的差异，为进一步研究指明了方向。图表的数据来源是Lucid平台上的调查问卷，以及来自GPT-3的生成文本。
ANES 变量间的Cramer’s V相关性 #
🔼 该图展示了美国国家选举研究(ANES)数据中不同变量之间Cramer’s V相关系数的比较，同时对比了使用GPT-3模拟数据得出的结果。Cramer’s V是一种衡量分类变量之间关联强度的指标，数值范围在0到1之间，数值越高表示关联性越强。图中每个小图都显示了两个变量之间的Cramer’s V值，其中深蓝色条代表人类受访者的数据，浅蓝色条代表GPT-3模型生成的数据。黑色横线表示两组数据的平均值差异。
从整体上看，GPT-3模拟的数据与人类数据在变量之间的相关性方面表现出高度的一致性。例如，在“性别”、“种族/族裔”、“年龄”和“教育”等变量中，GPT-3和人类数据在Cramer’s V值上都显示出相似的模式，这表明GPT-3能够捕捉到人类数据中存在的关联模式。不过，在某些变量组合中，两组数据的相关性值存在一定差异，例如“宗教信仰”与“是否讨论政治”相关性,以及“政治兴趣”与“是否讨论政治”相关性，其中人类数据的相关性明显高于GPT-3数据，这表明GPT-3在某些复杂关系建模上仍有提升空间。
此图表的主要发现是，尽管GPT-3模型是通过大量文本数据训练出来的，但它能够以一种与人类数据一致的方式重现美国公众的社会和政治态度模式。这种能力被称为“算法保真度”，是语言模型在社会科学研究中发挥作用的关键。图表不仅证实了GPT-3在重现复杂数据模式方面的能力，也强调了模型在某些方面存在的局限性，这为未来的研究和模型改进提供了方向。通过对比不同变量之间的关系，研究人员可以更好地了解GPT-3如何模拟人类的观点，并评估其在社会科学研究中的适用性。
此外，图表布局清晰，使用了颜色区分不同数据集，使得信息的呈现更加直观，易于理解。横轴和纵轴的标签明确指出每个变量对之间的相关性。 总而言之，这张图表为研究者提供了有力的视觉证据，证明了GPT-3在模仿人类社会科学数据模式上的强大能力，并同时揭示了该模型在某些复杂关系建模上的局限性。这对于进一步探索大型语言模型在社会科学领域的应用具有重要意义。
人类与GPT-3文本长度分布对比 #
🔼 该图表对比了人类和GPT-3模型生成的文本长度的分布情况。图表由两个直方图组成，分别展示了人类和GPT-3在研究一中生成文本的长度分布，纵轴为频率，横轴为文本的长度。两个直方图均使用了对数坐标轴表示频率，以清晰展示不同长度文本的频率分布。人类直方图显示，大多数文本长度集中在4到10个单词之间，频率呈现明显的左偏分布，即随着文本长度的增加，频率迅速下降，文本长度超过13的频率非常低。相比之下，GPT-3的直方图显示，文本长度分布较为均匀，虽然也呈现递减趋势，但文本长度分布更广，从4个单词一直延伸到96个单词，且各个长度的文本都有一定的频率，表明GPT-3生成文本长度的多样性更高。图表清晰地展示了人类和GPT-3在文本生成方面的差异，人类的文本通常更简洁，长度更集中，而GPT-3的文本则具有更大的长度范围和更高的多样性。这一差异可能反映了GPT-3在语言生成上的不同特点，它可以生成更长、更复杂的句子，而人类则倾向于更简洁的表达。此外，值得注意的是，图表中GPT-3的分布更平滑，表明其文本长度随机性更高；而人类的分布则更为集中，且长度越长，频率越低。这种差异可能与人类在生成文本时的认知限制有关，同时可能揭示出GPT-3的内在工作机理。该图表不仅是研究中数据可视化的重要部分，也为后续分析人类和机器在语言生成上的差异提供了直观的依据。
GPT-3消融研究 #
🔼 该图展示了一项消融研究的结果，旨在评估GPT-3模型在预测投票行为时，不同背景信息元素的重要性。横轴表示不同的背景信息配置，纵轴表示预测准确率（即比例一致性）。图中包含三个主要部分：完整的背景信息、移除一个元素的背景信息，以及仅包含一个元素的背景信息。首先，完整背景信息的预测准确率接近0.9，这表明使用所有背景信息（包括州、政治兴趣、性别、爱国主义、意识形态、讨论政治、教会参与、年龄、种族和党派）时，模型能很好地预测投票行为。移除任何单个元素后，预测准确率都略有下降，但总体上仍保持在较高水平，这说明这些元素在模型中相互作用，共同影响预测结果。特别值得注意的是，当移除“党派”或“意识形态”时，预测准确率下降较为明显，而移除其他因素（如“州”）的影响相对较小。其次，当背景信息仅包含单一元素时，党派和意识形态的表现最佳，但其预测准确率仍低于完整背景信息。这表明，单一背景信息元素本身无法提供足够的预测能力，而多种元素的组合才能更好地模拟复杂的投票行为。其他单独的因素（如“爱国主义”、“种族”、“年龄”等）的预测能力相对较弱，这可能是因为它们与投票行为的关联性较弱，或者在模型中需要与其他元素结合才能发挥作用。总的来说，这项研究表明，GPT-3模型在预测投票行为时，需要利用多方面的背景信息。党派和意识形态是重要的预测因素，但其他因素（如社会经济背景和个人信仰）也发挥着重要的辅助作用。这些发现强调了在构建AI模型时，考虑多维因素的重要性，而不仅仅是关注单一变量。研究结果还进一步支持了算法保真度的概念，即模型能够以一种与人类行为模式相一致的方式反映复杂的数据关系。
不同语言模型在投票预测中的表现 #
🔼 该图表展示了不同语言模型在预测美国选举研究（ANES）中投票行为的准确性。横轴表示模型的参数数量（以对数尺度），纵轴表示模型预测与实际投票结果的一致性（比例一致性）。图表分为三个子图，分别对应 2012、2016 和 2020 年的 ANES 数据。每个子图中，不同颜色的点代表不同的语言模型，包括 Jurassic, GPT-3, GPT-J, GPT-Neo 和 GPT-2。从整体趋势来看，模型的参数数量与其预测准确性之间存在一定的正相关关系，即模型参数越多，预测的比例一致性越高。例如，在 2012 和 2016 年的 ANES 数据中，GPT-3 模型的表现均优于 GPT-2 模型，且 Jurassic 模型在 2020 年的表现最为突出，可能与模型训练数据或者参数大小有关。值得注意的是，在所有子图中，GPT-Neo 模型在参数量相对较少的情况下，也表现出较好的性能，这说明模型的结构设计和训练策略可能比单纯的参数数量更为重要。然而，2020年的结果显示，所有的模型的比例一致性都相对较低，在0.8以下，且存在较大的波动，这可能是因为2020年的选举具有特殊性，例如受到疫情等因素的影响，使得模型难以准确预测。此外，部分模型在某些年份的预测效果较差，如 GPT-2 在 2020 年的比例一致性接近于随机水平。这表明不同的语言模型在面对不同时间段的数据时，其稳定性和泛化能力可能存在差异，也需要进一步地研究和调整。总结来看，该图表直观地展示了不同语言模型在预测投票行为方面的性能，说明了在社会科学研究中应用大型语言模型时，需要考虑模型选择、数据的时间敏感性，以及模型本身的局限性。通过对比不同模型的性能，可以为研究者提供有价值的参考信息，从而选择更合适的工具来分析社会现象。
Cramer’s V比较 #
🔼 该图表展示了2016年美国国家选举研究（ANES）数据中，不同变量之间Cramer’s V值的比较，分别使用人类数据和GPT-3生成的模拟数据。Cramer’s V是一种用于衡量两个分类变量之间关联强度的统计指标，值越高表示关联性越强。图表横轴为Cramer’s V值，纵轴为背景变量，分为性别、种族/民族、年龄、教育、是否参加教会、爱国主义、是否讨论政治、政治兴趣、2016年投票、意识形态和党派认同等。图表中，每个背景变量的Cramer’s V值，都分别以蓝色圆点（GPT-3数据）和蓝色方块（人类数据）展示，并通过水平线连接，以方便比较。
从整体来看，GPT-3生成的模拟数据在大多数变量关系上的Cramer’s V值，与人类数据的Cramer’s V值非常接近，表明GPT-3模型在捕捉美国政治态度和行为模式方面具有显著的保真度。例如，在“性别”背景下，无论是在人类数据还是GPT-3模拟数据中，性别与其他变量的关联强度都相对较低。而在“政治兴趣”和“意识形态”等背景下，与某些变量的关联则相对较强，并且GPT-3模拟数据与人类数据呈现出相似的趋势。
在一些细微的差异方面，例如“种族/民族”背景下，GPT-3生成的关联强度略低于人类数据，可能暗示模型在处理种族和民族相关的细微差异时，仍存在一定的局限性。同样在“讨论政治”背景下，GPT-3和人类数据在与“政治兴趣”变量的关联强度上存在一定的差异，GPT-3的模拟值略低于人类数据，表明模型可能在理解政治讨论行为的某些方面存在偏差。
总体而言，这张图表有力地支持了文章的主要观点，即GPT-3等大型语言模型能够有效地模拟人类的社会科学行为，并为社会科学研究提供有价值的工具。研究者可以利用这些模型，在进行实际的人类研究之前，先进行模拟分析，从而节省成本和时间，并更准确地预测人类行为模式。
深度解读 #
算法保真度 #
算法保真度是本文的核心概念，指的是语言模型能够准确反映人类子群体之间复杂关系模式的程度。论文通过三个研究展示了GPT-3在模拟人类态度、行为和意识形态方面的能力，尤其是在美国政治和公共意见领域。算法保真度的四个标准包括：1）生成的反应与人类文本无法区分（社会科学图灵测试）；2）生成的反应与输入的背景信息一致（后向连续性）；3）生成的反应自然延续了背景信息（前向连续性）；4）生成的反应反映了人类数据中的复杂关系模式（模式对应性）。这些标准为语言模型在社会科学中的应用提供了理论支持。研究表明，GPT-3在模拟不同人口群体的态度和行为时表现出高度的保真度，尤其是在党派描述、投票预测和封闭式问题回答方面。这种保真度的存在意味着语言模型可以作为一种强大的工具，用于在没有人类数据的情况下进行理论生成和测试。然而，模型的表现也受到训练数据的限制，尤其是在处理时间跨度外的数据时，保真度可能会下降。未来的研究可以进一步探索如何优化模型的保真度，并将其应用于更广泛的社会科学领域。
硅采样方法 #
硅采样是本文提出的一种方法，旨在通过语言模型生成虚拟的受访者群体，从而纠正训练数据中的偏差。传统的语言模型训练数据通常来自互联网用户，这些数据在人口统计学上并不具有代表性。硅采样通过从已知的、具有代表性的样本中抽取背景故事，生成虚拟的受访者，从而使得模型的输出能够反映特定人口群体的态度和行为。硅采样的核心思想是利用语言模型的条件概率分布，生成与真实人类数据相似的响应。例如，在投票预测研究中，硅采样方法能够生成与真实选民投票行为高度一致的虚拟选民。这种方法不仅能够帮助研究人员在资源有限的情况下进行初步研究，还可以用于设计更有效的调查问题和实验方案。然而，硅采样的有效性依赖于语言模型的保真度，如果模型的保真度不足，生成的虚拟数据可能会偏离真实人类数据。未来的研究可以进一步优化硅采样方法，探索其在其他社会科学领域的应用潜力。
党派描述研究 #
在党派描述研究中，论文通过GPT-3生成虚拟的党派描述文本，并与真实人类生成的文本进行比较。研究结果表明，GPT-3生成的文本在内容和情感上与人类生成的文本高度相似，尤其是在描述党派时使用的词汇和语气方面。人类评估者无法区分GPT-3生成的文本和人类生成的文本，这表明GPT-3在模拟人类党派态度方面具有高度的保真度。此外，研究还发现，GPT-3生成的文本能够反映出不同意识形态群体对党派的刻板印象，例如自由派和保守派对民主党和共和党的描述存在显著差异。这些发现表明，GPT-3不仅可以用于模拟人类的态度，还可以用于生成理论假设，帮助研究人员设计更有效的调查和实验。然而，GPT-3生成的文本也存在一定的局限性，例如在某些情况下生成的文本过于冗长或不符合要求。未来的研究可以进一步优化模型的生成策略，以提高其在实际应用中的表现。
投票预测研究 #
投票预测研究展示了GPT-3在模拟选民投票行为方面的能力。通过对2012年、2016年和2020年美国大选数据的分析，研究发现GPT-3生成的虚拟选民投票行为与真实选民的投票行为高度一致。GPT-3能够根据选民的人口统计学特征和意识形态背景，准确预测其投票倾向。例如，保守派选民更倾向于投票给共和党候选人，而自由派选民则更倾向于投票给民主党候选人。研究还发现，GPT-3在预测独立选民的投票行为时表现较差，这与政治学研究中独立选民难以预测的现象一致。这些结果表明，GPT-3不仅可以用于模拟选民的投票行为，还可以用于探索不同人口群体之间的投票差异。然而，GPT-3的表现也受到训练数据的限制，尤其是在处理时间跨度外的数据时，预测的准确性可能会下降。未来的研究可以进一步探索如何优化模型的预测能力，并将其应用于其他选举和政治行为的研究中。
未来研究方向 #
论文提出了多个未来研究方向，其中最值得关注的是如何进一步优化语言模型的保真度，并将其应用于更广泛的社会科学领域。首先，研究人员可以探索如何通过调整模型的训练数据和生成策略，提高其在模拟复杂人类行为方面的表现。其次，未来的研究可以探索如何将语言模型与其他社会科学方法结合，例如实验设计和因果推断，以生成更具理论意义的研究结果。此外，论文还指出，语言模型在模拟人类行为时存在一定的局限性，尤其是在处理时间跨度外的数据和独立选民的行为时。未来的研究可以进一步探索如何克服这些局限性，以提高模型在实际应用中的表现。最后，论文强调了语言模型在社会科学研究中的潜在风险，例如模型可能被用于生成虚假信息或操纵公众意见。因此，未来的研究还需要探索如何制定伦理标准，确保语言模型在社会科学研究中的负责任使用。
完整论文 #
