ChatGPT 转述的产品评论可能会混淆消费者并削弱他们对真实评论的信任。你能分辨出来吗？

各温度下评论共性

#

🔼 该图为箱线图，展示了在不同温度参数下，原始评论与 AI 生成的改写评论之间的单词共性百分比。图表分为两组箱线图：左侧五个箱线图表示原始评论与对应的 AI 改写评论之间的共性，右侧五个箱线图表示 AI 改写评论之间的共性。每个箱线图对应一个温度参数（0.0、0.25、0.5、0.75 和 1.0），温度参数越高，表示 AI 生成文本的随机性越高。对于原始评论和 AI 改写评论的共性，我们看到共性百分比普遍较低，平均值在 5% 左右，且波动较小，这意味着 AI 改写评论与原始评论的内容差异较大。对于 AI 改写评论之间的共性，我们看到共性百分比显著高于前者，且平均值随温度参数的增加而降低。当温度参数为 0 时，AI 改写评论的共性高达 73%，这意味着改写文本的重复性很高；而当温度参数为 1 时，平均共性下降至 27%，表明改写文本变得更加多样化。值得注意的是，无论是原始评论与 AI 改写评论，还是 AI 改写评论之间的共性，都存在一些离群值，但这些离群值不影响整体趋势。图表揭示了 AI 改写评论之间的相似性远高于其与原始评论的相似性，这说明了基于文本相似性的检测方法在区分 AI 生成文本和原始文本方面的潜力。总的来说，该图为研究者提供了直观的证据，表明通过分析文本共性可以有效区分 AI 改写评论和原始评论。

图1：研究方法概述

#

🔼 图1概述了本文提出的研究方法。该方法的核心在于识别真实评论和由ChatGPT 4.0生成的伪造评论之间的一致性/不一致性模式。该方法首先需要创建一个包含真实酒店评论和通过OpenAI API生成的伪造评论的数据集。这个数据集随后被仔细清理，以去除可能干扰后续分析的特殊字符。核心的分析步骤是使用一种名为“所有重复模式检测（ARPaD）”的算法和一个名为“最长预期重复模式减少后缀数组（LERP-RSA）”的特殊数据结构。这个算法能识别数据集中所有重复出现的模式，无论这些模式是连续的还是非连续的。ARPaD算法利用LERP-RSA数据结构来高效存储和分析数据。接下来，通过计算原创评论与其每个伪造版本之间的共同词语的百分比，来检测它们之间的相似性。共同词语的百分比被可视化，从而可以轻松识别真实和伪造评论之间的差异。此外，该方法旨在避免使用监督学习，从而不需要大量预先标记的训练数据。总的来说，该方法的目标是为检测AI生成的伪造评论提供一种可行的方法，并能更好地理解这些评论的特性，并且该方法可以推广到其他需要检测AI释义文本的场景。该方法使用了专业的数据分析工具，例如ARPaD和LERP-RSA，保证了分析过程的严谨性和结果的可靠性。

Fig. 1: 研究方法流程图

#

🔼 此流程图（Fig. 1）概述了本研究采用的方法，以探索使用生成式人工智能工具生成的评论和真实评论之间的差异。该方法主要包括四个阶段：数据集创建、数据集清洗、模式检测和共性检测，最后通过图表展示结果。在数据集创建阶段，研究人员选择并准备了一个酒店评论数据集，并利用OpenAI API生成了伪造的评论，其中包括使用不同的温度参数来生成不同的文本变体。在数据清洗阶段，对数据集进行预处理，删除了所有不必要的空格和特殊字符。模式检测阶段是本研究的核心，使用了ARPaD算法和LERP-RSA数据结构来检测数据集中重复的模式。共性检测阶段，旨在通过分析所有生成的模式和文本之间的重复单词，并比较不同组合之间的模式。最终，结果通过各种图表和热图进行可视化。这个全面的方法使得研究人员能够识别真实和人工智能生成的评论之间的差异，为未来检测伪造评论的算法设计提供有价值的见解。

单词共现性箱线图

#

🔼 该图表为箱线图，展示了在不同温度设置下，原始评论与AI生成的释义评论之间以及释义评论彼此之间的单词共现性百分比。横轴分为两组，左侧五个箱线图代表原始评论与释义评论的共现性，右侧五个箱线图代表释义评论之间的共现性。纵轴表示单词共现性的百分比，取值范围从0%到100%。图例说明每组箱线图都对应不同的温度值，温度越高，AI生成的文本随机性越高。从图中可以看出，原始评论与释义评论之间的单词共现性百分比非常低，基本都集中在10%以下，这表明AI生成的释义文本与原始文本的差异较大。相反，释义评论之间的单词共现性百分比则显著高于原始评论与释义评论之间的共现性，尤其是在温度较低的情况下，释义评论之间的共现性高达70%以上，表明AI在较低温度设置下生成的文本具有较高的重复性。随着温度的升高，释义评论之间的共现性逐渐下降，但仍明显高于原始评论与释义评论之间的共现性。这表明即使在更高的温度设置下，AI生成的释义文本之间仍然存在一定的共性，但共性程度降低。该图表直观地展示了原始评论与AI释义评论之间的差异，以及不同温度设置下AI释义评论的相似性，从而验证了该研究提出的观点，即AI释义文本与原始文本存在显著的差异，且AI释义文本之间具有更高的相似性。

研究方法概述

#

🔼 该图描述了本研究中用于检测AI生成假评论的整体方法。该方法分为五个主要阶段：数据集创建阶段、数据集清理阶段、模式检测阶段、共性检测阶段以及图表生成阶段。在数据集创建阶段，从现有酒店评论数据集中随机选择酒店，并使用不同的温度参数通过ChatGPT生成原始评论的释义版本。在数据集清理阶段，会删除文本中影响处理的特殊字符。在模式检测阶段，使用改进的后缀数组数据结构（LERP-RSA）和全重复模式检测算法（ARPaD）来识别文本中长度在3到20个词之间的重复模式。共性检测阶段测量原始评论与其释义版本之间以及释义版本之间的词汇重复百分比。最后，在图表生成阶段，生成各种图表来可视化结果，并分析原始评论和释义评论之间的差异。图表描绘了从原始文本生成释义文本，到发现文本中的重复模式，再到量化原始文本和释义文本相似度的整个流程，其中图表显示了使用不同温度参数生成的释义文本之间的差异。这个过程体现了研究者如何通过量化文本相似度，来区分由AI生成的释义文本和原始的人类撰写的文本。该方法侧重于文本相似性模式的检测，而不是传统机器学习方法中常用的预标记数据训练。该流程图清晰地展示了研究步骤，并为理解如何分析文本数据和检测潜在的AI生成内容提供了指导。

词语共现矩阵示例

#

🔼 该图为词语共现矩阵的热图示例，展示了在特定条件下（酒店ID为80275，用户名为gfargo53）长度为5的词语模式的共现情况。图中的颜色深浅表示共现百分比的高低，颜色越深表示共现程度越高。横纵坐标分别代表原始评论（Original）以及在不同温度参数（T=0.0, 0.25, 0.5, 0.75, 1.0）下生成的三个伪造评论（P1, P2, P3）。矩阵的对角线表示每个评论与自身完全匹配的百分比，因此数值较高。非对角线上的数值展示了不同评论之间词语模式的相似性。例如，原始评论与温度为0.0的第一个伪造评论（P1:T=0.0）的匹配度为2.91%。从图中可以观察到，原始评论与任何伪造评论之间的共现百分比较低，大多数情况下低于10%，表明原始评论的文本模式与伪造评论存在明显差异。然而，在同一温度参数下生成的不同伪造评论之间，共现百分比明显较高，例如温度为0.0的三个伪造评论（P1:T=0.0, P2:T=0.0, P3:T=0.0）之间的共现度均接近90%或更高。这暗示了在相同温度参数下生成的伪造评论具有高度的相似性，很可能是因为生成模型在这些温度下倾向于生成相似的文本模式。此图反映了该研究的核心发现之一：即使通过改变温度参数来尝试增加伪造评论的多样性，伪造评论之间仍然保持较高的相似性，而与原始评论的差异性仍然显著。这个结论对于研究如何检测和区分AI生成的伪造评论至关重要，为进一步开发更有效的检测算法提供了有价值的线索。此外，该图展示了该研究方法的核心机制——如何量化文本之间的相似度，并将其可视化以便分析。通过这种方式，可以直观地比较不同评论之间的相似程度，并从中发现有意义的模式和趋势。

所有酒店和评论的评论共性百分比的箱线图

#

🔼 该图表是一个箱线图，展示了在不同温度参数下，原始评论和由ChatGPT生成的释义评论之间的词语共性百分比。该图横轴展示了不同类型的评论组，包括五组原始评论（分别在温度参数为0.0、0.25、0.5、0.75和1.0下）和五组释义评论（同样在温度参数为0.0、0.25、0.5、0.75和1.0下）。纵轴表示词语共性百分比，范围从0%到100%。

从图表中可以观察到，原始评论之间的词语共性百分比非常低，几乎都低于20%，并且它们之间的差异性也相对较小，这表明在不同的温度参数下，原始评论的自我重复性较低。相比之下，释义评论之间的词语共性百分比显著高于原始评论，尤其是在温度参数为0.0时，共性百分比的中位数接近80%，这表明当温度参数设置为较低值时，释义评论的自我重复性很高。随着温度参数的增加，释义评论的词语共性百分比逐渐下降，但即使在温度参数为1.0时，共性百分比的中位数也高于30%。此外，释义评论的变异性也高于原始评论，这在箱线图的“箱子”宽度以及“须”的长度上均有所体现。这些发现暗示了，尽管ChatGPT尝试生成多样化的释义，但其仍然保留了原始文本的许多共同模式，尤其是当温度参数较低时，这种模式的重复性更为显著。该图表清晰地展示了，由ChatGPT生成的释义评论，相比原始评论，在文本模式上存在显著差异，为区分人工智能生成文本和人类文本提供了依据。这些结果有助于理解AI在文本生成过程中可能存在的重复性和模式依赖性，并为开发更有效的AI文本检测方法提供思路。

评论相似度小提琴图

#

🔼 该图为小提琴图，展示了不同温度设置下，原始评论与AI生成复述评论之间的词语重复率。横轴分为两部分：左侧为“Original”，表示原始评论与AI生成复述的比较；右侧为“Paraphrase”，表示AI生成的复述评论之间的比较。每个部分又分为5个小组，分别对应温度（Temperature）参数为 0.0, 0.25, 0.5, 0.75 和 1.0 的情况。纵轴表示词语重复率，范围从-10% 到 110%。

观察图表可以发现，在左侧“Original”部分，无论温度如何变化，原始评论与AI复述评论之间的词语重复率都非常低，大部分集中在0%-10%左右。这表明AI生成的复述评论与原始评论的文本差异显著，重复率很低。而在右侧“Paraphrase”部分，AI复述评论之间的词语重复率则明显高得多。当温度为0.0时，重复率最高，接近80%，但随着温度的升高，重复率逐渐下降，当温度为1.0时，重复率仍在20%以上。这反映了温度参数对AI复述多样性的影响。温度越低，AI生成的复述评论之间越相似；温度越高，复述之间的差异越大，但仍比与原始评论的差异小。

总体而言，图表清晰地展示了AI复述评论与原始评论之间的显著差异，以及复述评论之间的高度相似性，尤其是在较低温度的情况下。该图有力支持了论文的主要论点：AI生成的复述评论虽然与原始评论有差异，但它们彼此之间具有很高的相似性，这种相似性可以被用来检测AI生成的假评论。

评论相似性小提琴图

#

🔼 这张图表展示了所有酒店和评论中，模式长度为5时，评论相似性的分布情况。横轴表示不同的温度值，对应于生成伪造评论时使用的不同随机性参数。纵轴表示评论之间的相似性百分比。每个小提琴图显示了在特定温度设置下，原始评论与由人工智能生成的评论之间相似性百分比的分布。我们可以清楚地看到，当温度较低（例如，温度为0.0）时，AI生成的评论之间的相似度非常高，这表明这些评论之间的重复模式很多。然而，随着温度的升高，相似性逐渐降低，这可能是因为更高的温度引入了更多的随机性和独特性，导致每次生成的评论差异变大。相比之下，原始评论和AI生成的评论之间的相似性一直保持在较低水平，这表明它们之间的重复模式很少。这张图表有效地总结了温度如何影响AI生成评论的相似性，也强调了AI生成评论与原始评论之间存在显著的差异。总的来说，图表揭示了使用不同温度值生成的AI伪造评论之间，以及这些伪造评论与原始评论之间，重复模式的差异。这些信息对于理解如何检测AI生成的文本以及如何避免生成重复内容具有重要意义。图表清楚地表明，温度设置显著影响了AI生成评论的相似性，而原始评论与AI生成评论的差异始终存在。

图3：不同温度下原始评论与改写评论的词语共性箱线图。

#

🔼 图3展示了在不同温度参数下，原始酒店评论与通过ChatGPT 4.0改写的评论之间，以及改写评论相互之间的词语共性比例的箱线图。这里的词语共性是指评论文本中连续出现的、三个或更多单词构成的相同序列。该图主要目的是分析AI改写评论在多大程度上保留了原始评论的文本特征，以及不同温度设置对改写结果的影响。图中横轴分为两个主要部分：左侧五个箱线图表示原始评论与对应的改写评论之间的共性比例，右侧五个箱线图表示同一原始评论的不同改写版本之间的共性比例，每个部分都按照温度参数（0.0, 0.25, 0.5, 0.75, 1.0）分组。从图表来看，原始评论与改写评论之间的共性比例普遍较低，中位数接近0%，且分布较为集中，表明AI改写在很大程度上改变了原始评论的表达方式，同时也验证了AI在语句重构方面有较好的能力。而同一原始评论的不同改写版本之间的共性比例则明显较高，中位数均在20%以上，甚至在温度为0.0时高达70%以上。这表明，即使是经过AI改写，同一原始评论的不同版本之间仍然保留了较多相同的词语序列。随着温度参数的升高，改写评论间的共性比例有逐渐下降的趋势，这也符合温度参数越高，改写结果的随机性越大的预期。从箱线图的形状来看，改写评论间共性比例分布更为分散，尤其是在温度较高的设置下，说明温度参数对改写结果的多样性有显著影响。总的来说，此图清晰地揭示了AI改写评论虽然在表面上与原始评论差异较大，但在文本结构层面仍然保留了较多重复片段，这些重复片段在不同改写版本间更为显著，为检测AI生成评论提供了一个新的角度。这对于识别AI生成文本，尤其是在评论等应用领域，具有重要的实践意义，同时为开发更有效的AI内容检测方法提供了线索。

评论相似性箱线图

#

🔼 该图为箱线图，展示了不同温度参数下，原始评论与由 ChatGPT-4 生成的伪造评论之间的单词相似性百分比。横轴分为六组，前五组分别对应温度参数 0.0、0.25、0.5、0.75 和 1.0 下，原始评论与伪造评论的相似性；最后一组显示所有温度下伪造评论彼此之间的相似性。纵轴为相似性百分比。从图中可以观察到，原始评论与伪造评论之间的相似性百分比通常较低，且在不同的温度参数下变化不大，中位数接近 5%，且有部分离群值。然而，伪造评论之间的相似性百分比明显较高，中位数大约在 60% 左右。这表明，尽管 ChatGPT-4 生成的评论与原始评论在文本上存在差异，但同一原始评论的不同伪造版本之间具有较高的相似性。这暗示了由 AI 生成的文本可能包含可识别的模式，这些模式可以被用于区分真实和伪造评论。同时，图中也显示了一些数据的离散程度，箱子的上下边界和须线的长度表明，不同温度参数下，伪造评论的相似性存在一定的差异，尤其是在温度为 1.0 的情况下，离散度更高。整体来看，该图强调了 AI 生成评论的一种潜在特征：尽管它们看起来与原始评论不同，但它们彼此之间的相似性可能很高，并可以通过数据挖掘方法来识别。这对于识别和过滤 AI 生成的虚假评论具有重要意义。