从用户生成内容中识别客户需求

方法流程图

#

🔼 该图展示了一个利用机器学习从用户生成内容中识别客户需求的混合方法流程。该方法包括五个主要阶段，旨在高效地从大量的用户生成内容（UGC）中提取有价值的客户需求信息，并结合人工分析以确保准确性和深度。

阶段一：预处理UGC

• 将原始的用户生成内容分割成独立的句子。这是为了将分析的粒度定在句子级别，因为句子通常包含完整的语义信息。
• 从句子中移除停用词（如“的”、“和”等常用词）、标点符号等，这些词语通常不携带重要的语义信息，移除后可以减少噪声并提高处理效率。
• 识别并合并频繁出现的词语组合，形成短语。这有助于模型理解上下文语境，例如，“牙刷”和“电动牙刷”可能被视为不同的单元。

阶段二：训练词嵌入

• 使用预处理后的UGC句子，采用skip-gram模型训练词嵌入。词嵌入是一种将词语转化为实值向量的技术，使得语义相似的词语在向量空间中距离更近。这为后续的深度学习模型提供了基础的语义表示。

阶段三：识别信息性内容

• 人工标注一小部分句子，分为“信息性”和“非信息性”两类。这是一个监督学习的过程，需要人工判断哪些句子包含客户需求相关的信息。
• 利用标注好的数据，训练一个卷积神经网络（CNN）来学习如何区分信息性句子和非信息性句子。CNN能够自动提取文本的特征，无需人工设计特征。
• 应用训练好的CNN模型，从剩余的UGC语料库中筛选出信息性句子。这显著减少了需要人工分析的句子数量。

阶段四：抽样多元内容

• 将词嵌入平均化，从而为每个句子创建一个句子嵌入。句子嵌入捕捉了句子的语义信息，并将句子表示为向量。
• 使用Ward算法对句子嵌入进行聚类。聚类旨在将相似语义的句子分组到一起。
• 从每个聚类中随机抽取一个句子。这一步是为了确保选取的句子来自不同的语义类别，从而最大程度地覆盖客户需求。

阶段五：人工提取客户需求

• 由专业分析师审核抽样出的信息性句子，并从中提取客户需求。
• 分析师使用他们的专业知识，将句子转化为具体、可操作的客户需求。这个过程强调了人工分析的必要性，以处理抽象和上下文相关的语义。

总的来说，这个混合方法流程将机器学习的效率和人类专业知识的洞察力相结合，旨在更高效、更准确地从用户生成内容中提取有价值的客户需求。这种方法不仅节省了时间和成本，还可能发现传统方法难以捕捉到的细微客户需求。

卷积神经网络结构图

#

🔼 该图展示了一个典型的卷积神经网络（CNN）的结构，用于处理文本数据。整体结构可以分为四个主要部分：原始输入、数值表示、卷积层、池化层和softmax层。

1. 原始输入 (Raw Input)：最左侧是文本的原始形式，例如“product works perfectly and price is great”。这些文本数据是模型的初始输入。

2. 数值表示 (Numeric Representation)：原始文本首先被转换为计算机可以理解的数值形式。每个词都会被编码为一个数值向量，形成一个矩阵，用Rd表示，其中d代表向量的维度。这个步骤将文本信息转化为可以进行数学计算的形式。

3. 卷积层 (Convolutional Layer)：数值表示的输入传递到卷积层。卷积层使用多个滤波器（feature maps），在输入数据上进行卷积操作。每个滤波器提取不同的特征。图中显示了从Feature map 1到Feature map K的多个特征映射，这代表了从文本中提取的不同类型的特征。每个特征映射可以突出显示句子中的特定模式和结构。

4. 池化层 (Pooling Layer)：卷积层的输出随后传递到池化层。池化层的主要作用是降低特征映射的维度，减少计算量，并提取最重要的特征。图中显示了池化层对每个特征映射进行处理，得到更简洁的输出。常用的池化方法包括最大池化和平均池化。

5. Softmax层 (Softmax Layer)：最后，池化层的输出传递到softmax层，该层将输入的数值转化为概率分布。图中Softmax层使用池化层的输出和词向量作为输入，估计输出的概率，比如P̂(y=1)，表明该文本属于某一类别的概率。在本文上下文中，输出的y的值代表句子是否是信息性的。

图下方的文字“Word Representations”表明在softmax层中，使用了词的向量表示来帮助分类。这个架构的整体目标是通过多层特征提取和分类，使得神经网络能识别和处理输入文本中的特征，最终实现分类或预测。

总的来说，该图清楚地展示了一个典型的卷积神经网络在文本分类任务中的处理流程，从原始文本到数值表示，再到特征提取和最终分类的完整过程。该模型架构的目的是从输入的文本信息中高效提取有意义的特征，从而实现准确的文本分类。

客户需求来源比较

#

🔼 该图表是一个韦恩图，展示了从不同来源识别出的客户需求之间的关系，特别是通过访谈和用户生成内容（UGC）两种方式。图表的核心部分显示，有83个客户需求是访谈和UGC共同发现的，表明这两种方法在识别核心需求方面具有相当的一致性。此外，图表还显示了3个仅通过访谈识别出的客户需求，以及8个以上的仅通过UGC识别出的需求，突出了UGC在发现访谈可能遗漏的独特客户需求方面的潜力。图中“8+”表示，UGC挖掘出的需求大于等于8个，并非精确数值。此图有力地支持了论文中提出的观点，即UGC是一个有价值的客户需求信息来源，其信息量至少与传统的访谈方法相当，甚至可能更优，因为它能够揭示访谈可能忽略的细微之处。

具体而言，访谈可能由于样本选择的局限性而忽略某些细分市场的特殊需求，而UGC则由于用户的主动分享，能够捕捉到更广泛和真实的用户体验。虽然UGC可能存在自我选择偏差，但该图表表明，在口腔护理领域，这种偏差并未明显影响到UGC识别客户需求的能力。此外，UGC还具有不断更新和成本较低的优势，使得企业能够更频繁、更经济地了解客户需求的动态变化。这为企业在产品开发和市场战略方面提供了更及时和全面的信息支持。

此外，图中仅通过UGC识别的需求（“8+”）表明，UGC不仅仅是传统方法的替代品，更是一个重要的补充。这些独有的需求可能代表了访谈中未被触及的，或是因访谈过程的结构化性质而被忽略的消费者痛点。图表明确的说明UGC在识别客户需求时，拥有传统方法无法比拟的优势，突显了UGC在市场研究和产品开发中的重要性。总的来说，这个图表不仅验证了UGC作为客户需求来源的潜力，也为企业如何整合不同来源的信息以获得更全面的客户理解提供了重要启示。

F1-score与训练样本大小的关系

#

🔼 该图表展示了卷积神经网络（CNN）的F1-score指标随着训练样本大小变化的趋势。F1-score是衡量分类模型性能的常用指标，综合考虑了精确率（precision）和召回率（recall）。图表中横轴代表训练样本的大小，从100到4000不等；纵轴代表F1-score的值，范围从0到1。图表中有三条线，分别代表中位数F1-score、95%分位数和5%分位数。从图中可以看出，随着训练样本的增加，中位数F1-score呈现上升趋势，表明模型性能随着训练数据量的增加而提高。当训练样本较小时（如100或250），F1-score的波动较大，5%分位数线很低，说明模型性能不稳定。当训练样本大小达到500时，F1-score迅速提高，并且95%分位数和5%分位数之间的差距显著减小，表明模型性能趋于稳定。在500到4000的范围内，F1-score的上升趋势逐渐放缓，模型性能的提升不再像开始时那样显著，但仍然保持相对稳定的高水平。这个图表表明，对于卷积神经网络，训练数据量的大小对模型性能至关重要。在初期，增加训练数据可以显著提高模型性能，但当训练数据量达到一定程度后，继续增加数据所带来的性能提升会逐渐减小。这为实际应用中选择合适的训练数据量提供了重要参考。该图表同时显示，在较小的训练样本量下，模型性能的随机性更高，需要更大的训练样本量才能保证模型的稳定性和可靠性。

效率提升图

#

🔼 该图展示了在用户生成内容（UGC）中识别客户需求的效率提升情况，通过比较不同的内容选择方法，评估了每种方法在给定数量的句子中识别出的独特客户需求的数量。基准方法（图中蓝色虚线）代表传统做法，即从语料库中随机抽取句子进行审查。第二种方法（图中红色点线）使用卷积神经网络（CNN）来筛选出信息丰富的句子，然后再随机抽取进行审查。第三种方法（图中黑色实线）则在第二种方法的基础上进一步利用句子嵌入聚类来降低句子间的冗余。 图中横轴表示被审查的句子数量，从200到1200，而纵轴表示识别出的独特客户需求的期望数量。从图中可以看出，随着审查的句子数量增加，识别出的独特客户需求数量也随之增加。然而，不同方法之间存在显著差异。 基准方法（蓝色虚线）的效率最低，随着句子数量的增加，识别出的客户需求数量增长较慢。这表明随机选择句子进行审查的方式效率不高，许多句子可能并不包含新的客户需求。使用CNN筛选后的方法（红色点线）在所有句子数量下均优于基准方法。这意味着通过预先筛选信息丰富的句子，可以提高识别客户需求的效率。特别是当句子数量较小时，CNN的优势更为明显。 而使用CNN筛选并进行句子嵌入聚类的方法（黑色实线）效率最高。这种方法不仅筛选了信息丰富的句子，还降低了句子之间的冗余度，从而最大限度地提高了每个审查句子所能提供的独特客户需求。该方法的效率优势在句子数量较少时尤为突出，但随着句子数量的增加，这种优势仍然存在。 总体而言，图表清晰地表明，通过结合机器学习方法（CNN和句子嵌入聚类）筛选用户生成内容，可以显著提高识别客户需求的效率。这种改进不仅可以降低成本和时间，还可以提高发现稀有但重要的客户需求的可能性，这对新产品开发至关重要。

不同方法下识别的客户需求数量

#

🔼 该图表展示了在不同方法下，随着抽样句子数量的增加，识别出的客户需求数量的变化情况。横轴代表抽样的句子数量，从200到1200不等；纵轴代表识别出的客户需求数量。图中共有三条曲线，分别代表了三种不同的方法：基准方法（Benchmark）、使用卷积神经网络（CNN）筛选出的信息丰富句子以及使用CNN筛选并进行冗余减少后的句子。基准方法是随机抽取句子，作为对比的基准。使用CNN筛选出的信息丰富句子，表示先使用CNN模型筛选出包含客户需求的句子，再进行随机抽样。CNN加冗余减少的方法表示，在CNN筛选的基础上，使用句子嵌入聚类的方法来减少句子间的冗余，然后再进行抽样。从图表中可以看出，随着抽样句子数量的增加，三种方法识别出的客户需求数量都呈现上升趋势。但明显的是，CNN加冗余减少的方法在各个抽样数量下都优于另外两种方法，识别出的客户需求数量最多。其次是CNN筛选的方法，也比基准方法表现更好。这表明，通过CNN筛选信息丰富的句子，并减少句子间的冗余，可以更有效地提高客户需求识别的效率。在相同的句子抽样量下，使用CNN加冗余减少方法能够识别出更多的客户需求，这表明该方法在实际应用中能够帮助企业更有效地收集和分析客户反馈，从而更准确地把握客户需求，为产品开发和市场策略提供有价值的输入。例如，在抽样句子数量为800左右时，基准方法识别出的客户需求数量大约为60个，而CNN加冗余减少方法识别出的客户需求数量接近65个，效率提升显著。这说明，该方法可以帮助企业在相同的资源投入下获得更好的效果，从而节省时间和成本。

基于用户生成内容的顾客需求识别流程

#

🔼 该图表展示了一个结合机器学习和人工判断的混合方法，用于从用户生成内容（UGC）中识别顾客需求。流程首先通过机器学习筛选大量文本数据，然后由专业分析师提取有价值的顾客需求。在“机器学习”部分，首先，原始UGC被分解为独立的“句子”。接着，运用自然语言处理技术，特别是卷积神经网络（CNN），对句子进行筛选，去除不包含顾客需求的“非信息性句子”，保留“信息性句子”。然后，再利用句子嵌入技术和聚类方法，进一步从“信息性句子”中选择具有代表性的“信息性和非重复性句子”，从而降低重复内容，提高分析效率。这个阶段的重点是利用机器学习模型自动执行文本预处理和内容筛选，从而显著减少人工分析的工作量。在“人工判断”部分，选出的“信息性和非重复性句子”会被送至专业分析师，由他们分析并提取出具体的“顾客需求”。这个步骤强调了人工在理解用户真实意愿和语境方面的关键作用。与单纯的机器学习方法相比，这种混合方法可以提供更高质量和更具洞察力的顾客需求。此步骤中，分析师会考虑句子的语境、用户的表达方式以及潜在的含义，形成高质量的客户需求表述。整个流程的目标是利用机器的高效处理能力来处理大量数据，同时利用人工的专业知识来确保提取的顾客需求的相关性和准确性。这种方法能够降低分析成本、加快分析速度，并提供更全面、更深入的顾客需求信息，从而为产品开发和市场营销策略提供有价值的参考依据。通过这种混合方法，企业可以更有效地利用用户反馈，开发出更符合市场需求的产品和服务。

用户评论分析流程图

#

🔼 该图描述了一个用户评论分析流程。该流程从用户评论中识别顾客需求，并对评论内容进行分析处理。流程共分为五步：1. 预处理用户生成内容（UGC）；2. 训练词嵌入；3. 识别信息性内容；4. 采样多样化内容；5. 手动提取客户需求。预处理UGC包括将评论文本分割成句子，消除停用词、数字和标点符号，并连接频繁出现的词组。训练词嵌入使用skip-gram模型在预处理的UGC句子上训练词嵌入，为后续步骤提供输入。识别信息性内容使用卷积神经网络（CNN）过滤掉非信息性句子。CNN通过学习区分信息性句子和非信息性句子，从而提高人工分析的效率。采样多样化内容通过对句子嵌入进行聚类，并从不同的聚类中采样句子，从而选择代表不同客户需求的句子。这有助于减少冗余信息，覆盖更全面的需求。最后，手动提取客户需求由专业的分析师审查多样化和信息性的句子，以提取客户需求。这些需求可用于产品开发和市场营销策略。通过这个流程，可以有效地利用用户评论来识别客户需求，从而指导产品改进和新产品开发。

CNN训练样本大小对F1分数的影响

#

🔼 该图表展示了卷积神经网络（CNN）的训练样本大小对F1分数的影响。F1分数是衡量分类模型性能的指标，它综合考虑了模型的精确率和召回率。图中横轴代表训练样本的大小，范围从100到4000个句子不等，纵轴表示F1分数。图中显示了随着训练样本增加，CNN的F1分数的变化趋势，并用中位数、95%分位数和5%分位数三条曲线表示。整体来看，随着训练样本的增加，F1分数呈现上升趋势，并在训练样本达到一定规模后趋于稳定。具体而言，当训练样本较小时（例如100个句子），F1分数较低，表明模型性能较差。但随着训练样本的增加，F1分数迅速提高，并在500个句子左右时开始趋于稳定。这表明，在初期阶段，增加训练样本可以显著提高模型性能，但在样本量达到一定程度后，继续增加样本带来的收益会逐渐减少。图中三条曲线之间的差异也值得关注。中位数曲线代表了F1分数的平均水平，而95%分位数和5%分位数则分别表示了F1分数的上界和下界，展示了模型的性能波动范围。可以发现，当训练样本较小时，模型的性能波动较大，即上界和下界之间的差距较大。但随着训练样本的增加，这种波动逐渐减少，上界和下界趋于收敛，说明模型性能的稳定性提高。值得注意的是，在500个训练样本之后，F1分数的提升并不明显，即使训练样本达到4000个，F1分数也只是略有提高。这意味着，在实际应用中，为了平衡模型性能和训练成本，我们可能无需追求过大的训练样本，500个左右的样本可能足以使模型达到较好的性能水平。总而言之，该图表清晰地展示了训练样本大小对CNN模型性能的影响。通过该图表，我们可以更好地理解CNN模型的训练过程，并为实际应用中的模型训练提供指导。

不同方法下用户需求识别效率

#

🔼 该图表展示了在不同方法下，随着抽样句子数量的增加，识别出的低频和高频用户需求数量的变化趋势。图表分为左右两部分，分别对应低频和高频用户需求。横轴代表抽样的句子数量，范围从200到1200，纵轴表示识别出的用户需求数量。每部分都包含三条曲线，分别代表三种不同的用户需求识别方法：基准方法（Benchmark）、基于卷积神经网络（CNN）的筛选方法（Informative Sentences from CNN）、以及基于CNN筛选并结合冗余缩减的方法（CNN plus Redundancy Reduction）。

对于低频用户需求（左图），可以看出，随着抽样句子数量的增加，所有方法的识别数量都呈现上升趋势。基于CNN筛选并结合冗余缩减的方法（黑色实线）在所有抽样数量下都表现出最优的识别效果，即在相同的抽样数量下，能识别出更多的低频用户需求。其次是基于CNN筛选的方法（灰色虚线），而基准方法（灰色虚线）的识别效果相对较差。

对于高频用户需求（右图），也呈现相似的趋势。三种方法均随着抽样句子数量的增加而识别出更多用户需求。同样地，基于CNN筛选并结合冗余缩减的方法（黑色实线）在所有抽样数量下均优于其他两种方法。尤其是在较低抽样数量时，此方法的优势更为明显。

总而言之，该图清晰地展示了基于机器学习的筛选方法在提高用户需求识别效率上的优势，尤其是在结合冗余缩减后，效果更为显著。这表明使用机器学习方法可以更高效地从用户生成内容中提取有价值的洞见，特别是在识别低频需求时，这种方法能够有效减少遗漏。

机器学习方法对识别客户需求的效率提升

#

🔼 该图表展示了在识别客户需求时，使用机器学习方法与不使用机器学习方法的效果对比。左图关注的是识别最不频繁的10%的客户需求，右图则关注识别用户生成内容（UGC）中特有的客户需求。两条曲线分别代表了在不同方法下，随着抽样句子数量的增加，识别出的客户需求数量的变化趋势。横轴表示抽样的句子数量，从200到1200不等，纵轴表示识别出的客户需求数量。

左图中，可以明显看到，随着抽样句子数量的增加，使用机器学习方法（实线）比不使用机器学习方法（虚线）能够识别出更多的低频客户需求。在相同的抽样句子数量下，机器学习方法的表现始终优于传统方法。例如，当抽样句子数量为1200时，机器学习方法识别出的低频客户需求数量约为4个，而不使用机器学习方法则不足3.5个。这一结果表明，机器学习方法在处理和挖掘数据中的稀有信息方面具有显著优势。

右图中，同样可以看到机器学习方法的优越性。使用机器学习方法（实线）识别出的UGC特有客户需求数量总是高于不使用机器学习方法（虚线）。当抽样句子数量增加到1200时，机器学习方法识别出的独特客户需求接近5.5个，而不使用机器学习方法则稍低于5个。这表明，机器学习不仅可以更有效地识别常见客户需求，还能更好地挖掘出那些在传统方法中容易被忽略的独特需求。

从整体上看，这两个图表都表明机器学习在提高客户需求识别效率方面具有显著优势。通过应用机器学习方法，研究人员可以更有效地从大量的文本数据中提取有价值的客户洞察，并为产品开发和市场营销策略提供更好的支持。机器学习方法可以帮助分析师更高效地定位到目标客户群体，并且挖掘出更多潜在的创新点，从而在激烈的市场竞争中占据优势。这对于企业来说意味着更低的成本和更高的效率，同时也可能带来更多的创新机会。