流程图实践【四】：十个AI大模型的流程图对比

流程图生成提示词

我的提示词是这样的：首先，大家应该比较熟悉的是Mermaid流程图，我们的目标是生成一段Mermaid代码，并利用这段代码渲染出一个流程图。接下来，我提供一个功能需求描述，这个需求是我之前做过的一个实名认证功能模块。我希望AI能够将这个功能需求绘制成流程图。

这是一个简单但具体的提示词。

然后，我将这个提示词原封不动地输入给十个AI大模型，确保每个模型都接收到相同的内容。接下来，我们可以看到十个大模型生成的流程图。

我把十个流程图做成大图，可以点开查看

流程图对比提示词

要详细快速的将流程图进行对比和分析，最高效的方式是让AI大模型来完成对比和评分，因此我设计了一个结构化的流程图对比提示词

写这个提示词其实是有点技巧

首先，我先给AI大模型介绍一下这个问题的背景，我想要做的事情是，让多个大模型根据我的提示词生成流程图，我给出了具体的提示词，我希望AI根据这个提示词和我提供的由十个AI大模型生成的流程图，进行理性分析、综合评估和对比。在对比时，需要依据七个因素进行详细比较，每个因素我都给出详细的定义。

接下来，我需要让AI对流程图进行评分，在评分时，我会告诉AI标准：达到某种程度的表现被称为“良好”，更高的表现称为“优秀”，而一般的表现则被称为“一般”，表现不佳的称为“差”。这些评分标准涵盖了七个因素的评判标准。

最后，我要求AI将对比结果输出为一个表格，并根据模型的整体质量进行排序，再根据最终的评判结果，指出哪个模型表现最差，哪个模型表现最优秀。同时，还需要提供详细的分析原因。

这是我的提示词，我花了时间和精力写好的。

接下来，我让AI大模型帮我完成了10个流程图的对比和评分。

大模型对比结果

1、KIMI

2、通义千问

3、豆包

4、智谱清言

5、讯飞星火

6、腾讯元宝

7、GPT4

8、GPT4o

AI模型的特性和差异

我提供的提示词都是相同的，但每个模型生成的流程图和对比结果却千差万别，风格各异，有的优秀，有的则不尽如人意，这是到底是为什么？

这是一个重要的观察点，在进行对比时，我已经向它们说明了背景、目的以及对比的要求，包括期望的输出结果和信息量。然而，不同模型对这些信息的理解和处理逻辑却大相径庭。

我的感受是，这十个AI模型就像十个程序员。当你向他们讲解需求和原型时，每个人的理解重点都不一样。有些人认为文档写得很好，有些则觉得很差；有些认为原型设计出色，而有些则觉得不够好。这种差异的原因在于每个模型的侧重点不同，它们训练时使用的数据、模型特点，以及训练时间和数据量等因素都各不相同。

AI模型的特性和差异主要体现在以下几个方面：

1. 训练数据和领域专长：

   • 不同的AI模型在训练时使用的数据集和领域专长不同。有些模型偏重于编程，有些偏重于逻辑思维、文字理解或代码处理。这些差异导致它们在处理特定任务时的表现不同。

2. 理解和处理能力：

   • 各个模型在理解和处理用户输入时的逻辑和重点不同。例如，某些模型可能在生成流程图时能够更好地处理逻辑分支和细节，而其他模型可能在数据分析方面更为出色。

3. 输出质量和侧重点：

   • 即使给定相同的问题和提示词，不同模型生成的结果可能会有很大差异。某些模型可能在准确性、逻辑性和细节处理方面表现优异，而其他模型可能在创意或速度上有优势。

4. 适应性和泛化能力：

   • 模型的适应性和泛化能力也有所不同。某些模型可能在特定类型的任务上表现很好，但在其他类型的任务上可能表现平平。这取决于模型的训练目标和数据集的多样性。

5. 用户体验和交互方式：

   • 用户与模型的交互方式和体验也会影响对模型的评价。有些模型可能在用户界面和交互设计上更为友好，使得用户更容易获得满意的结果。

AI模型之间的差异主要源于它们的训练数据、设计目标和应用场景的不同。选择合适的模型取决于具体任务的需求和用户的偏好。通过比较和评估不同模型的表现，用户可以找到最适合自己的AI助手。

AI模型的选择和使用

选择和使用AI模型并没有绝对的正确答案，无法简单地说哪个模型好，哪个模型不好。我们这次只是针对固定的提示词和问题进行了对比和分析，最终得出的结论是，GPT-4表现最佳，而在国内，百度和KIMI的模型表现也相对出色。

在绘制流程图时，这些模型的表现确实令人满意。但如果我们换一个问题，就像在需求分析时，程序员A可能对某个功能的理解感到困难，认为设计不够好；而在评审另一个功能时，他又可能觉得设计非常出色，写得很细致、易于理解。这说明即使是同一个人，对不同功能点的理解也会有所不同。因此，我们这次的评分仅限于特定的问题场景。

假设我们换成一个数据分析的流程图，结果可能会有所不同。此时，某些模型，如通义，可能表现更好，而ChatGPT的表现反而不佳。因此，在使用AI大模型时，我建议大家至少熟悉这十个模型中的几个，了解它们的特点和适用场景。然后，根据你的工作属性和常见问题，选择两到三个模型作为你常用的AI助手。

使用这几个模型后，你会发现它们的回答各有不同，彼此能够互补。每个模型在解决问题时的思路和侧重点都有所不同，这样可以让你对待问题的思考更加全面。因此，不要仅仅依赖一个AI模型。只使用一个模型，你可能会局限于它给出的答案，而不同模型的多样化回答就像有多个顾问在帮助你分析问题。

这才是正确使用AI大模型的思路和方法。

希望这次分享能帮助大家建立对AI的基本概念和应用思路。没有绝对优劣的模型，但确实有表现更好的和稍逊一筹的选择，关键在于你的选择和应用。

在这次测试中，我对两个模型感到意外，一个是KIMI的模型，它是完全免费的。另一个模型是文言一心，它提供的流程图答案让我有些意外，超出了我的预期。而GPT-4的表现则在预料之中，令人满意。至于GPT-4 Mini，我觉得表现中规中矩，水平相当于小学生。

希望这次的实践分享对大家有所帮助。

老陈正在ALL IN AI大模型，致力于利用AI技术解决产品经理工作场景中的各种痛点和问题，自己开发AI应用和工具，给出解决方案和实践。

AI不再是未来，它已经融入了我们的日常工作中。作为产品经理，我们必须积极参与这一变革，主动学习AI技术，探索其在工作中的应用。

AI赋能产品经理，做AI时代的践行者

如果你对AI的工作实践感兴趣，可以加AI产品群，一起学习，一起成长