复合人工智能系统的新设计模式（人工智能的复杂性）

如何使用开源工具搭建流程可配置的复合人工智能系统。

何为复合人工智能系统？

最近，伯克利的研究人员写了一篇文章——《从模型到复合人工智能系统的迁移》，文中归纳了大语言模型应用的最新进展，并强调了向构建复杂管道智能系统的演变，而非封闭的单一模型。最终的系统可能使用相同的底层模型（如 GPT4），但将提示和上下文称为不同的组件。

复合人工智能系统的常见部署模式有：

1. RAG（检索和理解是关键）——通过思维生成、推理和上下文数据，系统能自我反思并尝试以更高级的方式理解用户的查询，然后给出答案，理想的设置是智能体辅助系统。它与面向用户模型/系统的对话模型集成到一起，RAG 系统也可以成为对话式人工智能或 CoPilot 系统的一部分。
2. 多智能体问题解决者（协作角色扮演是关键）——系统依赖于多智能体输出的协作和自动化构建，智能体输出之间互相输入，每个智能体均有明确的角色和目的。每个智能体都可以访问自己的一套工具，在推理和规划其行动时承担特定的角色。

未来之路：在生态系统中使用 LLM 的最大价值是启用机器学习，即理解产品或体验的弱点，并将数据以一种长期提高性能的方式回馈到系统中，从而取代或减少人工注释员的工作。在测试和评估 LLMs 输出的封闭系统时，它可以做很多事情，令人十分惊讶！虽然这样做的成本依然不小...但是这也为构建更好的 LLM 生成了数据, 这种机器学习所依赖的反馈效应，是 LLM 最大的价值所在。

系统组件以及它们如何相互交互以构建复杂系统

复合人工智能系统的部署通常使用相互连接的“模块”，模块之间通过互联来执行特定任务，可以将它们串联起来实现特定的设计模式。

在这里，模块指的是系统中能执行明确定义任务的不同组件，包含诸如搜索引擎、LLM 等底层系统。常见的模块包括生成器、检索器、排名器、分类器等，传统上称之为 NLP 任务。这些概念抽象专注于特定领域（例如，虽然NLP 模块可能与计算机视觉或推荐系统具有不同的抽象模块，但它们都依赖于相同的底层模型服务或搜索提供商）。

在当前流行的人工智能文化中，人们已经习惯了像“工具”、“智能体”、“组件”这样的术语，这些都可以视为模块。

基于LLM的自主智能体 —— 复合人工智能系统中的关键模块

如何为RAG训练这些能力？详见《为RAG企业微调LLM —— 设计视角》。

在脑海中有了这些模块抽象之后，再来看看如何开发不同的设计模式来解决对话式人工智能、RAG和CoPilot系统中的复杂问题。

复合人工智能系统的设计模式

部署模式1 — RAG / 对话式RAG

下图显示了RAG / 对话式RAG系统中各模块的主要职责，这传统上属于IR领域，首先通过神经搜索、知识图谱改进，然后是使用LLM的生成方法环。从另一个视角来看，这是一个对话式IR系统，当IR和对话系统合并，将查询视为转换上下文的对象。

对于RAG系统的成功，关键在于理解用户的查询并将其映射为底层知识（结构化或非结构化），并将其与适当的指令一起提供给生成器/对话管理器，这些动作可以使用一个明确定义的工作流，或者使用智能体模块，模块的动作决定执行哪些步骤（在下一节中将更详细地阐述）。

RAG流程，转交给对话管理器 — 如果对话管理器是一个智能体，RAG则成为一个工具

来看看一些中间模块/工具，它们允许智能体在复杂的RAG世界中导航。

智能体式RAG

智能体式RAG是一种设计模式，其中一个模块由LLM驱动，根据其可用工具集推理和规划如何回答问题。在高级场景中，可能还会连接多个智能体以创造性地解决RAG问题，智能体不仅能检索，还能验证、总结等。有关更多信息，请参见多智能体部分。

需要细化的关键步骤和组件：

1. 基于推理，子任务制定和系统化安排的计划。
2. 基于自我一致性的自我纠正，由于生成多条路径和推理，基于规划的RAG方法（ReWoo和Plan+）比仅基于推理的（ReAct）效果会更好。
3. 对执行的适应能力，更多元化的智能体范例。

部署模式2 — 对话式人工智能

传统意义上，对话流程一直是高度脚本化的，是“机器人说” -> “人类说” -> “机器人说”...的交互，表示不同假设的真实世界场景，对于Rasa开发人员来说也称为“故事”。每个用户的意图可以基于用户的状态和交互表达为数百个“故事”，机器人采取动作执行已定义好的故事并予以回应响应。

有了LLM，可以尝试使用LLM的“推理”和“规划”能力来自动化脚本编写或路径规划 —— 有关更多信息，这是一个强大的人类系统环。

这就是我们希望LLM做的，产生它可以参考的“计划”，并在运行时据此采取动作。有关计划和推理的这种分解的更多信息，请参见此处。

尽管包含上述复杂的提示工程和流程设计，但对每个智能体进行微调的好处却显而易见，不但可以降低成本而且可以提高准确性。