本地智能问答系统

在当今的人工智能领域，通用大型语言模型(如 GPT-3、GPT-4 等)被广泛用于构建聊天机器人。这些模型具有强大的自然语言处理能力，能够处理各种问题，并生成类似人类语言的回答。然而，尽管它们在通用场景中表现出色，但在特定领域相关的问答场景中往往缺乏精确性。这是因为通用大型语言模型缺乏对特定领域知识的深入理解；它们的训练数据虽然庞大但并不具有针对性，导致在处理特定场景时回答不准确、冗长或不相关。

为了解决这一问题，业界提出了一系列针对特定场景的解决方案，以增强聊天机器人的专业性和准确性。本文将详细介绍这些解决方案，并通过一个简单的示例进行演示。

为什么要在本地部署 LLM？

将大型语言模型部署到本地(本地化部署)是基于不同业务需求和技术场景做出的选择。以下是一些主要原因：

数据隐私与安全

在医疗保健、金融和政府等对数据隐私和安全有严格要求的场景中，本地化部署是必然的选择。这些领域的敏感数据可能不适合上传到云端进行处理，因为存在严格的法律和合规要求。在本地部署大型语言模型可确保数据不会离开本地网络环境，从而避免数据泄露或外部风险。

减少网络依赖

云端部署通常依赖于互联网连接。在网络条件不稳定或带宽有限的情况下，云服务访问的性能可能会受到影响。本地化部署避免了对外部网络的依赖，确保系统始终高效运行，特别是在需要实时响应的场景中。

定制化与控制

将大型语言模型部署到本地，使得开发人员可以对模型进行定制和优化，以更好地满足特定的业务需求。使用云服务时，用户只能访问通用的 API，而本地部署使开发者能够进行微调、扩展，并在调整模型行为方面拥有更大的灵活性。

成本优化

虽然云端提供了便捷的可扩展性和维护服务，但长期在云端使用大型模型可能会产生高昂的成本，尤其是对于需要持续调用模型的企业。在本地部署模型可以节省云服务费用，对于大规模使用的企业尤其如此。

通用模型局限性的解决方案

面对通用模型在特定场景中表现不足的问题，以下解决方案已经得到广泛应用和认可：

知识增强模型(检索增强生成，RAG)

RAG 是一种结合检索与生成的技术框架，通过引入外部知识库来解决大型语言模型的知识缺口。在 RAG 架构中，用户的查询首先被发送到检索模块，该模块从预构建的知识库中提取相关文档或信息。然后将这些信息与生成模型相结合，以产生更准确的答案。这种方法既利用了生成模型的语言能力，又确保了答案的专业性和准确性。这种方法特别适用于特定领域的问答场景，例如医疗、法律或企业内部知识问答。

RAG

图片来源：https://transformers.run/c1/transformer/

微调模型

微调是另一种常用的方法，用于针对特定场景优化通用模型。通过对预训练语言模型进行微调，模型可以更好地适应特定领域的数据和任务。例如，可以使用公司内部文档、技术手册或行业特定的问答数据来重新训练大型语言模型。这种方法可以显著提升模型在特定领域的性能。

微调的缺点是它需要大量的领域特定数据，并且训练过程可能需要相当多的计算资源。然而，一旦微调完成，模型在处理领域特定问题时会变得更加专业和精确。

此外，还有许多其他解决方案，如知识图谱、基于规则的系统、混合系统等。可以根据实际情况选择合适的方法。

使用 RAG 构建特定领域的问答系统

我们将通过一个简单的例子来演示如何使用 RAG 构建一个由知识库驱动的聊天机器人。为了演示方便，我们将使用 Ollama 作为推理引擎来加载大型语言模型，使用 Anything LLM 来构建 RAG 知识库，并将所有服务部署到本地 Jetson 设备上。

  • Ollama： 大型语言模型的推理引擎
  • Anything LLM： AI 应用构建工具
  • Jetson： 高性能边缘计算设备

RAG

步骤 1. 安装并运行 Ollama

这里，我们使用 jetson-examples 来快速将大型语言模型部署到 Jetson 设备上。

bash
sudo apt install python3-pip
pip3 install jetson-examples
reComputer run ollama
ollama run llama3

请保持此终端处于活动状态。

步骤 2. 安装并运行 AnythingLLM

我们可以直接使用 Docker 部署 AnythingLLM：

bash
docker pull mintplexlabs/anythingllm

export STORAGE_LOCATION=$HOME/anythingllm 
mkdir -p $STORAGE_LOCATION 
touch "$STORAGE_LOCATION/.env" 
docker run -d -p 3001:3001 --cap-add SYS_ADMIN \
    -v ${STORAGE_LOCATION}:/app/server/storage \
    -v ${STORAGE_LOCATION}/.env:/app/server/.env \
    -e STORAGE_DIR="/app/server/storage" \
    mintplexlabs/anythingllm

步骤 3. 配置本地知识库

AnythingLLM 成功启动后，我们可以使用浏览器打开 http://<ip-jetson>:3001 来访问其 WebUI 界面，并在 WebUI 中上传知识库文件。

这里，我使用 ChatGPT 生成了几篇短篇故事，并将这些故事上传到 AnythingLLM。

upload

步骤 4. 效果测试

test

更多内容