在近期，一款名为PrivateGPT的新型问答系统在GitHub上引起了广泛关注。这款系统的主要特点是，用户可以在没有互联网连接的情况下，使用GPT的强大功能与文档进行交互。这个系统100%私有，没有任何数据泄露的风险。
PrivateGPT是由imartinez开发的，它使用了LangChain、GPT4All、LlamaCpp、Chroma和SentenceTransformers等多种工具进行构建。用户可以将文档导入系统，然后向系统提出问题，系统会根据文档内容给出答案。所有这些操作都可以在没有互联网连接的情况下完成。
为了运行PrivateGPT，用户需要首先安装所有的依赖项，然后下载LLM模型并将其放在自己选择的目录中。用户还需要将example.env重命名为.env，并适当地编辑变量。
PrivateGPT支持多种文件格式，包括CSV、Word文档、EverNote、Email、EPub、HTML文件、Markdown、Outlook消息、Open Document Text、PDF、PowerPoint文档和UTF-8文本文件等。用户可以将这些文件放入source_documents目录中，然后运行命令将所有数据导入系统。
PrivateGPT使用LangChain工具解析文档，并使用HuggingFaceEmbeddings (SentenceTransformers)在本地创建嵌入。然后，它将结果存储在Chroma向量存储中的本地向量数据库中。当用户向系统提出问题时，PrivateGPT会使用基于GPT4All-J或LlamaCpp的本地LLM来理解问题并创建答案。答案的上下文是从本地向量存储中提取的，通过相似性搜索定位文档中的正确上下文。
需要注意的是，PrivateGPT仍然是一个测试项目，用于验证使用LLM和向量嵌入进行问题回答的全私有解决方案的可行性。它还不适合在生产环境中使用，但它的出现无疑为我们提供了一个全新的思考方向。
