一键打造本地专属的知识库:可接入各种大模型

在工作中经常会遇到对目标应用不熟悉的情况,这时就需要找此应用的兼职客服或者研发同学咨询,而由于个人工作情况不同,所以就可能不能及时回复我的问题,这里就产生了等待和时间的浪费,为此该如何解决这种问题呢?我们可以在公司层面上搭建一个知识库,新建各种机器人专门用来回答各种问题。

    这里我们使用开源知识库MaxKB+qwen-7b来搭建这样的一套环境。与其他知识库相比它真正做到了开箱即用、零代码集成,并且还支持gpt4、百度千帆、Llama2、通义千问等等几十种大模型,并且操作界面简洁、只需要稍微几项配置就能搭建完成。另外此知识库可以添加个人笔记、工作文档、甚至在线网页到知识库中。然后通过建立索引和大模型对这些文档的理解实现对文档内容的实时搜索和问答。这些文档内容完全运行在公司内网,满足安全性要求。

下面来详细描述一下这个专属知识库的搭建过程。

一、部署

我们以在windows上部署此环境为例来讲述部署过程,则需要明确如下的2个要求:

1.windows10/11更新到最新版本

 2.开启虚拟化支持

若此虚拟化未开启,则可以以管理员身份打开命令行窗口,再执行命令:

dism.exe/online/enable-feature/featurename:VirtualMachinePlatform/all

执行完此命令后重启电脑;

3.MaxKB安装

由于MaxKB在windows上仅提供了docker镜像,所以需要先安装docker,再安装MaxKB

3.1 部署docker

3.1.1 下载docker

访问docker官网下载windows安装包

官网:https://www.docker.com/products/docker-desktop/

3.1.2安装docker

3.1.3启动docker desktop

点”Skip survey”跳过,docker工具会启动docker引擎,启动成功如下:

启动docker时默认会启动docker引擎

3.2 部署MaxKB

3.2.1下载镜像

打开git:https://github.com/1Panel-dev/MaxKB,找到命令在cmd中执行如下命令

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

会报错,但docker会去下载此镜像文件(镜像文件大约2G,等待下载完毕)

下载完毕。

3.3访问MaxKB

此处默认访问账号是:    admin / MaxKB@123..

至此MaxKB环境搭建完毕,接下来配置知识库。

4.配置知识库

操作主界面

4.1创建知识库

注:这里暂时先不创建知识库,原因是现在创建知识库,在电脑重启后知识库会消失(此容器是docker自动创建的),所以要按如下的操作来进行(在docker中删除MaxKB容器)

4.1.1 重建容器

再在配置列表中找到PGDATA配置项,保存其value,如:/var/lib/postgresql/data

再回到Images菜单,重新创建容器

接着重新登录知识库的链接

4.2创建知识库

4.3配置本地大模型

4.3.1 安装ollama

在https://ollama.com/下载ollama的合适的安装包安装;

使用ollama安装本地大模型llama3并启动,见《Ollama:简化大型语言模型的本地部署

启动llama3大模型,如图:

4.3.2 添加模型

注:这里域名必须如此填写

4.3.3 等待下载

有可能很快,也有可能会比较耗时

测试一下

4.4 创建应用

检查”知识库”–>”IT小达人”里面导入的链接已经爬取完毕则可以创建应用了

4.4.1 创建应用

设置大模型/提示词等

调试一下此应用,发现CPU/内存消耗很高

点击右上角的保存并发布即可发布此应用

4.4.2 验证

至此这个本地知识库就搭建完成了。

来源:Hellos AI

滚动至顶部