这里我们使用开源知识库MaxKB+qwen-7b来搭建这样的一套环境。与其他知识库相比它真正做到了开箱即用、零代码集成,并且还支持gpt4、百度千帆、Llama2、通义千问等等几十种大模型,并且操作界面简洁、只需要稍微几项配置就能搭建完成。另外此知识库可以添加个人笔记、工作文档、甚至在线网页到知识库中。然后通过建立索引和大模型对这些文档的理解实现对文档内容的实时搜索和问答。这些文档内容完全运行在公司内网,满足安全性要求。
一、部署
我们以在windows上部署此环境为例来讲述部署过程,则需要明确如下的2个要求:
1.windows10/11更新到最新版本;
2.开启虚拟化支持
若此虚拟化未开启,则可以以管理员身份打开命令行窗口,再执行命令:
dism.exe/online/enable-feature/featurename:VirtualMachinePlatform/all
执行完此命令后重启电脑;
3.MaxKB安装
由于MaxKB在windows上仅提供了docker镜像,所以需要先安装docker,再安装MaxKB
3.1 部署docker
3.1.1 下载docker
访问docker官网下载windows安装包
官网:https://www.docker.com/products/docker-desktop/
3.1.2安装docker
3.1.3启动docker desktop
点”Skip survey”跳过,docker工具会启动docker引擎,启动成功如下:
启动docker时默认会启动docker引擎
3.2 部署MaxKB
3.2.1下载镜像
打开git:https://github.com/1Panel-dev/MaxKB,找到命令在cmd中执行如下命令
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
会报错,但docker会去下载此镜像文件(镜像文件大约2G,等待下载完毕)
下载完毕。
3.3访问MaxKB
此处默认访问账号是: admin / MaxKB@123..
至此MaxKB环境搭建完毕,接下来配置知识库。
4.配置知识库
操作主界面
4.1创建知识库
注:这里暂时先不创建知识库,原因是现在创建知识库,在电脑重启后知识库会消失(此容器是docker自动创建的),所以要按如下的操作来进行(在docker中删除MaxKB容器)
4.1.1 重建容器
再在配置列表中找到PGDATA配置项,保存其value,如:/var/lib/postgresql/data
再回到Images菜单,重新创建容器
接着重新登录知识库的链接
4.2创建知识库
4.3配置本地大模型
4.3.1 安装ollama
在https://ollama.com/下载ollama的合适的安装包安装;
使用ollama安装本地大模型llama3并启动,见《Ollama:简化大型语言模型的本地部署》
启动llama3大模型,如图:
4.3.2 添加模型
注:这里域名必须如此填写
4.3.3 等待下载
有可能很快,也有可能会比较耗时
测试一下
4.4 创建应用
检查”知识库”–>”IT小达人”里面导入的链接已经爬取完毕则可以创建应用了
4.4.1 创建应用
设置大模型/提示词等
调试一下此应用,发现CPU/内存消耗很高
点击右上角的保存并发布即可发布此应用
4.4.2 验证
至此这个本地知识库就搭建完成了。
来源:Hellos AI