继上篇文章的大模型可视化项目
可视化项目地址:OpenWebUI
项目开源在GitHub上,如打开缓慢或者打不开参考此文:如何流畅访问GitHub网站的方法,或者试试我们找到的这个工具Fetch-Github-Hosts
根据项目作者提供的快速部署方法有2种,本教程用的pip直接安装的方式,即python最常用的一个安装库的方法(不了解python也没关系,按照教程来很快就能部署好)
第一步
安装Anaconda3,这是一个python的集成开发环境,它包含了conda、Python等180多个科学包及其依赖项。避免繁琐的安装一堆运行库
有校园网的同学建议直接去校内资源站下载:10.5.128.26
打开后点击在左上角的放大镜搜索conda
下载图中划线版本最好,版本比较新(其实几个版本都可以,按需下载,只是建议下载比较新的版本)
安装教程参考这个:csdn
安装好后电脑里面就会有这些东西了
然后可以进行下一步了
第二步
打开conda的命令行(就是图中框住的这个东西)
打开后就是这样的
这边建议创建一个新的虚拟环境继续下去
创建一个名为open-webui的conda虚拟环境
conda create -n open-webui python=3.11
后面python=是指定python的版本
输入之后这里输入y确认等待自动下载安装完成
然后输入命令激活
conda activate open-webui
可以看到前缀就切换到了我们创建的名为open-webui的conda虚拟环境里面
最后一步
输入项目作者给出的一键pip安装命令
pip install open-webui
等待自动下载安装(安装的库比较多可能需要一些时间)
下载完成后确保后台的ollama正在运行并且下载了一个及以上的模型
再在conda命令行下输入命令
open-webui serve
就可以运行可视化webui了
等待这个界面出现
如果启动serve出现如下图的报错就是需要电脑开启科学上网才能继续(因为它需要在国外的网站下载东西)
最后浏览器输入地址 http://127.0.0.1:8080 即可进入网页了
点注册账号就可以进去了(项目默认第一个注册的账号是管理员账号)
左上角可以切换自己下载了的模型进行对话,这里下的是一个参数量最小的qwen2.5的模型(阿里开发的)后面的0.5b代表模型的参数量,参数量越高,配置要求越高,跑本地大模型最吃电脑的运行内存,这里使用这个模型只是为了方便,请根据自己的电脑配置选择模型和参数量(目前llama3.2:3b的模型是meta公司也就是开发ollama框架的公司最新的模型,也是最多人用的模型,大部分性能还好的笔记本跑llama3.1:8b是最好的选择)
那么本篇教程就到这里结束了,如果有什么问题可以在下面评论区提出或者有我微信的直接联系我