自己的网站打不开了,路由器统一登录网站,公众号菜单栏页面模板,环保主题静态网站点击“终码一生”#xff0c;关注#xff0c;置顶公众号 每日技术干货#xff0c;第一时间送达#xff01; 问大家一个问题#xff1a;你是否想过在自己的电脑上部署一套大模型#xff1f;并用自己的知识库训练他#xff1f; 阿里通义千问今天发布了最新的开源大模型系…点击“终码一生”关注置顶公众号 每日技术干货第一时间送达 问大家一个问题你是否想过在自己的电脑上部署一套大模型并用自己的知识库训练他 阿里通义千问今天发布了最新的开源大模型系列Qwen2首批开放了多个不同参数的模型0.5B、1.5B、7B、72B、MOE其中Qwen2-72B一发布就在十几个大模型权威测评榜单夺冠2小时冲上了Hugging Face开源大模型榜首。 作为一个程序员应该紧跟技术的发展才不会被淘汰我们在通过大模型帮助我们解决问题的同时也应该更近距离的去接触大模型安装测试一些开源大模型这样才能更深刻的理解大模型。 借此阿里通义千问Qwen2大模型今天开源之际我们本地部署测试一把通义千问开源大模型主要有以下优势 模型在同尺寸模型的测评中都获得了超越所有开源模型的成绩 开源频率和速度全球无二、模型性能也不断进化在多个权威榜单多次创造中国大模型的“首次” 下面是我本次详细安装测试步骤带领大家更近距离体验大模型的魅力。我们分布安装Qwen1.5和刚刚发布的Qwen2两个版本的不同参数大模型。在熟悉大模型部署的同时也可以体验下新版开源更强的性能。 下面是主要步骤 安装ollama工具 下载Qwen1.5大模型测试 安装Docker部署Open-WebUi可视化 下载Qwen2大模型和上一代模型对比 1、下载Ollama工具 官网https://ollama.com Githubhttps://github.com/ollama/ollama 开始测试前我们先介绍一款工具Ollama他是一个开源的大模型工具框架它能在本地轻松部署和运行大型语言模型如Llama 3, Phi 3, Mistral, GemmaQwen。它是专门设计用于在本地运行大型语言模型。Ollama和LLM大型语言模型的关系有点类似于docker和镜像我们可以在Ollama服务中管理和运行各种LLM它将模型权重、配置和数据捆绑到一个包中优化了设置和配置细节包括GPU使用情况。 通过该工具我们可以大大简化环境部署等问题省去许多麻烦。 工具下载可以去官网根据自己的电脑系统直接下载。 点击图片 查看大图 下载速度相对较慢大家耐心等待下。 2、安装 1、安装Ollama 比较简单我是Mac下载的是一个zip压缩包直接解压安装其他电脑操作也是一样的直接安装。 点击图片 查看大图 最后点击Finish安装完毕。 我们需要什么模型可以直接在ollama.com网站搜索我们需要下载的模型本次使用阿里开源的通义千问大模型Qwen我们可以在网站搜下Qwen如下 点击图片 查看大图 可以看到有Qwen1.5和Qwen2我们先安装Qwen1.5版本目前有0.5B1.8B4B32B72B110B不同数值对应不同的参数大小第一次使用考虑到自己电脑配置谨慎一些先使用了模型1.8B18亿参数。整个模型不到2G的大小。 具体操作打开终端直接运行命令下载速度比较快。 ollama run qwen:1.8b 看到success表示已经安装完成我们可以直接在终端下使用进行提问。 可以看到Qwen-1.8B的回答并不是很理想这个不是重点等下我们要下载其更先进更准确的模型。这样我们也可以更深刻的体会模型的训练和提升。 2、安装Docker可选更好的体验 终端下操作体验并不是很好想要更好的体验我们可以安装Docker并启动open-webUI这样我们可以在浏览器上使用自己下载的大模型Docker的安装比较简单这里不在过多介绍基本是傻瓜式安装官方下载即可。 地址https://www.docker.com/products/docker-desktop/ 安装时配置和注册信息我们都可以直接跳过。如果无法访问请开魔法。 点击图片 查看大图 3、安装Open-WebUI 安装完毕docker我们打开终端执行open-webui安装口令如下 docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 点击图片 查看大图 需要安装相应的组件耐心等待下下载完。我们可以通过Docker工具看到运行的open-webui浏览器访问地址http://localhost:3000/auth/ 首次登陆需要先点击Sign up注册随便注册下进入到管理后台。 界面是不是有点似曾相识没错和GPT后台很相似。同样的左上角可以选择我们安装的Qwen模型如果我们安装多个模型的话可以切换不同模型使用。 4、添加更先进的模型Qwen2-7b 因为刚才安装的1.8B回答效果并不理想我这添加其刚刚开源的最新大模型通义千问Qwen2我们下载7B70亿参数大小在4G左右当然还有更先进大家根据自己的电脑配置选择终端执行如下命令 ollama run qwen2:7b 安装完成我们在测试下先来一首李白的诗《蜀道难》。 来一个算法题测试下 提问7年前妈妈年龄是儿子的6倍儿子今年12岁妈妈今年多少岁 再来一个编程 提问用java编程语言写一个冒泡排序算法 当然了我们同样可以打开webUI在浏览器上来回的切换我们模型。目前我安装了多个模型我们在网页上试下Qwen2。 提问如何评价陈独秀 本人体验相比之前Qwen1.5模型Qwen2使用非常丝滑处理性能大幅提升基本上都是秒级相应速度。理解能力和准确性也提升了许多回答内容也更加优质。当然还有更先进的模型像Qwen2-72B完全能够满足我们的需求一些模型甚至在一些方面已经赶超GPT-4.0。 我们如果想要测试其他大模型可以去https://ollama.com/网站搜索 3、最后 好了今天的部署测试就到这里。Qwen2相比Qwen1.5实现了重大升级具有以下特点 5个尺寸的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B 在中文英语的基础上训练数据中增加了27种语言相关的高质量数据 多个评测基准上的领先表现 代码和数学能力显著提升 增大了上下文长度支持最高达到128K tokensQwen2-72B-Instruct。 是不是很香很简单再也不用到处注册账号申请试用了。现在完全可以自己搭建一个通义千问大模型在本地就可以使用自己的大模型。 马上自己部署体验一下吧