从零搭建AI工作站:Gemma3大模型本地部署+WebUI配置全套方案

文章目录

    • 前言
    • 1. 安装Ollama
    • 2.Gemma3模型安装与运行
    • 3. 安装Open WebUI图形化界面
      • 3.1 Open WebUI安装运行
      • 3.2 添加模型
      • 3.3 多模态测试
    • 4. 安装内网穿透工具
    • 5. 配置固定公网地址
    • 总结

前言

如今各家的AI大模型厮杀得如火如荼,每天都有新的突破。今天我要给大家安利一款来自谷歌的Gemma3开源大模型。这款模型有10亿、40亿、120亿和270亿参数等多个版本,让你可以根据自己的需求自由选择。

在多项基准测试中,Gemma 3系列的表现相当抢眼,尤其是27B参数的版本更是力压群雄,击败了o1-preview、o3-mini high和DeepSeek V3等强敌。它不仅支持140多种语言,中文表现也十分出色,更令人惊喜的是其强大的多模态能力——能够处理视觉输入并生成文本输出。

接下来,就让我们一起动手,在家用级Windows电脑上安装部署Gemma3:27B大模型,并搭配一个酷炫的WebUI界面,让你与AI互动更加得心应手。

1744091869943

1. 安装Ollama

本例中使用的是Windows11系统专业版,通过Ollama运行Gemma3:27B大模型,之前曾经发布过如何在Windows安装Ollama的教程,有需要的同学可以看看这篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面远程交互

简单来说,就是访问Ollama的官网:Download Ollama on Windows

image-20250408144901346

下载对应版本的ollama安装程序并安装:

image-20250408144936715

2.Gemma3模型安装与运行

然后在Ollama的官网点击Models,可以看到排在最上边的就是Gemma3模型全家桶:

image-20250408145138702

点进去之后,在左侧的下拉选项中能看到目前有4个量级的模型,分别是1b/4b/12b/27b和对应所需的储存空间:

image-20250408145434595

本例使用gemma3:27b模型进行演示,**支持多模态(视觉)**27B 参数模型(128k 上下文窗口),需要准备20G以上硬盘空间,右边是运行命令:

image-20250408145622588

Ollama安装完成之后,打开cmd或者powershell等终端工具,执行命令就可以下载模型了:

ollama run gemma3:27b

PS:默认会下载模型到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以自定义:

set OLLAMA_MODELS=d:\ollama

如果你之前安装过ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级ollama到最新版本。

image-20250408153616855

更新后,即可正常下载:

image-20250408154135178

模型下载完成之后,安装成功后会提示success:

image-20250408161835787

自动进入对话状态,直接输入内容就能提问了:

image-20250408150619788

3. 安装Open WebUI图形化界面

现在我们已经能够在本地Windows电脑上使用Gemma3 27B模型解答问题了,但在命令行中对话可能不是很美观,在复制回答时也不太方便,我们可以通过安装一个图形化界面来解决这个问题。

不过在此之前,我们需要配置Ollama的环境变量,在终端中分别执行下方命令以便后续远程调用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的ollama图标退出并重启服务。

本例以Open WebUI这个图形化界面为例,使用Docker进行安装,它的界面和平时在网页中和其他大模型聊天非常相似。当然,大家也可以选择其他的方式,比如使用page assist浏览器插件,lobechat,cherry studio等。

如果大家之前未安装过Docker,可以参考下方教程进行Docker安装:Docker安装——Linux、Windows、MacOS

3.1 Open WebUI安装运行

访问Open WebUI的github页面: https://github.com/open-webui/open-webui

如果你的Ollama和Open WebUI在同一台主机,执行这行命令在cmd终端中就可以在本地快速进行部署:

image-20240412140749937

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

将上边在Docker中部署Open WebUI的命令复制后粘贴到终端中,回车:

image-20240412144132799

安装完成后,打开Docker Desktop,可以看到Open WebUI的web界面地址为:https://localhost:3000

image-20240412144401182

点击后会在浏览器打开登录界面:

image-20240412144744192

使用自己的邮箱注册账号,密码要记好,下次登录时需要用到:

image-20240412144927140

添加模型后就能在浏览器中使用web界面来和Gemma3 27B模型聊天了!

image-20250408162703645

3.2 添加模型

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

image-20240412145306289

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,这里选择刚才安装的gemma3:27b,接下来就可以愉快的跟大模型在网页中聊天了!

image-20250408162829645

image-20250408164042496

到这里就成功在Windows电脑本地部署了gemma3:27b模型并使用Open WebUI在网页中与AI交互啦。

3.3 多模态测试

现在我们上传一张图片测试一下效果:(点击对话框左侧加号即可上传图片)

image-20250408165103486

确实有点东西,识别物品的效果还是不错的,还给出了一个结论。

再来测试上传一张人物照片给它,让它分析一下拍摄效果并给出优化建议:

image-20250408170901214

1744103447878

感觉似乎分析的也还行,大家感兴趣的话也可以稍后自己部署一下进行测试。

4. 安装内网穿透工具

但如果想实现不在同一网络环境下,也能随时随地在浏览器中使用Open WebUI与本地部署的gemma3:27b大模型在网页中聊天,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

image-20250307152003085登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

img

接下来配置一下 Open WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理——创建隧道,

  • 隧道名称:gem27(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:选择随机域名
  • 地区:选择China Top

1744103682229

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

image-20250408171521306

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问Open WebUI来在网页中使用本地部署的gemma3:27b大模型了!

image-20250408171805771

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问Open WebUI使用gemma3:27b模型,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为Open WebUI配置一个公网地址。

5. 配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

image-20250408171952309

保留成功后复制保留成功的二级子域名的名称:mygem27,大家也可以设置自己喜欢的名称。

image-20250408172009637

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:gem27,点击右侧的编辑:

image-20250408172111336

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mygem27

点击更新(注意,点击一次更新即可,不需要重复提交)

image-20250408172153785

更新完成后,打开在线隧道列表,可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

image-20250408172230906

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的Open WebUI来使用gemma3:27b大模型了!

image-20250408172435086

总结

经过简单的测试,这款多模态大模型的表现确实令人惊艳,不仅在性能上表现优异,而且还能在家用级硬件上轻松运行。这无疑大大降低了普通用户接触和使用高端AI技术的门槛。未来,Gemma3的发展潜力无限,让我们拭目以待吧!如果你也对这个项目感兴趣,不妨动手试试看,有任何疑问欢迎随时留言交流,我们共同探讨、一起成长!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/80705.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Element Plus对话框(ElDialog)全面指南:打造灵活弹窗交互

📌 开篇导语 对话框是Web应用中实现用户交互的核心组件之一,常用于信息确认、表单提交或详情展示。Element Plus的ElDialog组件以高扩展性和优雅动效著称,支持高度定制化开发。本文将从基础配置到进阶技巧,手把手教你掌握对话框组…

解决WSL、Ubuntu的.ico图标不正确显示缩略图

解决WSL、Ubuntu的.ico图标不正确显示缩略图 问题描述 Win10系统中由于更新了某些软件,篡改了默认的图像显示软件,导致WSL等软件未能成功显示图标,表现如下: 解决方法 将ico文件的默认打开方式更改为“画图”,如下…

[数据结构高阶]并查集初识、手撕、可以解决哪类问题?

标题:[数据结构高阶]并查集初识、手撕、可以解决哪类问题? 水墨不写bug 文章目录 一、认识并查集二、模拟实现并查集三、用并查集解决问题1、[省份的数量](https://leetcode.cn/problems/number-of-provinces/)2、[等式方程的可满足性](https://leetcode…

如何快速入门大模型?

学习大模型的流程是什么 ? 提示词工程:只需掌握提问技巧即可使用大模型,通过优化提问方式获得更精准的模型输出套壳应用开发:在大模型生态上开发业务层产品(如AI主播、AI小助手等),只需调用API…

《AI大模型应知应会100篇》第59篇:Flowise:无代码搭建大模型应用

第59篇:Flowise:无代码搭建大模型应用 摘要:本文将详细探讨 Flowise 无代码平台的核心特性、使用方法和最佳实践,提供从安装到部署的全流程指南,帮助开发者和非技术用户快速构建复杂的大模型应用。文章结合实战案例与配…

python打卡day23@浙大疏锦行

知识回顾: 1. 转化器和估计器的概念 2. 管道工程 3. ColumnTransformer和Pipeline类 作业: 整理下全部逻辑的先后顺序,看看能不能制作出适合所有机器学习的通用pipeline 一、导入数据库 import pandas as pd import numpy as np import matplo…

Vue.js框架的优缺点

别再让才华被埋没,别再让github 项目蒙尘!github star 请点击 GitHub 在线专业服务直通车GitHub赋能精灵 - 艾米莉,立即加入这场席卷全球开发者的星光革命!若你有快速提升github Star github 加星数的需求,访问taimili…

交易流水表的分库分表设计

交易流水表的分库分表设计需要结合业务特点、数据增长趋势和查询模式,以下是常见的分库分表策略及实施建议: 一、分库分表核心目标 解决性能瓶颈:应对高并发写入和查询压力。数据均衡分布:避免单库/单表数据倾斜。简化运维&#…

操作系统学习笔记第3章 (竟成)

第 3 章 内存管理 【考纲内容】 1.内存管理基础: 1.内存管理的基本概念:逻辑地址空间与物理地址空间;地址变换;内存共享;内存保护;内存分配与回收; 2.连续分配管理方式; 3.页式管理&…

中科院无人机导航物流配送的智能变革!LogisticsVLN:基于无人机视觉语言导航的低空终端配送系统

作者:Xinyuan Zhang, Yonglin Tian, Fei Lin, Yue Liu, Jing Ma, Kornlia Sra Szatmry, Fei-Yue Wang 单位:中国科学院大学人工智能学院,中科院自动化研究所多模态人工智能系统国家重点实验室,澳门科技大学创新工程学院工程科学系…

1.10-数据传输格式

1.10-数据传输格式 在对网站进行渗透测试时,使用目标服务器规定的数据传输格式来进行 payload 测试非常关键 如果不按规定格式发送数据,服务器可能直接拒绝请求或返回错误响应,比如: 接口要求 JSON 格式,而你用的是…

dfs 第一次加训 详解 下

目录 P1706 全排列问题 思路 B3618 寻找团伙 思路 B3621 枚举元组 思路 B3622 枚举子集(递归实现指数型枚举) 思路 B3623 枚举排列(递归实现排列型枚举) B3625 迷宫寻路 思路 P6183 [USACO10MAR] The Rock Game S 总结…

通信网络编程——JAVA

1.计算机网络 IP 定义与作用 :IP 地址是在网络中用于标识设备的数字标签,它允许网络中的设备之间相互定位和通信。每一个设备在特定网络环境下都有一个唯一的 IP 地址,以此来确定其在网络中的位置。 分类 :常见的 IP 地址分为 I…

#在 CentOS 7 中手动编译安装软件操作及原理

在 CentOS 7 中,手动编译安装软件(即从源代码编译安装)是一种高度灵活的方式,适用于需要定制化软件功能、优化性能或安装官方仓库未提供的软件版本的场景。以下是针对手动编译安装的详细说明,包括原理、步骤、注意事项…

菊厂0510面试手撕题目解答

题目 输入一个整数数组,返回该数组中最小差出现的次数。 示例1:输入:[1,3,7,5,9,12],输出:4,最小差为2,共出现4次; 示例2:输入:[90,98,90,90,1,1]&#xf…

C——五子棋小游戏

前言 五子棋,又称连珠棋,是一种双人对弈的棋类游戏。游戏目标是在一个棋盘上,通过在横、竖、斜线上依次放置棋子,使自己的五个棋子连成一线,即横线、竖线或斜线,且无被对手堵住的空位,从而获胜…

ik 分词器 设置自定义词典

进入 ES 的安装目录,进入 /elasticsearch-8.10.0/plugins/ik/config/ 文件夹目录,打开 IKAnalyzer.cfg.xml 文件进行配置。 一、添加 自定义扩展词典 扩展词:就是不想哪些词分开,让他们成为一个词,比如“蒙的全是对…

Linux笔记---信号(上)

1. 信号的概念 Linux下的信号机制是一种进程间通信(IPC)的方式,用于在不同进程之间传递信息。 信号是一种异步的信息传递方式,这意味着发送信号的进程只发送由信号作为载体的命令,而并不关心接收信号的进程如何处置这…

UG 二次开发- UG内部调用DLL

【1】用VS新建一个dll工程 将项目设置为x64平台(这步很重要,否则程序无法编译成功) 【2】添加UG头文件目录,属性页->C/C->常规->附加包含目录 【3】添加UG库所在目录,属性页->链接器->常规->附加库目…

wordcount在mapreduce的例子

1.启动集群 2.创建项目 项目结构为&#xff1a; 3.pom.xml文件为 <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.org/POM/4.0.0 http://mave…