ubuntu docker运行大模型

news/2025/12/9 21:55:25/文章来源:https://www.cnblogs.com/centosboy/p/19328503

安装docker

安装依赖
sudo apt-get update
sudo apt-get install -y ca-certificates curl gnupg lsb-release

添加官方 Docker 源

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg |
sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

echo
"deb [arch=$(dpkg --print-architecture)
signed-by=/etc/apt/keyrings/docker.gpg]
https://download.docker.com/linux/ubuntu
$(lsb_release -cs) stable" |
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

安装 Docker Engine

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动测试

sudo systemctl enable docker
sudo systemctl start docker
sudo docker run hello-world

配置NVIDIA Container Toolkit

安装 NVIDIA Container Toolkit(让 Docker 支持 GPU)
浏览器打开地址后下载GPG密钥 https://nvidia.github.io/libnvidia-container/gpgkey

登陆github:https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.18.0
下载toolkit包
tar -xzvf nvidia-container-toolkit_1.18.0_deb_amd64.tar.gz
sudo dpkg -i ./*.deb

nvidia-ctk --version

配置 Docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

测试 GPU 容器运行

sudo docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi

docker info | grep -i runtime

应看到: Runtimes: nvidia runc

cat /etc/docker/daemon.json
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://mirror.baidubce.com",
"https://ccr.ccs.tencentyun.com",
"https://hub-mirror.c.163.com",
"https://registry.cn-hangzhou.aliyuncs.com"
],
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"args": []
}
}
}

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/995593.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【自荐】OneClip—— 一款简单专业的 macOS 剪贴板管理工具

官网 :https://oneclip.cloud/ 目前已经开源了早期版本 下载地址+仓库地址:https://github.com/Wcowin/OneClip/releases 或者使用 Homebrew 安装 OneClip:# 1. 首次安装请先添加 tap(从 Gitee 拉取) brew tap W…

igbt模块的栅极驱动芯片,栅极电阻计算

以FS150R12KT4为例,针对该IGBT模块选择栅极驱动芯片,栅极电阻。 首先,已知驱动栅极驱动芯片的电源是15V,开关频率是15kHZ 设定上升时间和下降时间是0.3us(为什么这么设计的呢,因为开关频率是15kHZ,转换成周期T=…

托福一对一机构怎么选?高性价比推荐+避坑指南,2025备考党必看! - 品牌测评鉴赏家

托福一对一机构怎么选?高性价比推荐+避坑指南,2025备考党必看!一、托福备考痛点:为什么越来越多人选择一对一课程? (一)传统班课的局限性 在托福备考的赛道上,许多同学都曾在传统班课的浪潮中奋力前行,却发现…

构建高准确率、可控、符合规范的政务数据库审计和监测方案

一、概要 提示:本文旨在系统性阐述政务行业数据库风险监测的整体框架与实践成效,突出数据化治理与落地成果。在数字化政务全面推进的背景下,数据库已成为政府数据资产的核心载体与安全薄弱环节。“知形-数据库风险监…

疫苗的“设计图纸”如何变成现实?浅谈重组蛋白技术

想象一下,当一种新的病毒出现,科学家需要在最短的时间内为全人类打造一面“免疫盾牌”——这听起来像是一项不可能的任务。但现代生物技术的进步,尤其是重组蛋白技术,已经让这一过程变得空前高效与精准。这篇文章将…

数据脱敏:在数据价值与隐私安全之间构建平衡

在大数据与数字化转型的浪潮中,数据已成为机构与企业最核心的资产之一。然而,随着数据的集中与流动,隐私泄露风险也日益加剧。如何在充分利用数据价值的同时,确保个人敏感信息与商业机密的安全?数据脱敏作为一种关…

TK: 计算三角形的面积

TK代码,将textvariable绑定,改为直接使用text属性设置。以下是修改后的代码,关键改动已用注释标出:import tkinter as tk import tkinter.ttk as ttk import tkinter.messagebox as msgbox # 添加缺失的导入class …

SAT 辅导机构怎么选?2025 年高性价比机构测评指南(附避坑攻略) - 品牌测评鉴赏家

SAT 辅导机构怎么选?2025 年高性价比机构测评指南(附避坑攻略)一、选机构先看 “硬指标”:三大核心维度帮你筛出优质选项 (一)师资实力:实考经验 + 教研能力是提分 “双保险” 真正懂 SAT 的老师,不仅要会教,…

SAT 辅导机构怎么选?2025 年高性价比机构测评与避坑指南(附收费标准与选课攻略) - 品牌测评鉴赏家

SAT 辅导机构怎么选?2025 年高性价比机构测评与避坑指南(附收费标准与选课攻略)一、SAT 辅导市场现状:价格差异大,如何找到高性价比选择? (一)主流收费模式解析 录播课:价格区间 3000-8000 元,适合自律性强、…

2025春季 PTA 中国大学MOOC上面的数据结构测试第三题 待修正中

2025春季 PTA 中国大学MOOC上面的数据结构测试第三题 待修正中这是一道非常经典的计算题,两个多项式相乘。 但是个人觉得就是还是有一小部分的内存泄漏隐患和那个代码注释尚未解释完全。希望之后能够做的更好。 大多数…

zfk_蓝桥杯C++学习_递归及时空复杂度

递归 一、递归的介绍 概念: 递归是指函数直接或间接调用自身的过程。 解释递归的两个关键要素: 1.基本情况(递归终止条件):递归函数中的一个条件,当满足该条件时,递归终止,避免无限递归。可以理解为直接解决极…

完整教程:C如何调用Go

完整教程:C如何调用Go2025-12-09 21:37 tlnshuju 阅读(0) 评论(0) 收藏 举报pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font…

vllm部署

python环境配置 (推荐) 创建一个新的 uv 环境。使用 --seed 在环境中安装 pip 和 setuptools。 uv venv llm --python 3.12.9 --seed source vllm/bin/activate 首先,请安装huggingface_hub库: pip install --upgrad…

漏洞赏金猎人不会告诉你的秘密:从100多个已报告漏洞中总结的技巧

本文分享了一名经验丰富的漏洞赏金猎人通过提交100多个有效漏洞后总结出的核心策略和隐秘技巧,重点强调了侦察在整个测试过程中占据80%的重要性,以及如何避免新人常犯的错误。:man_detective: 漏洞赏金他们不会告诉你…

《程序员修炼之道:从小工到专家》笔记7

1.原型与便笺:原型是为了学习而构建的,不是为了交付。它的目的是回答诸如“这个架构是否可行?”、“用户界面这样设计流程是否顺畅?”等问题。可以忽略细节:性能、错误处理、完整性。构建原型是一个概念性实验。 …

2025年知名的电缆生产厂家推荐(12月名单):电缆生产厂家推荐 - 品牌2026

2025年全球电缆产业迎来结构性变革,国内市场规模预计突破2.5万亿元,特高压电网与海上风电项目成为需求核心驱动力。在这样的行业背景下,选择技术可靠、产能稳定的电缆生产厂家尤为重要。本文将聚焦知名电缆生产厂家…

个人电脑本地私有知识库:访答知识库的优势与应用解析

个人电脑本地私有知识库:访答知识库的优势与应用解析 引言:知识管理的需求与挑战 在信息爆炸的时代,个人知识管理变得日益重要。无论是学生、研究人员、自由职业者还是企业员工,都需要一个高效、安全的知识存储和检…

2025.12.9

睡到中午躺一天

2025年铁路地铁电力电缆生产厂家推荐:中低压、低压、中压、变频、聚乙烯绝缘电缆厂家精选指南 - 品牌2026

铁路与地铁是现代交通网络的核心骨架,其稳定运行离不开高质量电缆的支撑。从动力传输的电力电缆,到适配不同电压需求的中低压电缆,再到抗干扰的变频电缆与绝缘性优异的聚乙烯绝缘电缆,每一类产品都直接关乎轨道交通…