网站首页幻灯片尺寸,房屋装修设计师培训,网站建设明细表,wap网站 手机网站全栈工程师开发手册 #xff08;作者#xff1a;栾鹏#xff09; 一站式云原生机器学习平台 前言 开源地址#xff1a;https://github.com/tencentmusic/cube-studio cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台#xff0c;支持多租户… 全栈工程师开发手册 作者栾鹏 一站式云原生机器学习平台 前言 开源地址https://github.com/tencentmusic/cube-studio cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台支持多租户sso单点登录支持在线镜像调试在线ide开发数据集管理图文音标注和自动化标注任务模板自定义拖拉拽任务流模型分布式多机多卡训练超参搜索模型管理推理服务弹性伸缩支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布以及配套资源监控和算力存储资源管理。支持机器学习深度学习大模型 开发训练推理发布全链路。支持元数据管理维表指标sqllab数据etl等数据中台对接功能。支持多集群边缘集群serverless集群方式部署。支持计量计费资源额度限制支持vgpurdma国产gpuarm64架构。 aihub模型市场支持AI hub模型市场支持400开源模型应用一键开发一键微调一键部署。 gpt大模型支持40开源大模型部署一键部署支持rayvolcano,spark等分布式计算框架支持tf,pytorch,mxnet,mpi,paddle,mindspre分布式多机多卡训练框架支持deepspeedcolossalaihorovod分布式加速框架支持llama chatglm baichuan qwen系列大模型微调。支持llama-factory 100llm微调支持大模型vllm推理加速支持智能体私有知识库智能机器人。 master节点 # 关闭防火墙 systemctl stop firewalld systemctl disable firewalld iptables -F iptables -t nat -F iptables -t mangle -F iptables -X # 下载部署脚本 git clone -b v1.24.7k3s1 https://github.com/k3s-io/k3s.git cd k3s # 设置版本 export INSTALL_K3S_VERSIONv1.24.7k3s1 # 设置k8s部署配置 #export INSTALL_K3S_EXEC--system-default-registry registry.cn-hangzhou.aliyuncs.com --write-kubeconfig ~/.kube/config --disabletraefik --cluster-cidr 10.72.0.0/16 --service-cidr 10.73.0.0/16 export INSTALL_K3S_EXEC--system-default-registry registry.cn-hangzhou.aliyuncs.com --write-kubeconfig ~/.kube/config --disabletraefik # 设置使用国内源 export INSTALL_K3S_MIRRORcn # 设置强制下载 export INSTALL_K3S_SYMLINKforce #export INSTALL_K3S_FORCE_RESTARTtrue # 设置镜像url export INSTALL_K3S_MIRROR_URL${INSTALL_K3S_MIRROR_URL:-rancher-mirror.rancher.cn} # 替换github和storage 国内可以链接到的网络 export GITHUB_URLhttps://githubfast.com/k3s-io/k3s/releases export STORAGE_URLhttps://k3s-ci-builds.s3.amazonaws.com sed -i s|^GITHUB_URL.*|GITHUB_URLhttps://githubfast.com/k3s-io/k3s/releases| install.sh sed -i s|^STORAGE_URL.*|STORAGE_URLhttps://k3s-ci-builds.s3.amazonaws.com| install.sh # 部署 sh install.sh# 打印master的token cat /var/lib/rancher/k3s/server/node-token# 设置 containerd 的 mirror cat /etc/rancher/k3s/registries.yaml EOF mirrors:docker.io:endpoint:- http://hub-mirror.c.163.com- https://docker.mirrors.ustc.edu.cn- https://registry.docker-cn.com EOF worker节点 单机部署的话不需要添加worker节点 systemctl stop firewalld systemctl disable firewalld iptables -F iptables -t nat -F iptables -t mangle -F iptables -X git clone -b v1.24.7k3s1 https://github.com/k3s-io/k3s.git cd k3s export INSTALL_K3S_VERSIONv1.24.7 export K3S_URLhttps://myserver:6443 export K3S_TOKENXXX sh install.sh配置 Containerd 非必须可以使用docker K3s会在/var/1ib/rancher/k3s/agent/etc/containerd/config.toml 中为containerd 生成 confg.toml。 如果要对这个文件进行高级定制你可以在同一目录中创建另一个名为 config.tom1.tmp1 的文件此文件将会代替默认设置。config.toml.tmp1是一个Go模板文件并且 (config:Nde 结构会被传递给模板。有关如何使用该结构自定义配置文件的 Linux和Windows 示例请参阅此文件夹。conhg.Node golang结构定义在这里。 部署cube-studio 部署完k3s就可以按照单机部署cube-studio来部署cube-studio了 将k8s集群的kubeconfig文件复制到install/kubernetes/config文件中然后执行如下命令其中xx.xx.xx.xx为机器内网的ip不是外网ip # 在k8s worker机器上执行 sh start.sh xx.xx.xx.xx清理 /usr/local/bin/k3s-killall.sh /usr/local/bin/k3s-uninstall.sh重启 sudo systemctl stop k3s sudo systemctl start k3s sudo systemctl stop k3s-agent sudo systemctl start k3s-agent