Youtu-2B微服务改造：Kubernetes集成实战案例

1. 背景与目标

随着大语言模型（LLM）在企业级应用中的广泛落地，如何将高性能、轻量化的模型服务高效部署并稳定运行于生产环境，成为工程团队关注的核心问题。Youtu-LLM-2B 作为腾讯优图实验室推出的2B参数级别轻量语言模型，在数学推理、代码生成和中文对话任务中表现优异，具备极强的端侧部署潜力。

然而，原始部署方式多为单机Docker容器运行，存在可扩展性差、资源利用率低、服务治理能力弱等问题，难以满足高并发、弹性伸缩的业务需求。为此，本文将围绕Youtu-2B 模型服务的微服务化改造与 Kubernetes 集成展开，详细介绍其从单体服务到云原生架构的完整落地实践。

本项目的目标是：

将基于 Flask 的 LLM 服务封装为标准微服务
实现服务在 Kubernetes 集群中的自动化部署与扩缩容
提供稳定的 API 接口支持外部系统集成
保障低延迟响应与高可用性

2. 架构设计与技术选型

2.1 整体架构概览

改造后的系统采用典型的云原生分层架构，主要包括以下组件：

[Client] ↓ (HTTP) [Ingress Controller] ↓ [Flask LLM Microservice (Deployment)] ↓ [Youtu-2B Model + Tokenizer (Mounted Volume)] ↓ [Prometheus + Grafana (Monitoring)]

所有组件均运行于 Kubernetes 集群中，通过命名空间隔离开发、测试与生产环境。

2.2 技术栈选型依据

组件	选型	原因
基础框架	Flask	轻量、易集成、适合LLM后端封装
容器化	Docker	标准化打包，便于CI/CD
编排平台	Kubernetes	支持自动扩缩容、服务发现、健康检查
网络入口	Ingress-Nginx	统一外部访问入口，支持域名路由
镜像仓库	Harbor / Docker Hub	私有或公有镜像管理
监控体系	Prometheus + Grafana	实时观测QPS、延迟、资源使用率

📌 为什么选择 Kubernetes？
对于 LLM 类服务而言，推理过程对 GPU 显存和计算资源敏感。Kubernetes 提供了强大的资源调度能力（如requests和limits），可精确控制每个 Pod 的资源分配；同时支持 Horizontal Pod Autoscaler（HPA），可根据 CPU/GPU 利用率自动扩缩副本数，有效应对流量高峰。

3. 微服务封装与容器化实现

3.1 服务封装结构

我们将原始模型服务重构为符合微服务规范的目录结构：

youtu-2b-service/ ├── app.py # Flask 主程序 ├── requirements.txt # 依赖列表 ├── Dockerfile # 容器构建文件 ├── config.yaml # 模型配置 ├── k8s/ │ ├── deployment.yaml # Deployment 定义 │ ├── service.yaml # Service 暴露 │ └── ingress.yaml # Ingress 规则 └── models/ └── youtu-llm-2b/ # 模型权重（挂载）

3.2 Flask 应用核心代码

以下是app.py的关键实现部分，包含模型加载与推理接口：

import torch from flask import Flask, request, jsonify from transformers import AutoTokenizer, AutoModelForCausalLM app = Flask(__name__) # 全局变量存储模型和分词器 model = None tokenizer = None @app.before_first_request def load_model(): global model, tokenizer model_path = "/models/youtu-llm-2b" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.float16, device_map="auto" ) print("✅ Model loaded successfully on device:", model.device) @app.route("/chat", methods=["POST"]) def chat(): data = request.get_json() prompt = data.get("prompt", "").strip() if not prompt: return jsonify({"error": "Empty prompt"}), 400 inputs = tokenizer(prompt, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate( **inputs, max_new_tokens=512, temperature=0.7, do_sample=True, top_p=0.9 ) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"response": response}) @app.route("/healthz", methods=["GET"]) def health_check(): return jsonify({"status": "healthy"}), 200 if __name__ == "__main__": app.run(host="0.0.0.0", port=8080)

💡 关键优化点：
使用torch.float16减少显存占用
device_map="auto"自动适配 GPU/CPU
添加/healthz接口供 K8s 健康探针调用

3.3 Docker 镜像构建

Dockerfile内容如下：

FROM nvcr.io/nvidia/pytorch:23.10-py3 WORKDIR /app COPY . /app RUN pip install --no-cache-dir flask torch==2.1.0 transformers==4.35.0 \ && rm -rf /root/.cache/pip EXPOSE 8080 CMD ["python", "app.py"]

构建并推送镜像：

docker build -t your-registry/youtu-2b:v1.0 . docker push your-registry/youtu-2b:v1.0

4. Kubernetes 部署配置详解

4.1 Deployment 配置

k8s/deployment.yaml定义了服务的部署策略：

apiVersion: apps/v1 kind: Deployment metadata: name: youtu-2b-deployment labels: app: youtu-2b spec: replicas: 2 selector: matchLabels: app: youtu-2b template: metadata: labels: app: youtu-2b spec: containers: - name: youtu-2b image: your-registry/youtu-2b:v1.0 ports: - containerPort: 8080 resources: requests: nvidia.com/gpu: 1 memory: "4Gi" limits: nvidia.com/gpu: 1 memory: "6Gi" env: - name: MODEL_PATH value: "/models/youtu-llm-2b" volumeMounts: - name: model-storage mountPath: /models livenessProbe: httpGet: path: /healthz port: 8080 initialDelaySeconds: 120 periodSeconds: 30 readinessProbe: httpGet: path: /healthz port: 8080 initialDelaySeconds: 60 periodSeconds: 10 volumes: - name: model-storage persistentVolumeClaim: claimName: model-pvc --- apiVersion: v1 kind: Service metadata: name: youtu-2b-service spec: selector: app: youtu-2b ports: - protocol: TCP port: 80 targetPort: 8080 type: ClusterIP

⚠️ 注意事项：
必须安装 NVIDIA Device Plugin 才能识别nvidia.com/gpu资源
模型文件通过 PVC 挂载，避免重复下载
健康检查延迟设置较长，确保模型加载完成

4.2 Ingress 配置（可选）

若需对外暴露服务，可配置 Ingress：

apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: youtu-2b-ingress annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: ingressClassName: nginx rules: - host: llm.example.com http: paths: - path: / pathType: Prefix backend: service: name: youtu-2b-service port: number: 80

应用配置：

kubectl apply -f k8s/

5. 性能优化与运维实践

5.1 推理性能调优

针对 Youtu-2B 的特点，我们进行了以下优化：

量化加速：尝试使用bitsandbytes进行 8-bit 量化，降低显存至 3GB 以内
批处理支持：未来可通过 vLLM 或 TensorRT-LLM 实现连续批处理（Continuous Batching）
缓存机制：对高频提问添加 Redis 缓存层，减少重复推理开销

5.2 自动扩缩容（HPA）

创建 HPA 策略，基于 CPU 使用率自动扩缩：

apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: youtu-2b-hpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: youtu-2b-deployment minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70