建设网站的一般过程,中信建设有限责任公司 电话,wordpress+安装插件+ftp,如何做不同域名跳转同一个网站导言 生成式 AI 正在改变企业的运作方式#xff0c;并加快创新的步伐。总体而言#xff0c;人工智能正在改变企业利用技术的方式。生成式 AI 技术包括微调和部署大型语言模型#xff08;LLM#xff09;#xff0c;并允许开发人员访问这些模型以执行提示和对话。负责在 Kub… 导言 生成式 AI 正在改变企业的运作方式并加快创新的步伐。总体而言人工智能正在改变企业利用技术的方式。生成式 AI 技术包括微调和部署大型语言模型LLM并允许开发人员访问这些模型以执行提示和对话。负责在 Kubernetes 上制定标准的平台团队可以在 Amazon EKS 上微调和部署大语言模型。 本文将通过一个端到端的例子带您了解如何在 Amazon EKS 上构建生成式 AI 系统。Amazon EKS 是一项托管的 Kubernetes 服务可以在亚马逊云科技上轻松实现部署、管理和扩展容器化的应用程序。 Amazon EKS 的核心优势之一是其可扩展性数据节点的动态扩展很好满足了大语言模型对于计算资源的灵活要求。例如Amazon EKS 集群可以扩展到支持数万个容器这使其成为密集型人工智能工作负载的理想选择。除了可扩展性Amazon EKS 还提供高度定制化功能允许用户根据具体需求对配置进行调整。Amazon EKS 具有强大的内置的保障措施可保护您的人工智能模型和数据。 生成式 AI 模型是人工智能/机器学习领域的一个重大突破因为它具有广泛的适用性而且非人工智能专家也能轻松使用。传统上利用人工智能意味着为每种特定的用例创建专门的模型每次都需要大量的计算资源和人力资源。生成式 AI 通过创建基础模型克服了这一瓶颈。对基础模型进行微调使其适用于多种用例从而实现重复使用而无需重复从头开始构建模型。目前最常见的是基础模型利用 Transformer文本生成/ Diffusers即图像生成来实现这种适应性。这些模型具有广泛的用例和行业垂直领域的潜在适用性从聊天机器人和虚拟助手到完全通过文本提示生成视频的市场营销不一而足。 大语言模型包含数十亿参数需要大量资源来进行高性能训练和低延迟推理。Amazon EKS 可作为一个有效的协调器帮助实现这些生成式 AI 工作负载所需的快速扩缩容同时提供满足企业管理和控制的工具。Amazon EKS 不仅可以简化管理还提供各种开源工具以应对独特的机器学习方面的挑战。Amazon EKS 可让您完全控制自己的环境从而确保最佳成本效益。 解决方案概述 在 Amazon EKS 上部署 Stable Diffusion 模型的架构 即使在 Kubernetes 环境中也有大量可用来构建和运行模型的工具。一个新兴的工具栈是 JupterhubArgo WorkflowsRay 和 Kubernetes我们称之为 JARK Stack。 JARK 架构 JupyterHub 提供了一个共享平台用于运行在商业、教育和研究领域广受欢迎的一些 notebook 。它促进了交互式计算用户可以在这里执行代码、可视化结果并协同工作。在生成式 AI 领域JupyterHub 加速了实验过程尤其是反馈环节。数据工程师也可以在这里一起为模型创建相关的提示工程。 Argo Workflows  是一个开源的容器原生的工作流引擎用于在 Kubernetes 上协调并行作业。它提供了一个结构化和自动化的流水线专为微调模型而定制。 这个 Argo 的工作流水线包含以下几个阶段 数据准备组织和预处理训练数据集模型配置定义大语言模型微调的架构和超参数微调执行训练计划验证衡量微调模型的性能超参数调优优化设置实现最佳性能模型评估使用测试数据评估模型效率部署托管模型满足推理需求 Ray 是一个开源分布式计算框架可轻松扩展应用程序并使用最先进的机器学习库。Ray 用于在多个节点上分布式训练生成模型从而加快训练过程并允许处理更大的数据集。 Ray Serve 是一个功能强大的模型服务库用于创建在线推理应用编程接口API。值得注意的是它与 PyTorchKeras 和 Tensorflow 等主要框架兼容。它针对大语言模型服务进行了优化具有流式响应、动态请求批处理和多节点/多 GPU图形处理单元支持等功能。除模型服务外Ray Serve 还可以将多个模型和业务规则整合到一个服务中。Ray Serve 基于 Ray 构建旨在实现跨机器的可扩展性并提供资源节约型调度。关于和 JupyterHub 的关系虽然两者之间的联系看起来不大但这两种工具都可以成为更大的机器学习生态的一部分JupyterHub 可以促进交互式计算而 Ray Serve 则可以处理模型部署和服务。 Kubernetes 是一个功能强大的容器编排平台可自动部署、扩展和管理容器化应用程序。Kubernetes 为在容器中运行和扩展生成式 AI 模型提供了基础架构从而确保了高可用性、容错性和极高的资源利用率。 解决方案架构 演练 关于如何在 Amazon EKS 上 微调和部署模型的分步指南 具体例子 正如我们前面提到的大多数下游用例都需要根据业务需求为特定任务微调大语言模型。这通常只需要一个实例相对较少的小型数据集而且在大多数情况下只需一个 GPU 即可完成。在本文中我们将以 Dreambooth 为例展示如何调整类似 Stable Diffusion 这种文生图的模型来为一个主题例如狗在不同的场景生成不同的背景图像。Dreambooth 相关的论文描述了一种将唯一标识符与主题如[v]狗的照片绑定的方法以便根据输入提示如[v]狗在月球上的照片在逼真的图像中合成所述主题的照片。 Dreambooth 相关的论文https://arxiv.org/abs/2208.12242 Dreambooth 相关的商业应用可能包括如下几个 根据文字描述为社交媒体平台、电子商务网站和其他在线平台生成图片。为用户创建个性化头像。为网店生成产品图像。制作营销材料和生成使用视觉教具的教学内容。 在本文的剩余部分我们将我们的示例模型和推理服务称为 dogbooth。为了在 Amazon EKS 上微调 dogbooth 我们使用了几种开源技术来支持实现。除了 JARK Stack我们还利用了 Hugging Face 的两个库它们为我们提供了个性化 Stable Diffusion 模型的工具Accelerate 和 Diffusers。 Accelerate 是一个开源库专门用于简化和优化深度学习模型的训练和微调过程。就我们的目的而言它提供了一个上层应用程序接口API让我们可以轻松地尝试不同的超参数和训练配置而无需每次重写训练循环并有效利用可用的硬件资源。 Diffusers 是最先进的预训练 diffusion 模型库用于生成图像、音频甚至 3D分子结构。他们以脚本集的形式提供了易于使用的训练示例演示了如何在各种个性化任务中有效地使用 Diffusers如 Unconditional Training、Text-to-Image Training、Dreambooth、ControlNet、Custom Diffusion 等。 在 Amazon EKS 上部署 Stable Diffusion  模型的步骤 先决条件 Amazon Command Line Interface (Amazon CLI) v2 – the CLI for Amazon serviceshttps://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.htmlkubectl – the Kubernetes CLIhttps://kubernetes.io/docs/tasks/tools/install-kubectl-linux/Terraform 1.5 – an infrastructure as code toolhttps://developer.hashicorp.com/terraform/downloadsHugging Face Tokenwith write scopehttps://huggingface.co/docs/hub/security-tokensjq – a lightweight and flexible command line JSON processorhttps://jqlang.github.io/jq/ 第一步下载代码 git clone https://github.com/awslabs/data-on-eks.git 第二步部署 Amazon EKS 进入第一步下载的代码目录到 ai-ml/jark-stack 目录下并执行 install.sh 脚本。这个脚本会执行 Terraform 命令来创建基础设施。值得注意的是资源默认会被部署到 us-west-2 region可以通过更新文件 variables.tf 里面的值来指定其他的 Amazon Region。整个部署过程大概需要耗时 30 分钟。 cd data-on-eks/ai-ml/jark-stack/terraform export TF_VAR_huggingface_tokenhf_XXXXXXXXXX./install.sh  Initializing ... Initializing the backend... Initializing modules...Initializing provider plugins... Terraform has been successfully initialized! ... SUCCESS: Terraform apply of all modules completed successfully 部署的主要资源清单如下 VPC (subnets, route tables, NAT gateway)Amazon EKS clusterCore-Managed Node GroupGPU-Managed Node GroupA kubernetes secret for Hugging Face tokenAdd-ons Add-ons 让我们来看一下部署了哪些 add-ons。 aws eks update-kubeconfig --name jark-stack --region us-west-2kubectl get deployments -ANAMESPACE              NAME                                                 READY   UP-TO-DATE   AVAILABLE   AGE ingress-nginx          ingress-nginx-controller                             1/1     1            1           36h jupyterhub             hub                                                  1/1     1            1           36h jupyterhub             proxy                                                1/1     1            1           36h kube-system            aws-load-balancer-controller                         2/2     2            2           36h kube-system            coredns                                              2/2     2            2           2d5h kube-system            ebs-csi-controller                                   2/2     2            2           2d5h kuberay-operator       kuberay-operator                                     1/1     1            1           36h nvidia-device-plugin   nvidia-device-plugin-node-feature-discovery-master   1/1     1            1           36h Amazon EBS CSI Driver 这个 Driver 允许 Amazon EKS 管理 Amazon EBS 持久卷的生命周期。默认的 StorageClass 是 gp3 。 Amazon Load Balancer Controller 这个 controller 为 Amazon EKS 管理 Amazon ELB。您需要一个网络负载均衡器来访问我们的 Jupyter notebook最终还需要另一个网络负载均衡器来为我们的自托管推理服务提供入口这将在本文的后面部分讨论。 NVIDIA Device Plugin NVIDIA Device Plugin 是一个 Kubernetes DaemonSet它是 Kubernetes 集群和其底层 GPU 之间的桥梁允许我们在集群上运行支持 GPU 的容器。 JupyterHub Terraform 脚本安装了 JupyterHub。在本例中我们将 values.yaml 传递给了 Helm Chart这个 values.yaml 定义了 JupyterHub 使用负载均衡器对外提供服务、对 GPU 资源的要求、基于 Amazon EBS 的存储卷用于持久化。请注意我们展示了 Notebook 基于用户名和密码的基本用户身份验证仅供演示之用。对于实际场景的设置请考虑使用 identity provider。 ... proxy:service:annotations:service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ipservice.beta.kubernetes.io/aws-load-balancer-scheme: internet-facingservice.beta.kubernetes.io/aws-load-balancer-type: externalservice.beta.kubernetes.io/aws-load-balancer-cross-zone-load-balancing-enabled: trueservice.beta.kubernetes.io/aws-load-balancer-ip-address-type: ipv4 singleuser:image:name: public.ecr.aws/h3o5n2r0/gpu-jupytertag: v1.5_cuda-11.6_ubuntu-20.04_python-onlypullPolicy: Always ..extraResource:limits:nvidia.com/gpu: 1extraEnv:HUGGING_FACE_HUB_TOKEN:valueFrom:secretKeyRef:name: hf-tokenkey: tokenstorage:capacity: 100Gi ...- name: notebookconfigMap:name: notebook ... Ingress-Nginx Ingress-Nginx 允许我们使用一些路径重写的规则在同一个负载均衡器上同时暴露 Ray dashboard 和推理入口。还允许我们运行多个 Ray 服务入口并使用基于路径的路由方式来实现同一个负载均衡器提供不同版本的模型服务。 Kuberay-Operator KubeRay Operator 使在 Kubernetes 上部署和管理 Ray 集群变得简单便捷。Ray 集群被定义为 custom resource由高容错性的 Ray Controller 管理。KubeRay Operator 可自动执行 Ray 集群生命周期管理、自动扩展和其他关键功能。 稍后我们将介绍如何使用集群上的 RayService 自定义资源定义为 dogbooth 创建推理服务。 第三步微调 Stable Diffusion 模型 现在您可以开始尝试使用我们的模型并准备一个 Jupyter Notebook帮助我们根据您的需求进行个性化设置。 下面首先获取负载均衡器的域名。 kubectl get svc proxy-public -n jupyterhub --output jsonpath{.status.loadBalancer.ingress[0].hostname} 使用浏览器打开上述域名并使用在 jupyterhub-values.yaml 文件配置的用户名密码登陆。如下图。 这会触发在 g5 节点上创建了一个 Jupyter-user1 的 Pod。执行 kubectl get pods -n jupyterhub 即可看到类似下图的结果。 当这个 Pod 正常运行之后您的浏览器就会自动跳转到 notebook console。点击打开 dogbooth 目录里面的 Python noteboot。如下图所示。 打开之后您就可以逐步执行这个 jupyter notebook 定义的内容了。如下图所示第一步执行了 nvidia-smi 命令去确认当前的 Notebook 实例是运行在 GPU 节点上的并且可以见到 GPU 芯片的详细信息。 接下来的四步就是配置开发环境包括从 GitHub 下载 diffusers 库和安装 Python 依赖。另外为了实现 memory efficient attention还需要安装 xFormers。 接下来就是安装 bitsandbytes它可以允许我们使用 8-bit 的优化器进一步减少内存的需求。 成功安装 bitsandbytes 之后下一步就是要配置 dreambooth 训练脚本所需要的环境。这包括安装一些额外的依赖包配置默认加速设置登录 HuggingFace 并下载示例数据集。 现在您可以为输入模型的位置、数据集目录和微调后模型的输出目录设置环境变量然后开始微调模型。HuggingFace accelerate 会完成所有繁重的工作帮助我们对模型进行实验。以下示例中使用的超参数经过优化可在 1 个配备 24 GB 内存的英伟达 A10G GPU 上成功运行训练。 完成这项工作大约需要 1.5 个小时。您可以通过更改一些超参数如 -max_train_steps400 来减少训练时间但这是以牺牲模型的性能和准确性为代价的。 训练脚本完成后您就可以验证模型是否已创建并运行样本推理以检查其性能如何。 打开 dog-bucket.png这张图片在/home/jovyan/diffusers/examples/deambooth 目录下。 由于 HuggingFace accelerate 也会将模型上传到 HuggingFace因此您甚至可以在其托管推理 API 上测试推理样本。您可以在这里找到您的模型 https://huggingface.co/spaces//dogbooth  或者在您指定的模型输出目录中。 如果模型过拟合或者欠拟合请参考 HuggingFace 对 dreambooth 的深入分析https://huggingface.co/blog/dreambooth以帮助您调整超参数提高模型性能。这些建议超出了本文的讨论范围。 第四步提供大语言模型服务 现在您已经拥有了一个微调过的模型可以使用这个模型在 Amazon EKS 上创建推理节点了。 您可以使用 RayService 自定义资源定义CRD来部署一个带有 RayServe 应用程序的 Ray 集群该应用程序会调用您之前通过 accelerate 训练脚本微调并推送到 HuggingFace 的模型。 定义 RayService 入口 RayServe 的 Python 应用程序被打包成一个容器镜像在部署的时候可以被拉取到 RayCluster 中。Ray 的文档提供了使用 Ray Serve 和 FastAPI 创建推理应用程序的示例代码。我们对提供的 Python 代码进行了调整通过向 RayService 配置传递环境变量 MODEL_ID将推送到 HuggingFace 的自定义 dogbooth 模型的 model_id 作为该环境变量的值传递进去如以下步骤所示。同时可以在 src/service/dogbooth.py 查看相关的 Python 代码。想要查看 RayCluster 的 head 和 worker 节点的容器镜像的 Dockerfile, 可以在这里 src/service/Dockerfile 找到。 探索更高级的 RayService 的配置将作为练习留给读者。 定义 RayService 现在可以部署 RayService 了。我们在目录 data-on-eks/ai-ml/jark-stack/terraform/src/service 提供了 RayService 的 Kubernetes 定义文件 ray-service.yaml。这个文件主要包含了如下定义 创建名为 dogbooth 的命名空间用以部署 RayCluster。创建一个 ingress 以便通过 ingress-nginx 将 RayService 入口暴露给亚马逊云科技网络负载均衡器并为界面和推理服务提供基于路径的路由。编辑 env_vars 下的 MODEL_ID将模型库更改为微调后的模型库。 --- apiVersion: v1 kind: Namespace metadata:name: dogbooth --- apiVersion: ray.io/v1alpha1 kind: RayService metadata:name: dogboothnamespace: dogbooth spec: ...serveConfig:importPath: dogbooth:entrypointruntimeEnv: |env_vars: {MODEL_ID: askulkarni2/dogbooth}rayClusterConfig:rayVersion: 2.6.0headGroupSpec: ...template:spec:containers:- name: ray-headimage: $SERVICE_REPO:0.0.1-gpuresources:limits:cpu: 2memory: 16Ginvidia.com/gpu: 1 ...workerGroupSpecs:- replicas: 1 ...template:spec:containers:- name: ray-workerimage: $SERVICE_REPO:0.0.1-gpu ...resources:limits:cpu: 2memory: 16Ginvidia.com/gpu: 1 ... --- apiVersion: networking.k8s.io/v1 kind: Ingress metadata:name: dogboothnamespace: dogboothannotations:nginx.ingress.kubernetes.io/rewrite-target: /\$1 spec:ingressClassName: nginxrules:- http:paths:- path: /dogbooth/(.*)pathType: ImplementationSpecificbackend:service:name: dogbooth-head-svcport:number: 8265- path: /dogbooth/serve/(.*)pathType: ImplementationSpecificbackend:service:name: dogbooth-head-svcport:number: 8000 执行命令 kubectl apply -f src/service/ray-service.yaml 在 dogbooth 命名空间中创建 RayService。 一旦执行RayCluster 的 head 和 worker 节点就会被调度到 GPU 节点上同时推理入口会被创建并通过负载均衡器向我们提供服务。因为基于 GPU 的 rayproject/ray-ml:2.6.0-gpu 基础镜像比较大整个部署过程会持续大概 8 分钟左右。 执行 kubectl get pods -n dogbooth –watch 命令观察并等待 Pods 正常运行。之后就可以执行命令 kubectl get ingress dogbooth -n dogbooth --output jsonpath{.status.loadBalancer.ingress[0].hostname} 获取负载均衡器的域名来访问 Ray 的控制台。在浏览器中打开获取到的连接类似 http://k8s-ingressn-ingressn-xxx.elb.us-east-1.amazonaws.com/dogbooth/ 您可以见到如下图所示的界面。 最后通过以下提示验证我们的 dogbooth 模型部署例如 http://k8s-ingressn-ingressn-xxx.elb.us-east-1.amazonaws.com/dogbooth/serve/imagine?prompta photo of [v]dog on the beach 但 Argo Workflows 在哪里 很高兴您能这么问我们并没有忘记 Argo Workflows。我们前面讨论的步骤非常适合在问题形成和用例分析的早期阶段进行实验。一旦您找到了符合特定目标的模型并希望将其部署到生产环境中这时候协调数据科学家开发者运营团队和领域专家的就是 MLOps 了。这种协作可确保模型的开发、部署和管理符合业务目标并满足运营要求。这就是工作流引擎发挥作用的地方。业界比较流行的工作流引擎有 Kubeflow Pipeline基于 Argo WorkflowsApache AirflowAmazon Step Functions 等等。我们在这篇文章https://aws.amazon.com/blogs/containers/dynamic-spark-scaling-on-amazon-eks-with-argo-workflows-and-events/中介绍了类似的方法使用 Argo Events 和 Argo Workflows 作为 Kubernetes 原生的 Workflow 引擎来编排使用 Spark 进行的数据处理作业。进一步延展我们可以开始思考怎么利用类似方法为生成式 AI 项目构建一个 MLOps 平台。我们将在接下来的文章和 re:Invent 研讨会中更深入地探讨这个系列的话题。 清理资源 要清理在本文中创建的相关资源执行以下命令即可。 ./cleanup.sh 这个脚本会删除 RayService 和执行 terraform destroy 命令删除所有基础设施。 总结 在这篇文章中我们向您介绍了生成式 AI 模型的出现、它们的优势、关键用例以及创建高适用性输出所需的资源密集性质。我们还谈到了 Amazon EKS 对于实现这些用例所具备的关键优势。Amazon EKS 通过它内置的可扩展性、弹性和跨环境的可重复部署使客户能够拥有更多的控制权、更大的灵活性以及更高的成本效益。然后我们还向您介绍了利用 JARK Stack 在 Amazon EKS 上部署生成式 AI 模型的步骤。 亚马逊云科技通过 DataonEKS 项目向您提供了加速采纳机器学习的能力。DataonEKS 是亚马逊云科技的一个开源项目为在 Amazon EKS 上部署数据工作负载提供最佳实践、基准报告、基础设施即代码Terraform模板、部署示例和参考架构。 此外亚马逊云科技还提供 Amazon Bedrock 和 Amazon Sagemaker 等全托管的机器学习解决方案可用于轻松部署现成的基础模型或创建和运行自己的模型。 生成式 AI 处于非常早期的阶段几乎每天都在快速发展和持续创新。亚马逊云科技很高兴能成为您的合作伙伴利用我们在市场上最全面、最完整的机器学习功能支持您任何的生成式 AI 需求。我们期待与您在生成式 AI 和机器学习之旅以及未来的道路上合作 原文链接https://aws.amazon.com/blogs/containers/deploy-generative-ai-models-on-amazon-eks/ 本篇作者 Sanjeev Ganjihal 亚马逊云科技高级解决方案架构师。Sanjeev 专注于服务网格、GitOps、IAC、自动扩展和成本优化。他帮助客户在亚马逊云科技上运行、构建和扩展容器化工作负载。 Apoorva Kulkarni 亚马逊云科技高级解决方案架构师。Apoorva 帮助客户在亚马逊云科技的容器服务上构建现代应用程序平台。 Rama Prasanna Ponnuswami 亚马逊云科技 WorldWide Goto-Market Specialist专注于 EKS/EKS-A 领域。Rama 与世界各地的客户合作指导他们使用亚马逊云科技提供的各种容器解决方案加速他们的云/容器现代化之旅。 Roland Barcia 亚马逊云科技解决方案架构师总监。Roland 花了 25 年的时间帮助客户构建和现代化系统并领导着一支专注于 Kubernetes、应用程序现代化、微服务、无服务器、集成和平台工程的全球团队。 校译作者 梁宇 亚马逊云科技专业服务团队 DevOps 顾问主要负责 DevOps 技术实施。尤为热衷云原生服务及其相关技术。在工作之余他喜欢运动以及和家人一起旅游。 星标不迷路开发更极速 关注后记得星标「亚马逊云开发者」 听说点完下面4个按钮 就不会碰到bug了