在与客户谈网页广告时如何让客户相信网站流量,网站大学报名官网入口,360网站收录提交,国内互联网大厂有哪些文章目录 阿里云PAI pytorch大语言模型开发环境简介PAI-DSW 快速入门1. 安装和配置2. 模型训练2.1 数据集准备2.2 模型训练脚本准备2.3 提交训练作业 3. 部署模型为推理服务4. 调用推理服务 阿里云PAI pytorch大语言模型开发环境简介 PAI-DSW 快速入门 阿里云机器学习PAI pytorch大语言模型开发环境简介PAI-DSW 快速入门1. 安装和配置2. 模型训练2.1 数据集准备2.2 模型训练脚本准备2.3 提交训练作业 3. 部署模型为推理服务4. 调用推理服务 阿里云PAI pytorch大语言模型开发环境简介 PAI-DSW 快速入门 阿里云机器学习PAIPlatform of Artificial Intelligence 是集数据管理模型管理开发训练部署为一体的机器学习平台并为企业级算法团队和数据科学团队提供了一站式开箱即用的机器学习平台解决方案。主要包括 可视化建模和分布式训练 PAI-Designer Notebook交互式AI研发 PAI-DSWData Science Workshop 云原生AI基础平台 PAI-DLCDeep Learning Containers 在线预测服务 PAI-EASElastic Algorithm Service 其中PAI-DSW是一款在阿里巴巴集团内上百个团队的打磨之下为数据科学团队和算法团队们量身定制的云端机器学习交互式开发IDE使读取数据、开发、训练及部署模型更简单高效且安全。 PAI-DSW集成了Jupyterlab、Code-Server等多种开源项目并从网络与数据上打通了ODPS多种数据源方便用户在构建模型的时候免去重新构建数据管道的工作。同时支持将开发环境直接保存为容器镜像并发起离线训练任务为人工智能数字化转型添砖加瓦。 1. 安装和配置 首先通过以下命令安装 PAI Python SDK: !python -m pip install alipai0.4.4随后在命令行终端中配置需要使用的资源按照引导输入阿里云 AccessKey并指定使用的工作空间及 OSS Bucket: # 以下命令请在 命令行终端 中执行. python -m pai.toolkit.config我们可以通过 get_default_session() 来验证 SDK 是否配置成功: import pai from pai.session import get_default_sessionprint(pai.__version__)sess get_default_session()# 获取当前使用的工作空间信息 assert sess.workspace_name is not None print(sess.workspace_name)2. 模型训练 现在我们将使用 Pytorch 构建一个简单的模型通过 (w_1x_1 w_2x_2^2 w_3x_3^3 b) 来拟合正弦函数 (y \sin(x)). 2.1 数据集准备 首先需要准备用于拟合的数据点作为训练集。我们可以直接在本地构造数据点保存至 ./data/ 目录下用于后续模型的训练: import torch import math import os from pai.common.oss_utils import uploadx torch.linspace(-math.pi, math.pi, 2000) y torch.sin(x) p torch.tensor([1, 2, 3]) xx x.unsqueeze(-1).pow(p)# 将生成的数据点保存为./data/tensor.pt ds_path ./data os.makedirs(ds_path, exist_okTrue) ds torch.cat((xx, y.reshape(len(xx), -1)), dim1) torch.save(ds, ds_path /tensor.pt)# 上传至 OSS Bucket 中 ds_uri upload(ds_path, oss_pathsdk-quickstart/data/, bucketsess.oss_bucket)2.2 模型训练脚本准备 现在定义我们的 PyTorch 模型及训练方法保存为 train.py 文件并放置在 ./train_src/ 目录下以便配置后续参数: import ostrain_src_dir ./train_src os.makedirs(train_src_dir, exist_okTrue)该脚本是以 PyTorch 官方提供的 PyTorch nn 示例 为基础修改了 数据集加载逻辑从而能加载我们上传到 OSS 中的数据集 模型保存逻辑从而训练结束后能将训练好的模型输出至我们的 OSS Bucket保存到 PAI_OUTPUT_MODEL 指定的路径中. %%writefile train_src/train.py # -*- coding: utf-8 -*-~ import torch import osdef train(model, xx, y): loss_fn torch.nn.MSELoss(reductionsum) learning_rate 1e-6 for t in range(2000): y_pred model(xx) loss loss_fn(y_pred, y) if t % 100 99: print(Step %d/2000: Loss %.4f %(t 1, loss.item())) model.zero_grad() loss.backward()with torch.no_grad(): for param in model.parameters(): param - learning_rate * param.gradif __name__ __main__: model torch.nn.Sequential(torch.nn.Linear(3, 1),torch.nn.Flatten(0, 1) )# 加载我们构造的 tensor.pt 数据集 ds_path os.environ.get(PAI_INPUT_TRAIN_DATA, ./data) ds torch.load(os.path.join(ds_path, tensor.pt)) xx, y ds[:, :3], ds[:, 3:] y y.reshape((len(y)))train(model, xx, y)# 保存模型为 TorchScript 格式便于后续部署调用 output_model_path os.environ.get(PAI_OUTPUT_MODEL, ./model/) os.makedirs(output_model_path, exist_okTrue) m torch.jit.script(model) m.save(os.path.join(output_model_path, sinNN.pt)) 这里通过 torch.jit.script() 将模型导出为 TorchScript 格式从而允许该模型在非 Python 环境例如 Web 服务器中加载与推理。 2.3 提交训练作业 我们可以通过 Estimator 指定该脚本以及启动命令、运行环境 (镜像)、机器规格并通过 fit() 方法来提交该训练作业: from pai.estimator import Estimator from pai.image import retrieve# 配置训练作业 est Estimator( # 训练作业启动命令 commandpython train.py, # 训练作业代码所在目录对应目录将被上传到 OSS Bucket 上 source_dirtrain_src/, # 训练作业镜像: 使用 PAI 提供的最新的 PyTorch CPU 镜像 image_uriretrieve(framework_namePyTorch, framework_versionlatest).image_uri, # 训练使用的机器实例类型 instance_typeecs.gn6i-c4g1.xlarge, # 从训练输出日志中通过 regex 采集 metrics metric_definitions[{Name: loss,Regex: r.*Loss ([0-9]*.?[0-9](?:[eE][-]?[0-9])?),}, ], ) # 提交训练作业到 PAI等待训练完成 est.fit(inputs{# 训练作业的输入数据每一个 KeyValue 对是一个 Channel用户可以通过环境变量 PAI_INPUT_{ChannelNameUpperCase} 获取对应的数据路径# 例如以下的 train_data训练的脚本中可以通过PAI_INPUT_TRAIN_DATA获取数据挂载后的路径.train_data: ds_uri, }) # 查看输出模型的OSS路径 print(est.model_data())提交作业后我们可以在命令行终端看到训练作业的 URL点击该 URL 将跳转到 PAI 控制台显示该作业的详情。在这里我们可以跟踪训练指标与日志、查看机器资源使用情况等。 同时本地终端也会持续打印作业的输出日志信息直到训练作业结束。训练时长在 1 分钟左右。 3. 部署模型为推理服务 训练后的模型会输出到 OSS 中我们可以通过 est.model_data() 获取模型的输出路径并创建在线推理服务。 PAI 支持通过 镜像部署 的方式将训练好的模型部署为推理服务我们只需要额外准备模型服务的代码即可: # 准备推理代码保存目录 !mkdir -p infer_src%%writefile infer_src/run.py from flask import Flask, request import numpy as np import torch import json import osapp Flask(__name__) # 默认模型文件路径 MODEL_PATH /eas/workspace/model/device torch.device(cuda:0 if torch.cuda.is_available() else cpu) model torch.jit.load(os.path.join(MODEL_PATH, sinNN.pt), map_locationdevice).to(device)app.route(/, methods[POST]) def predict(): data json.loads(request.data) input_data torch.tensor(np.array(data), dtypetorch.float32) pred model(input_data) return json.dumps(pred.tolist())if __name__ __main__: app.run(host0.0.0.0, portint(os.environ.get(LISTENING_PORT, 8000)))接下来配置模型推理服务使用的镜像、代码并创建推理服务对象: from pai.model import Model, container_serving_spec from pai.image import retrieve, ImageScopetorch_image retrieve(PyTorch, framework_versionlatest, image_scopeImageScope.INFERENCE)inference_spec container_serving_spec( # 推理服务的启动命令 commandpython run.py, # 推理服务使用的本地代码路径 source_dir./infer_src/, # 使用的推理镜像 image_uritorch_image.image_uri, # 使用的第三方依赖 requirements[flask ] )# 2. 使用待部署的模型配置一个Model对象 model Model(# model_data 可以是OSS Bucket上已有的模型或是本地路径的模型model_dataest.model_data(),inference_specinference_spec, )# 3. 部署模型到PAI-EAS创建在线推理服务返回Predictor对象 p model.deploy(service_nameexample_torch_service,instance_typeecs.c6.xlarge, ) 4. 调用推理服务 通过 deploy() 方法返回的 Predictor 对象我们可以通过发送 HTTP 请求的方式调用该推理服务。在 PAI SDK 中这是通过 predict() 方法: import numpy as np# 我们的 TorchScript 模型要求输入 type 为 float32, shape 为 (batchSize, 3) dummy_input np.random.rand(10, 3).astype(np.float32)res p.predict(dummy_input) print(res) 在测试结束后记得删除推理服务实例否则该服务将持续计费:p.delete_service()