AWS AI中几个重要的工具介绍

Amazon Bedrock

Amazon Bedrock 是使用基础模型构建和扩展生成式 AI 应用程序的最简单方式。Amazon Bedrock 是一项全托管服务，通过 API 提供来自亚马逊和领先 AI 初创公司的基础模型，因此您可以从各种基础模型中选择最适合您用例的模型。借助 Bedrock，您可以加速开发和部署可扩展、可靠且安全的生成式 AI 应用程序，而无需管理基础设施。

Amazon SageMaker JumpStart

Amazon SageMaker JumpStart 是一个机器学习中心，提供基础模型、内置算法和预构建的机器学习解决方案，只需点击几下即可部署。通过 SageMaker JumpStart，您可以访问预训练模型（包括基础模型），以执行文章摘要和图像生成等任务。预训练模型可以根据您的数据和用例进行完全定制，并且您可以通过用户界面或 SDK 轻松将其部署到生产环境中。

Amazon SageMaker Data Wrangler

Amazon SageMaker Data Wrangler 将表格、图像和文本数据的数据准备时间从几周缩短到几分钟。借助 SageMaker Data Wrangler，您可以通过可视化自然语言界面简化数据准备和特征工程。使用 SQL 和 300 多个内置的转换快速选择、导入和转换数据，无需编写代码。生成直观的数据质量报告，以检测不同数据类型的异常，并估算模型性能。扩展以处理数 PB 的数据。

Amazon SageMaker Canvas

Amazon SageMaker Canvas功能帮助客户通过自然语言指令加速数据准备，并仅需几次点击即可使用基础模型进行模型定制。简而言之：无代码模型定制

Amazon SageMaker Clarify

使用 Amaz SageMaker on Clarify，您可以通过创建模型评估任务来评估大型语言模型 (LLMs)。模型评估工作允许您评估和比较基于文本的基础模型的模型质量和责任指标。 JumpStart模型评估作业还支持使用已部署到端点的 JumpStart 模型。

您可以使用三种不同的方法创建模型评测任务。

在 Studio 中创建自动模型评测作业：自动模型评测作业可让您快速评估模型执行任务的能力。您可以提供为特定用例量身定制的自定义提示数据集，也可以使用可用的内置数据集。
在 Studio 中创建使用人工的模型评测作业：使用人工的模型评测作业可以为模型评测过程提供人工输入。人工可能来自公司员工，也可能来自行业内的一群主题专家。
使用 fmeval 库创建自动模型评测作业：使用 fmeval 库创建作业，可以对模型评测作业进行最精细的控制。它还支持使用来自其他服务的 LLMs 外部模型 AWS 或非JumpStart 基于的模型。

模型评估作业支持文本生成、文本分类、问答和文本摘要 LLMs 等常见用例。

开放式生成：对没有预先定义结构的文本做出自然的人类反应。
文本摘要：生成简明扼要的摘要，同时保留较大文本中包含的意义和关键信息。
问题解答：根据提示做出相关而准确的回答。
分类：根据文本内容指定一个类别，如标签或得分。

Amazon SageMaker Role Manager

Amazon SageMaker Role Manager让管理员可以更轻松地控制访问和定义权限，提升机器学习治理水平

Amazon SageMaker Model Cards

Amazon SageMaker Model Cards可以更方便地在整个机器学习生命周期中记录和审查模型信息

Amazon SageMaker Model Dashboard

Amazon SageMaker Model Dashboard 提供了集中界面来跟踪模型、监控性能和查看历史行为

Amazon SageMaker Studio Notebook

Amazon SageMaker Studio Notebook提供全新数据准备功能，帮助客户直观地通过几次点击检查和解决数据质量问题
数据科学团队现在可以在 Amazon SageMaker Studio Notebook 内实时协作
客户现在可以将Notebook代码自动转换为生产就绪的作业

Amazon SageMaker Inference

Amazon SageMaker Inference 现在提供了一种功能，让专业人员可以更轻松地实时使用相同的真实推理请求数据，将新模型的性能与生产模型的性能进行比较。
自动模型验证功能让客户使用实时推理请求测试新模型

Amazon SageMaker geospatial

Amazon SageMaker全新的地理空间功能让客户可以更轻松地使用卫星和位置数据进行预测

对地理空间数据的支持让客户能够更轻松地为气候科学、城市规划、灾难响应、零售规划、精准农业等行业开发机器学习模型

Amazon Q

Amazon Q 是一个由生成式 AI 驱动的助手，用于加速软件开发并利用公司内部数据。Amazon Q 可以生成代码、进行测试和调试。它具有多步规划和推理能力，能够转换并实现从开发者请求生成的新代码。

AWS Trainium

AWS Trainium 是 AWS 专为深度学习（DL）训练设计的机器学习（ML）芯片，适用于训练超过 1000 亿参数的模型。每个 Amazon Elastic Compute Cloud（Amazon EC2）Trn1 实例可部署多达 16 个 Trainium 加速器，为云中的深度学习训练提供高性能、低成本的解决方案。