《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证

启用模型注册管理功能

安装管理数据库

可以使用 MySQL 或 MariaDB 做为 OpenShift AI 模型管理的数据库。

1. 创建项目

$ oc new-project mysql

2. 在 OpenShift 的开发者视图中添加菜单，然后在开发者目录中选择Databases，最后点击下图的MariaDB。
   
3. 在右划页面中点击实例化模板按钮，然后在 Instantiate Template 页面中根据以下配置创建环境：
   Database Service Name: modelregistry
   MariaDB Connection Username：modelregistry
   MariaDB Connection Password：password
   MariaDB root Password：password
   MariaDB Database Name：modelregistry
   Volume Capacity：5GB

启用模型注册功能

1. 编辑 OpenShift AI Operator 中的 DataScienceCluster 对象，将 modelregistry.managementState 改为 Managed。

    modelregistry:managementState: ManagedregistriesNamespace: rhoai-model-registries

2. 查看 redhat-ods-applications 项目的拓扑试图，确认会新出现一个名为 default-modelregistry 的 ModelRegistry 对象。该对象是一个 Controller，它会在 rhoai-model-registries 项目中管理实际的模型注册表运行环境。

$ oc get pod -n rhoai-model-registries
NAME                             READY   STATUS    RESTARTS   AGE
modelregistry-75d8f6bbdb-27n8f   3/3     Running   0          28h

3. 在配置生效后可以在 OpenShift AI 控制台中看到新的 Settings -> Model registry settings 菜单。
4. 进入 Settings -> Model registry settings 菜单，然后点击 Create model registry 按钮，再根据以下配置添加一个 Model registry。
   Name: modelregistry
   Host: modelregistry.mysql.svc.cluster.local
   Port: 3306
   Username: modelregistry
   Password: password
   Database: modelregistry
5. 完成后可以看到 Model registry 的状态，并且在 Models 下出现新的 Model registry 菜单。
   

注册模型

在注册一个模型前先要把该模型的相关文件下载到 OpenShift 能够访问的 S3 对象存储中。本节点已经根据《OpenShift AI - 在 OpenShift 和 OpenShift AI 上运行 LLM》一文将 huggingface 的 mistralai/Mistral-7B-Instruct-v0.2 模型传到 MinIO 对象存储中了。

1. 进入 OpenShift AI 控制台的 Models -> Model registry 菜单。
2. 点击 Registry model 按钮，然后根据以下配置注册一个模型。
   Model name: Mistral-7B-Instruct
   Version name: v0.2
   Object storage
   Endpoint: http://minio-service.minio.svc.cluster.local:9000
   Bucket: models
   Region: none
   Path: models/Mistral-7B-Instruct-v0.2
3. 完成后可查看已注册的模型以及包含的版本。
   
   

部署模型

1. 进入 Data science projects 菜单，然后新建一个名为 my-mistral-7 的项目。
2. 为了能够在项目中部署运行模型，需要先确定使用的模型运行模式。切换到 my-mistral-7 项目的 Models 页面，然后点击下图的 Select single-model 按钮。
   
3. 返回到 Model registry 菜单，进入 modelregistry 的 Mistral-7B-Instruct 模型，然后在版本为 v0.2 一行右侧的下拉菜单中选中 “Deploy”。
   
4. 在 Deploy model 对话框中，最后点击 Deploy。
   
5. 在部署好模型后，可以在该版本的模型中看到关联的部署情况。注意：该列表只显示通过 Model registry 进行部署的情况。
   

归档模型

被归档的模型或模型版本缺省时不能在 Model registry 中显示出来的，而只能在归档中显示。另外，用户也无法部署一个已经归档的模型。

归档模型和模型版本

1. 通过 Archive model 下拉菜单可以对整个模型进行归档。
   
2. 通过 Archive model version 下拉菜单可以对一个模型的某个版本进行归档。
   

恢复归档模型

1. 通过 View archived models 或者 View archived versions 菜单可以显示被归档的模型或模型版本。
   
2. 在选择 Restore model 或 Restore model version 菜单后可将归档的模型或模型版本重新恢复到正常状态。
   

模型注册表访问权限管理

在 OpenShift AI 控制台中，一个模型注册表需要管理员授权后才能被普通用户访问到。

1. 用一个普通用户登录 OpenShift AI 控制台，确认缺省在 Model Registry 中看不到已有的模型注册表。
   
2. 用管理员进入 OpenShift AI 控制台的 Model registry settings，然后进入一个 Model registry，再将普通用户添加到 Users 中。
   
3. 确认普通用户可以在 Model Registry 中看到并使用被授权的模型注册表了。

参考

https://docs.redhat.com/en/documentation/red_hat_openshift_ai_self-managed/2.19/html-single/managing_model_registries/index#overview-of-model-registries_managing-model-registries