CANN易用性案例汇总
前言
易用性是软件生态的关键一环，CANN生态团队在2025年也从算子到模型至下而上的对易用性进行改进。在算子开发层面，围绕着算子编程效率、算子编译部署效率、代码可读性从开发、编译到维护全方面地降低算子的上手难度；在模型部署层面，主要围绕着大模型两大加速利器——图模式和通信进行改进，让开发者更轻松地优化大模型的性能。这里整理了十一篇案例帮助大家了解CANN最新易用性相关的功能特性。
/易用性案例汇总
|–/算子开发
| |–/编程效率
| | |–① 算子Kernel直调极简编程实践
| | |–② AICPU Tiling下沉编程方式介绍
| | |–③ Ascend C RTC即时编译
| | |–④ TilingKey模板化编程实战
| |–/编译部署效率
| | |–① 算子Kernel直调极简编程实践
| | |–② AICPU Tiling下沉编程方式介绍
| | |–③ Ascend C RTC即时编译
| |–/代码可读性
| | |–① 算子Kernel直调极简编程实践
| | |–④ TilingKey模板化编程实战
|–/模型部署
| |–/图模式
| | |–/使能图模式编程效率
| | | |–⑤ npugraph_ex: CANN aclGraph的图模式样板间
| | |–/图自定义优化编程效率
| | | |–⑤ npugraph_ex: CANN aclGraph的图模式样板间
| | | |–⑥ 三步上手: TorchAir自定义FX Pass实战指南
| |–/通信
| | |–/编程效率
| | | |–⑦ 基于torch_npu的IPC特性介绍
| | | |–⑧ CANN开源赋能协同创新: SGLang+Mooncake+CANN HIXL的PD分离D2D部署实践
| | | |–⑨ 基于HIXL+Mooncake+VLLM的KV Cache池化与高性能传输联创手段
| | | |–⑩ 昇腾CANN HIXL助力破解RL推理长尾推理
| | |–/维测效率
| | | |–⑪ 昇腾+DeepXTrace: 推理集群快慢卡在线检测实践之MoE篇
tips：同一篇文章可能涉及多种易用性改进，因此会在上图中多次出现
案例介绍
1. 自定义算子开发系列：算子Kernel直调极简编程实践
**简介：**Kernel直调方式具备代码轻量化、开发直观便捷的优势，本文介绍了Ascend C异构混合编程和AscendOps模板化编程两种编程方式，在Kernel直调方式基础上进一步降低了算子开发实现和编译部署的难度。
文章链接：https://mp.weixin.qq.com/s/gxDwV-Q_xA8DkuJdbKvFzA
2. 自定义算子开发系列：AICPU Tiling下沉编程方式介绍
**简介：**Host Bound一直是算子调用的显著性能瓶颈，造成Host Bound的核心原因在于算子Kernel执行前需要计算出TilingData，而TilingData的计算通常是在Host侧再拷贝到Device侧。本文介绍了AICPU Tiling下沉的编程方式，使用Device侧的AICPU计算TilingData，节省了Host侧拷贝TilingData到Device侧的时间。同时支持混合编程降低了算子开发实现和编译部署的难度。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156094628?spm=1001.2014.3001.5502
3. 自定义算子开发系列：Ascend C RTC即时编译
**简介：**本文介绍了一种新的Ascend C算子编译方式——RTC即时编译。区别于静态编译提前将算子编译成二进制文件保存到存储设备的方式，RTC即时编译的算子编译发生在算子调用程序执行阶段。此时算子编译出的二进制数据保存在内存，减少了和磁盘的IO，加速了算子编译加载的速度；并且由于在调用阶段可以获取确定的算子shape、输入类型，编译出算子的执行性能也得到提升。在易用性的层面算子可以动态调整编译参数，简化了编译流程，同时不再需要构建算子工程，算子开发效率也得到提升。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156327647?spm=1011.2415.3001.5331
4. 自定义算子开发系列：TillingKey模板化编程实战
**简介：**本文介绍了Ascend C算子开发中多场景算子新的开发实现方式——TilingKey模板化编程。同一个算子存在多种不同实现的情形，需要通过TilingKey区分算子的不同实现，本文针对TilingKey引入了模板实现的概念，进一步方便了TilingKey的维护和管理，大大提升了代码可读性和编程效率。
文章链接：https://blog.csdn.net/m0_71340392/article/details/155784629?spm=1001.2014.3001.5502
5. npugraph_ex：CANN aclGraph的图模式样板间
**简介：**本文介绍了基于torch.compile提供的昇腾高性能图后端npugraph_ex，它在基于aclGraph图捕获和重放的能力上进一步融合了亲和NPU的图优化能力，以满足大模型推理场景下的性能加速需求。npugraph_ex可以通过torch.compile接口直接使能，接入便捷，并且除了自身的图优化能力外还支持自定义图优化规则，方便开发者更好地优化模型。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156203006?spm=1001.2014.3001.5502
6. 三步上手：TorchAir自定义FX Pass实战指南
**简介：**本文介绍了在昇腾NPU上利用PyTorch图模式进行大模型推理时，通过自定义FX Pass实现多流并行优化的的原理和步骤。此种方式降低了自定义图优化的难度和门槛，当模型脚本中同一种场景的优化多次出现时不再需要多处修改脚本，只需要定义一个FX Pass就可以使能全部优化。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156022371
7. 基于torch_npu的IPC特性介绍
**简介：**本文介绍了基于昇腾torch_npu的IPC特性原理和使用方法，IPC允许不同进程之间直接访问共享的设备内存，无需显式的进行内存拷贝，既减少了操作步骤也提升了通信效率。此特性也在强化学习的实际场景中经过验证，推理进程通过共享内存直接获取训练进程的权重数据，大幅降低了推理进程的内存消耗。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156044864?spm=1001.2014.3001.5502
8. CANN开源赋能协同创新：SGLang+Mooncake+CANN HIXL的PD分离D2D部署实践
**简介：**本文介绍了基于昇腾设备大模型PD分离部署D2D特性的实现原理——通过SGLang实现PD分离架构落地，Mooncake提供传输适配层，CANN的开源组件HIXL突破通信瓶颈，三者协同完成整套方案。HIXL提供的精简接口加速了方案的适配进度，同时接口也屏蔽了底层昇腾不同型号的硬件差异，降低了多种型号设备的适配成本。
文章链接：https://blog.csdn.net/m0_71340392/article/details/155013097
9. 基于HIXL+Mooncake+VLLM的KV Cache池化与高性能传输联创手段
**简介：**本文介绍了基于CANN开源组件HIXL，结合Mooncake和vLLM框架的大模型推理KV Cache池化方案。针对单设备KV Cache存储受限的问题，该方案通过整合多存储介质构建KV Cache存储池，让请求前缀跨节点共享以提升命中率。HIXL提供的精简接口加速了方案的适配进度，同时接口也屏蔽了底层昇腾不同型号的硬件差异，降低了多种型号设备的适配成本。
文章链接：https://blog.csdn.net/m0_71340392/article/details/155537017
10．昇腾CANN HIXL助力破解RL推理长尾难题
**简介：**本文介绍了利用HIXL组件快速构建PD分离方案，解决了RL推理长尾输入运行效率低的问题。HIXL提供的精简接口加速了方案的适配进度，同时接口也屏蔽了底层昇腾不同型号的硬件差异，降低了多种型号设备的适配成本。
文章链接：https://blog.csdn.net/m0_71340392/article/details/156328048
11．昇腾+DeepXTrace：推理集群快慢卡在线检测实践之MOE篇
**简介：**本文介绍了一套为MC2 Dispatch和Combine算子设计的轻量级异常诊断方案，通过开源工具DeepXTrace和昇腾底层MoeDistributeDispatch与MoeDistributeCombine算子的改造结合，实现了诊断Dispatch与Combine操作通信缓慢原因的方案，提升了定位效率。
文章链接：https://mp.weixin.qq.com/s/AaZ3pgM-brWw8-DMxS54Wg
)
)