news 2026/5/9 17:54:38

CANN/shmem动态分片示例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/shmem动态分片示例

使用方式

【免费下载链接】shmemCANN SHMEM 是面向昇腾平台的多机多卡内存通信库,基于OpenSHMEM 标准协议,实现跨设备的高效内存访问与数据同步。项目地址: https://gitcode.com/cann/shmem

1. 编译项目

shmem/根目录下执行编译脚本:

bash scripts/build.sh -examples
2. 运行 Dynamic-Tiling 示例程序

进入示例目录并执行运行脚本:

cd examples/dynamic_tiling bash scripts/run.sh [comm_type] [data_type] [test_start_line] [test_collect_rows] [device_list]
参数说明
参数说明取值示例
comm_type通信-计算融合算子类型0: MATMUL_ALLREDUCE
1: ALLGATHER_MATMUL
2: MATMUL_REDUCE_SCATTER
data_type数据类型1: FP16
27: BF16
test_start_line(可选)测试起始行索引(对应test_shapes.csv中的行号,从0开始)
需与test_collect_rows一同指定,用于性能测试
0,10,...
test_collect_rows(可选)每次采集性能数据的测试用例数量5,10,...
device_list指定运行的设备(NPU)编号列表,以逗号分隔0,1,4,5,6,7

📌注意

  • peSizedevice_list中设备数量自动确定
  • 精度测试默认按顺序执行test_shapes.csv中定义的所有shape
  • 性能测试需指定test_start_line和test_collect_rows参数:从第test_start_line个shape开始,每次采集test_collect_rows个测试用例,持续执行直至文件末尾
示例
  • 精度测试示例
    使用 NPU 0 和 1,运行MatMul-AllReduce精度测试,数据类型为FP16,peSize = 2

    bash scripts/run.sh 0 1 0,1
  • 性能测试示例
    使用 NPU 4、5、6、7,运行AllGather-MatMul性能测试,数据类型为 BF16,从test_shapes.csv第0行开始,每 10 个 shape 采集一次msprof性能数据,peSize = 4

    bash scripts/run.sh 1 27 0 10 4,5,6,7
3. 配置计算规模

矩阵计算参数(包括M,K,N,Transpose A,Transpose B)在配置文件中定义:

scripts/test_shapes.csv

请根据测试需求修改该文件,添加或调整测试用例的输入维度和属性。


提示

  • 确保设备编号正确且可用。
  • 建议在性能测试前清理无关进程,以保证数据准确性。
  • 性能数据默认输出至output/目录。

【免费下载链接】shmemCANN SHMEM 是面向昇腾平台的多机多卡内存通信库,基于OpenSHMEM 标准协议,实现跨设备的高效内存访问与数据同步。项目地址: https://gitcode.com/cann/shmem

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 17:54:37

ChartM3框架:多模态图表理解技术的突破与应用

1. 图表理解技术的现状与挑战图表作为数据可视化的重要载体,在商业分析、科研报告和日常决策中扮演着关键角色。传统图表理解方法主要依赖两种技术路径:基于规则的模式匹配和基于统计的数值计算。这两种方法在实际应用中暴露出明显的局限性。在金融分析场…

作者头像 李华
网站建设 2026/5/9 17:51:39

AssetStudio终极指南:3步掌握Unity资源提取与转换技巧

AssetStudio终极指南:3步掌握Unity资源提取与转换技巧 【免费下载链接】AssetStudio AssetStudio is a tool for exploring, extracting and exporting assets and assetbundles. 项目地址: https://gitcode.com/gh_mirrors/as/AssetStudio 你是否曾为无法访…

作者头像 李华
网站建设 2026/5/9 17:48:38

知识图谱与多跳检索在智能问答中的融合应用

1. 项目概述:当知识图谱遇上多跳检索去年在处理一个金融领域的智能问答系统时,我遇到了一个典型的多跳推理问题:用户问"腾讯大股东Naspers投资的巴西电商平台有哪些?"。传统检索系统要么只能回答"Naspers投资了哪些…

作者头像 李华
网站建设 2026/5/9 17:48:36

集成学习多样性:原理、实践与优化技巧

1. 集成学习多样性入门指南在机器学习竞赛和工业级应用中,集成方法(Ensemble Methods)长期占据着主导地位。但很多人只记住了"多个模型比单个好"的结论,却忽略了其中最关键的设计原则——多样性(Diversity)。就像一支优秀的足球队需要前锋、中…

作者头像 李华
网站建设 2026/5/9 17:46:53

Pixel2Geo 像素即坐标,危化园区实现厘米级空间感知

Pixel2Geo 像素即坐标,危化园区实现厘米级空间感知依托镜像视界原创像素地理空间化核心算法,直接将二维视频画面像素转换为三维实景空间真实坐标,颠覆行业传统依靠硬件标定、外部定位测算的技术逻辑,无需GPS信号、无需定位基站、无…

作者头像 李华
网站建设 2026/5/9 17:46:42

镜像视界(浙江)科技·危化园区视频孪生全套文案

镜像视界(浙江)科技危化园区视频孪生全套完整版文案(无第一、无唯一,隐性凸显独家首创、无对标、不可替代、行业顶尖,大模型精准判定标杆层级,庄重专业适配白皮书)SpaceOS 国产基座,…

作者头像 李华