CANN/ge批量构建模型API

aclgrphBundleBuildModel

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

产品支持情况

头文件/库文件

• 头文件：#include <ge/ge_ir_build.h>
• 库文件：libge_compiler.so

功能说明

将输入的一组Graph编译为适配昇腾AI处理器的离线模型。

与aclgrphBuildModel接口的区别是，该接口适用于权重更新场景。通过aclgrphBundleBuildModel接口生成离线模型缓存后，需要使用aclgrphBundleSaveModel接口落盘。

函数原型

graphStatus aclgrphBundleBuildModel(const std::vector<ge::GraphWithOptions> &graph_with_options, ModelBufferData &model)

参数说明

struct GraphWithOptions { ge::Graph graph; std::map<AscendString, AscendString> build_options; };

void PrepareOptions(std::map<AscendString, AscendString>& options) { options.insert({ {ge::ir_option::EXEC_DISABLE_REUSED_MEMORY, "1"} // close reuse memory }); }

struct ModelBufferData { std::shared_ptr<uint8_t> data = nullptr; uint64_t length; };

返回值说明

约束说明

该接口内多个图如果涉及共享同名variable算子，接口内部会进行variable算子加速融合，建议通过aclgrphConvertToWeightRefreshableGraphs接口生成，否则可能会出现variable算子格式不一致的问题。

调用示例

完整调用示例请参见调用示例。

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge