在本篇章，我们连续进入推理阶段！
AscendCL 开拓板 模型推理
Step1 准备硬件根本硬件
开拓者套件Micro SD 卡（TF卡）：容量推举不小于64GB读卡器PC（条记本或台式机）所需配件
用于后续连接启动&登录开拓者套件。
这里以远程登录模式为例
RJ45网线注：
这里利用Windows系统，通过网线以远程登录模式连接启动登录开拓者套件。
详细内容or选择其他系统其他模式的用户可参考昇腾官网文档-快熟开始（https://www.hiascend.com/document/detail/zh/Atlas200IDKA2DeveloperKit/23.0.RC2/qs/qs_0018.html）
Step2 制卡PC下载并安装制卡工具“Ascend-devkit-imager_latest_win-x86_64.exe”
将SD卡插入读卡器的卡槽中，接着一起插入PC的USB接口中
打开制卡工具
-> 在线制卡（镜像版本选择Ubuntu）
-> 选择SD卡（烧录镜像时会自动将SD卡格式化，须要提前检讨SD卡是否有数据须要提前备份）
-> 烧录镜像（大概20min）
烧录成功后，将SD卡从读卡器中取出。
Step3 连接启动开拓者套件将烧录好的SD卡插入开拓者套件的SD插槽，并确保完备推入插槽底部。（推到底是有类似弹簧的触感）
确保开拓者套件的拨码开关2、3、4的开关值如图所示：
利用网线连接开拓板套件和PC。
给开拓者套件上电后
Step4 登录开拓者套件通过PC共享网络联网（Windows）：
掌握面板 -> 网络和共享中央 -> 变动适配器设置 ->
右键“WLAN” -> 属性 ->
进入“共享”界面
右键“以太网” -> 属性 ->
进入“网络”界面 -> 双击“Internet 协议版本 4（TCP/IPv4）” -> 修正IP地址与子网掩码
（PC需设置IP与开拓板处于同一网段。这里利用192.168.137.102为例）
确认保存。
PC下载并解压SSH远程登录工具“MobaXterm_Personal_22.2.exe”（或者进入官网下载）
打开SSH远程登录工具“MobaXterm_Personal_22.2.exe” -> Session -> SSH
-> 填写实际与PC连接的开拓者套件网口IP（制卡中配置的IP地址，默认为192.168.137.100）
-> 勾选“Specify username”选项，填写用户名（这里利用root）
-> Accept
-> 输入root用户名登录密码（默认为Mind@123）
输入密码时，界面不会显示密码和输入位数，输入密码后在键盘按Enter键即可
-> 界面会涌现保存密码提示，可以单击“No”，不保存密码直接登录开拓者套件。
Step5 确认开拓者套件成功联网
通过能否ping通进行考验网络
输入ping 8.8.8.8或者ping www.baidu.com
若回显如图所示，则解释开拓者套件还未成功联网。
请连续后续命令配置操作。
输入ip ro回显如下
删除多余的路由
输入ip ro del default via 192.168.137.1添加丢失的路由
输入sudo ip route add default via 192.168.137.102 dev eth1 metric 1
注：这里填写的IP是前文掌握面板中填写的IP地址
输入ip ro回显如下
通过能否ping通进行考验网络
输入ping 8.8.8.8或者ping www.baidu.com
若回显如图所示，则解释开拓者套件已经成功联网。
（若精确配置网络后仍无法联网，请参考昇腾官网文档-精确配置网络后仍无法联网：https://www.hiascend.com/document/detail/zh/Atlas200IDKA2DeveloperKit/23.0.RC2/Appendices/faq/faq_0014.html）
Step6 为开拓者套件添加推理阶段项目工程文件上传
将推理阶段项目工程文件压缩包上传到开拓者套套件
（可以通过拖拽文件的方法上传到MobaXterm）
解压
打开“Terminal”命令行终端界面 ->
实行以下命令，解压项目工程文件压缩包
unzip unet_sdk.zip
unzip unet_cann.zip
模型转换工程目录构造如下:
├── unet_sdk ├── model │ ├──air2om.sh // air模型转om脚本 │ ├──xxx.air //演习阶段导出的air模型 │ ├──aipp_unet_simple_opencv.cfg // aipp文件 │ ├──xxx.om //演习转换产生的om模型
推理阶段工程目录构造如下：
├── unet_cann ├── main.py // 推理文件 ├── image.png //图片数据 ├── mask.png //标签数据
注：
接下来就可以连续旅程，进入推理阶段。
若中途停息或完成实验，记得将开拓者套件关机和下电；若之后返回或连续实验，再次将开拓者套件开机。
如果开拓板下电断开连接，重新上电后PC不会主动再次连接，须要更新状态（例如取消网络共享+再次共享）
七. 实行推理Step1 acl推理脚本打开unet_cann/main.py文件
内容如下，可根据实际开拓情形进行修正。
#!/usr/bin/python# -- coding: utf-8 --import cv2 # 图片处理三方库，用于对图片进行前后处理import numpy as np # 用于对多维数组进行打算from albumentations.augmentations import transforms # 数据增强库，用于对图片进行变换import acl # acl 推理文件库def sigmoid(x): y = 1.0 / (1 + np.exp(-x)) # 对矩阵的每个元素实行 1/(1+e^(-x)) return ydef plot_mask(img, msk): """ 将推理得到的 mask 覆盖到原图上 """ msk = msk + 0.5 # 将像素值范围变换到 0.5~1.5, 有利于下面转为二值图 msk = cv2.resize(msk, (img.shape[1], img.shape[0])) # 将 mask 缩放到原图大小 msk = np.array(msk, np.uint8) # 转为二值图, 只包含 0 和 1 # 从 mask 中找到轮廓线, 个中第二个参数为轮廓检测的模式, 第三个参数为轮廓的近似方法 # cv2.RETR_EXTERNAL 表示只检测外轮廓, cv2.CHAIN_APPROX_SIMPLE 表示压缩水平方向、 # 垂直方向、对角线方向的元素, 只保留该方向的终点坐标, 例如一个矩形轮廓只须要4个点来保存轮廓信息 # contours 为返回的轮廓（list） contours, _ = cv2.findContours(msk, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 在原图上画出轮廓, 个中 img 为原图, contours 为检测到的轮廓列表 # 第三个参数表示绘制 contours 中的哪条轮廓, -1 表示绘制所有轮廓 # 第四个参数表示颜色, （0, 0, 255）表示赤色, 第五个参数表示轮廓线的宽度 cv2.drawContours(img, contours, -1, (0, 0, 255), 1) # 将轮廓线以内（即分割区域）覆盖上一层赤色 img[..., 2] = np.where(msk == 1, 255, img[..., 2]) return img# 初始化变量pic_input = 'image.png' # 单张图片model_path = "../unet_sdk/model/unet_hw960_bs1.om" # 模型路径num_class = 2 # 种别数量, 须要根据模型构造、任务种别进行改变; device_id = 0 # 指定运算的Deviceprint("init resource stage:")# acl初始化ret = acl.init()ret = acl.rt.set_device(device_id) # 指定运算的Devicecontext, ret = acl.rt.create_context(device_id) # 显式创建一个Context，用于管理Stream工具 stream, ret = acl.rt.create_stream() # 显式创建一个Stream, 用于掩护一些异步操作的实行顺序，确保按照运用程序中的代码调用顺序实行任务print("Init resource success")# 加载模型model_id, ret = acl.mdl.load_from_file(model_path) # 加载离线模型文件, 返回标识模型的IDmodel_desc = acl.mdl.create_desc() # 初始化模型描述信息, 包括模型输入个数、输入维度、输出个数、输出维度等信息ret = acl.mdl.get_desc(model_desc, model_id) # 根据加载成功的模型的ID, 获取该模型的描述信息print("Init model resource success")img_bgr = cv2.imread(pic_input) # 读入图片img = cv2.resize(img_bgr, (960,960)) # 将原图缩放到 960960 大小img = transforms.Normalize().apply(img) # 将像素值标准化（减去均值除以方差）img = img.astype('float32') / 255 # 将像素值缩放到 0~1 范围内img = img.transpose(2, 0, 1) # 将形状转换为 channel first (3, 96, 96)# 准备输入数据集input_list = [img, ] # 初始化输入数据列表input_num = acl.mdl.get_num_inputs(model_desc) # 得到模型输入个数input_dataset = acl.mdl.create_dataset() # 创建输入数据for i in range(input_num): input_data = input_list[i] # 得到每个输入数据 # 得到每个输入数据流的指针(input_ptr)和所占字节数(size) size = input_data.size input_data.itemsize # 得到所占字节数 bytes_data=input_data.tobytes() # 将每个输入数据转换为字节流 input_ptr=acl.util.bytes_to_ptr(bytes_data) # 得到输入数据指针 model_size = acl.mdl.get_input_size_by_index(model_desc, i) # 从模型信息中得到输入所占字节数 # if size != model_size: # 判断所分配的内存是否和模型的输入大小符合 # print(" Input[%d] size: %d not equal om size: %d" % (i, size, model_size) + ", may cause inference result error, please check model input") dataset_buffer = acl.create_data_buffer(input_ptr, size) # 为每个输入创建 buffer _, ret = acl.mdl.add_dataset_buffer(input_dataset, dataset_buffer) # 将每个 buffer 添加到输入数据中print("Create model input dataset success")# 准备输出数据集output_size = acl.mdl.get_num_outputs(model_desc) # 得到模型输出个数output_dataset = acl.mdl.create_dataset() # 创建输出数据for i in range(output_size): size = acl.mdl.get_output_size_by_index(model_desc, i) # 得到每个输出所占内存大小 buf, ret = acl.rt.malloc(size, 2) # 为输出分配内存。 dataset_buffer = acl.create_data_buffer(buf, size) # 为每个输出创建 buffer _, ret = acl.mdl.add_dataset_buffer(output_dataset, dataset_buffer) # 将每个 buffer 添加到输出数据中 if ret: # 若分配涌现缺点, 则开释内存 acl.rt.free(buf) acl.destroy_data_buffer(dataset_buffer)print("Create model output dataset success")# 模型推理, 得到的输出将写入 output_dataset 中ret = acl.mdl.execute(model_id, input_dataset, output_dataset)# 解析 output_dataset, 得到模型输出列表model_output = [] # 模型输出列表for i in range(output_size): buf = acl.mdl.get_dataset_buffer(output_dataset, i) # 获取每个输出buffer data_addr = acl.get_data_buffer_addr(buf) # 获取输出buffer的地址 size = int(acl.get_data_buffer_size(buf)) # 获取输出buffer的字节数 byte_data = acl.util.ptr_to_bytes(data_addr, size) # 将指针转为字节流数据 dims = tuple(acl.mdl.get_output_dims(model_desc, i)[0]["dims"]) # 从模型信息中得到每个输出的维度信息 output_data = np.frombuffer(byte_data, dtype=np.float32).reshape(dims) # 将 output_data 以流的形式读入转化成 ndarray 工具 model_output.append(output_data) # 添加到模型输出列表x0 = 2200 # w:2200~4000; h:1000~2800y0 = 1000x1 = 4000y1 = 2800ori_w = x1 - x0ori_h = y1 - y0def _process_mask(mask_path): # 手动裁剪 mask = cv2.imread( mask_path , cv2.IMREAD_GRAYSCALE ) # [y0:y1, x0:x1] return mask[y0:y1, x0:x1]# 后处理model_out_msk = model_output[0] # 取出模型推理结果, 推理结果形状为 (1, 1, 96, 96),即（batchsize, num_class, height, width）model_out_msk = _process_mask("mask.png") # 抠图后的shape， hw# model_out_msk = sigmoid(model_out_msk[0][0]) # 将模型输出变换到 0~1 范围内img_to_save = plot_mask(img_bgr, model_out_msk) # 将处理后的输出画在原图上, 并返回# 保存图片到文件cv2.imwrite('result.png', img_to_save)# 开释输出资源, 包括数据构造和内存num = acl.mdl.get_dataset_num_buffers(output_dataset) # 获取输出个数for i in range(num): data_buf = acl.mdl.get_dataset_buffer(output_dataset, i) # 获取每个输出buffer if data_buf: data_addr = acl.get_data_buffer_addr(data_buf) # 获取buffer的地址 acl.rt.free(data_addr) # 手动开释 acl.rt.malloc 所分配的内存 ret = acl.destroy_data_buffer(data_buf) # 销毁每个输出buffer (销毁 aclDataBuffer 类型)ret = acl.mdl.destroy_dataset(output_dataset) # 销毁输出数据 (销毁 aclmdlDataset类型的数据)# 卸载模型if model_id: ret = acl.mdl.unload(model_id)# 开释模型描述信息if model_desc: ret = acl.mdl.destroy_desc(model_desc)# 开释 streamif stream: ret = acl.rt.destroy_stream(stream)# 开释 Contextif context: ret = acl.rt.destroy_context(context)# 开释Deviceacl.rt.reset_device(device_id)acl.finalize()print("Release acl resource success")Step2 实行脚本
打开Terminal命令行终端界面：确保是否在工程目录unet_cann/路径下
输入cd /root/project/unet_cann
运行示例，输入python3 main.py
输出结果：
注：
到此我们就已经走过了从Ascend910演习到Ascend310推理的昇腾开拓全流程。
更多内容深入参考下方学习资源推举
学习资源推举昇腾官网
文档教程昇腾官网文档-CANN-推理运用开拓视频教程昇腾官网->在线课程->昇腾推理运用开拓及调优gitee代码仓Ascend / sampleshttps://gitee.com/ascend/samples/tree/master/inference
关注@华为云开拓者同盟 ，第一韶光理解华为云新鲜技能~