模型部署——RKNN模型量化精度分析及混合量化提高精度（附代码）-CSDN博客
3.1 量化精度分析流程
计算不同情况下，同一层网络输入值的余弦距离，来近似的查看每一层精度损失的情况。具体量化精度分析的流程如下：
3.2 量化精度分析accuracy_analysis接口
量化精度分析调用accuracy_analysis接口，推理并产生快照,也就是dump出每一层的tensor数据。会dump出包括fp32和quant两种数据类型的快照，用于计算量化误差。
注:
该接口只能在 build或 hybrid_quantization_step2之后调用，并且原始模型应该为非量化的模型，否则会调用失败。
该接口使用的量化方式与config_中指定的一致。
3.3.1 参数修改
量化精度分析代码对应于源码包中accuracy_analysis.py脚本，需要修改的地方如下：
from rknn.api import RKNN
import cv2
import numpy as np
if __name__=='__main__':
rknn = RKNN(verbose=True) # 打印详细日志
# 调用config接口设置模型的预处理、量化方法等参数
rknn.config(
mean_values = [[123.675,116.28,103.53]], # mean_values表示预处理要减去的均值化参数
std_values = [[58.395,58.395,58.395]], # std_values 表示预处理要除的标准化参数
target_platform = "rk3588" # target_platform表示生成的RKNN模型要运行在哪个RKNPU平台上。通常有rk3588,rk3566,rv1126等
)
# 添加load_xxx接口，进行常用深度学习模型的导入 将深度学习模型导入
rknn.load_pytorch(
model = "./resnet18.pt",
input_size_list = [[1, 3,224,224]]
)
# 使用build接口来构建RKNN模型
rknn.build(
do_quantization = True,
dataset = "dataset.txt",
rknn_batch_size = -1
)
# 调用export_rknn接口导出RKNN模型
rknn.export_rknn(export_path="resnet18.rknn")
# 使用accuracy_analysis 接口进行模型量化精度分析
rknn.accuracy_analysis(
inputs = ["space_shuttle_224.jpg"], # inputs 表示进行推理的图像
output_dir = 'snapshot', # 表示精度分析的输出目录
target = None, # 表示目标硬件平台
device_id = None, # 表示设备的编号
)
rknn.release()4.2.2.2 代码
具体代码对应于源码包中hrhrid_quantization文件夹中的setp1.py脚本，具体代码如下：
from rknn.api import RKNN
import cv2
import numpy as np
if __name__=='__main__':
rknn = RKNN(verbose=True) # 打印详细日志
# 调用config接口设置模型的预处理、量化方法等参数
rknn.config(
mean_values = [[123.675,116.28,103.53]], # mean_values表示预处理要减去的均值化参数
std_values = [[58.395,58.395,58.395]], # std_values 表示预处理要除的标准化参数
target_platform = "rk3588" # target_platform表示生成的RKNN模型要运行在哪个RKNPU平台上。通常有rk3588,rk3566,rv1126等
)
# 添加load_xxx接口，进行常用深度学习模型的导入 将深度学习模型导入
rknn.load_pytorch(
model = "./resnet18.pt",
input_size_list = [[1, 3,224,224]]
)
# 使用hybrid_quantization_step 接口进行混合量化第一步
rknn.hybrid_quantization_step1(
dataset="dataset.txt", # 表示模型量化所需要的数据集
rknn_batch_size=-1, # 表示自动调整模型输入batch数量
proposal=False, # 设置为True，可以自动产生混合量化的配置建议，比较耗时
# proposal= True, # 设置为True，可以自动产生混合量化的配置建议，比较耗时
proposal_dataset_size=1, # 第三步骤所用的图片
)
rknn.release()
4.2.2.5 添加量化层
从上面可以看出25层，33层，43层，51层等损失较大，这里举例选取其中input.25层，将该层从量化层转为非量化层，在resnet18.quantization.cfg文件夹添加，如下：
4.3.3 代码
代码对应源码包中的step2.py，具体代码如下：
from rknn.api import RKNN
if __name__=="__main__":
rknn = RKNN(verbose=True)
# 调用hyborid_quantization_step2接口进行混合量化的第二个步骤
rknn.hybrid_quantization_step2(
model_input = "resnet18.model", # 表示第一步生成的模型文件
data_input= "resnet18.data", # 表示第一步生成的配置文件
model_quantization_cfg="resnet18.quantization.cfg" # 表示第一步生成的量化配置文件
)
# 调用量化精度分析接口（评估RKNN模型）
rknn.accuracy_analysis(
inputs=["space_shuttle_224.jpg"],
output_dir="./snapshot",
target = None
)
# 调用RKNN模型导出RKNN模型
rknn.export_rknn(export_path="./resnet18.rknn")
rknn.release()
