模型从onnx转换为rknn格式是,如果不开启量化表现正常,开启量化就预测不正常

  • 我做了自己知道的所有尝试,都不行。包括下面:
    1. 我在模拟器上推理就异常了。
    2. npy和图像做校准文件都试过,也不行。
    3. 我用训练集做预测,预测也是异常,都是指向同样类别。
    4. normailize,通道转换与否都试过了,也不行。
    5. 更换了模型,从resnet18,到mobilenet,efficient-net。都不行
  • 我又尝试pytorch QAT训练后,训练好的图像4分类量化模型,转成rknn格式化后,在模拟器上float的输出是四个值,但是到了板子上推理的时候,结果值有八个input_attrs[0].size 是8. ?
  • 您好,我们没有参与rknn-toolkit2的开发和维护,模型转化问题属于二次开发我们不提供技术支持,自用模型遇到的问题可以到https://github.com/airockchip/rknn-toolkit2创建issue,或者到rknn-toolkit2仓库指定的QQ群咨询。相关文档在https://github.com/airockchip/rknn-tool ... master/doc
  • Crocodile wrote: 2025-07-07 5:55 您好,我们没有参与rknn-toolkit2的开发和维护,模型转化问题属于二次开发我们不提供技术支持,自用模型遇到的问题可以到https://github.com/airockchip/rknn-toolkit2创建issue,或者到rknn-toolkit2仓库指定的QQ群咨询。相关文档在https://github.com/airockchip/rknn-tool ... master/doc
    理解你们。十分感谢指出了明路。
  • ichilong wrote: 2025-07-07 3:42 我又尝试pytorch QAT训练后,训练好的图像4分类量化模型,转成rknn格式化后,在模拟器上float的输出是四个值,但是到了板子上推理的时候,结果值有八个input_attrs[0].size 是8. ?
    这是因为pytorch 量化后的模型,输出是FP16的类型,所以每个值有两个字节。官方样例里面有float16的文件,可以直接读取。