luckfox pico plus int4量化
-
NPU可以支持INT4，INT8，INT16，但是在RKNN模型转换的时候并没有INT4模型转换的接口，默认INT8.请问如何进行INT4的模型量化。
您好，RV1106 的 RKNPU C_API 确实支持 INT4 量化模型的输入，但是 rknn-toolkit2 工具没有明确说明量化为 int4 格式的 rknn 模型的方法，仅提供了 int4 矩阵乘法的使用，应该是还没有更上层的API提供，目前应该只能在混合量化中针对指定的层用基于矩阵乘法构建自定义算子来使用，更多细节建议在 RKNN-toolkit2 中提issue ，我们不参与 rknn 相关的开发维护