NVFP4量化咨询

[lky1666666]

我观察到您单位之前发布了qwen 32b版本的NVFP4量化模型，但是目前未在训练程序中找到NVFP4量化方法，我的疑问是本工具是否支持NVFP4量化

[yghstill]

@lky1666666 支持了的，在https://github.com/Tencent/AngelSlim/tree/main/configs/qwen3/nvfp4
可以通过以下方式启动量化：

python3 tools/run.py -c configs/qwen3/nvfp4/qwen3-1_7b_nvfp4.yaml

[lky1666666]

感谢回复，注意到目前只进行自回归模型的nvfp4量化，是否支持扩散模型的nvfp4量化？

[yghstill]

@lky1666666 Diffusion模型的nvfp4我们在开发中，支持后会立即开源~