Hello. 我目前在使用yolox-l,经过torchtrt转换以后的模型,在推理(python)的时候,我发现显存占用会很大,大约在4.9G左右。然而使用C++推理程序,显存只有1.8G。检测效果都是正常,非常nice。 请问一下,你在使用tensorrt的时候有这个问题嘛? 这个问题不管是使用您的官方权重,还是使用我自己的数据集训练出来的模型,都是有这个问题。 我使用的是3080显卡
Hello.
我目前在使用yolox-l,经过torchtrt转换以后的模型,在推理(python)的时候,我发现显存占用会很大,大约在4.9G左右。然而使用C++推理程序,显存只有1.8G。检测效果都是正常,非常nice。
请问一下,你在使用tensorrt的时候有这个问题嘛?
这个问题不管是使用您的官方权重,还是使用我自己的数据集训练出来的模型,都是有这个问题。
我使用的是3080显卡