咨询SpecExit算法

[huliangbing2000]

SpecExit融合了置信度信号，加快了推理速度，很棒的工作！感谢开源！请问我们能否将草稿模型持续预训练成垂直领域模型，这样对于整个投机解码大小协同模型系统，既可以提高推理速度，又可以具备领域知识，这个思路是否可行？有哪些局限性？
谢谢！

[yghstill]

@huliangbing2000 训练成垂直领域模型是一个不错的思路，局限性可能是target model也需要具备垂直领域的能力，才能保证draft model的输出能被接受

[huliangbing2000]

感谢回复！
目标模型能否综合草稿模型的置信度，和与草稿模型的概率分布对齐程度，综合判断下一个分词输出:
1、如果草稿模型的置信度高，也就是自信满满，达到某一程度，比如90%的平滑置信度，那么就忽略与目标模型的分布对齐，直接采用草稿模型的输出。
2、如果草稿模型置信度低，比如5%的平均置信度，就使用目标模型的校正输出。
是否可行？

[yghstill]

感谢回复！ 目标模型能否综合草稿模型的置信度，和与草稿模型的概率分布对齐程度，综合判断下一个分词输出: 1、如果草稿模型的置信度高，也就是自信满满，达到某一程度，比如90%的平滑置信度，那么就忽略与目标模型的分布对齐，直接采用草稿模型的输出。 2、如果草稿模型置信度低，比如5%的平均置信度，就使用目标模型的校正输出。 是否可行？

这种可以尝试，理论上可行，但要考虑draft model模型小，依照scaling law表达能力不足，有时候草稿模型的置信度高会是幻觉

[huliangbing2000]

谢谢！

[RuBing-Yang]

感谢回复！ 目标模型能否综合草稿模型的置信度，和与草稿模型的概率分布对齐程度，综合判断下一个分词输出: 1、如果草稿模型的置信度高，也就是自信满满，达到某一程度，比如90%的平滑置信度，那么就忽略与目标模型的分布对齐，直接采用草稿模型的输出。 2、如果草稿模型置信度低，比如5%的平均置信度，就使用目标模型的校正输出。 是否可行？

可以先观察一下垂直场景里draft model的概率分布，确实可能有draft model置信度虚高的问题。比如我之前看过大小模型投机Qwen 32B+1.7B的概率分布，像下面的math500的例子里有很多被拒绝的token的draft模型的预测概率是很高的。

以及这样会破坏sample的概率分布，就不能做到投机从数学上理论无损了。

[huliangbing2000]

谢谢！您所说的预测概率，是一个token的概率？还是一段窗口所有tokens的平均值？

[RuBing-Yang]

谢谢！您所说的预测概率，是一个token的概率？还是一段窗口所有tokens的平均值？

这个图里是单个token的概率，D和T分别是Draft草稿的概率和Target验证的概率，用窗口算几何平均的话应该确实会好一些