如何使用yarn呢

[dawson-chen]

我在训练qwen3-32b的模型，它本身的上下文窗口是32k，我想问一下如何在roll里面使用外推的方式进行64k上下文的训练。

[PanAndy]

可以查找vllm的配置，rope_scaling类似下面的。

    strategy_name: vllm
    strategy_config:
      max_model_len: 65536
      gpu_memory_utilization: 0.8
      block_size: 16
      # load_format: auto
      tensor_parallel_size: 8
      rope_scaling:
        rope_type: yarn
        factor: 2.0
        original_max_position_embeddings: 32768

不过一般会都先sft扩长吧。