Hy3D Torch Compile Settings
节点功能:用于配置PyTorch的torch.compile编译参数,优化推理速度。Hy3D Torch Compile
节点中英文对比
Hy3D Torch Compile Settings
backend
fullgraph
mode
dynamic
dynamo_cache_size_limit
compile_transformer
compile_vae
Hy3D Torch Compile Settings
backend
fullgraph
mode
dynamic
dynamo_cache_size_limit
compile_transformer
compile_vae
Hy3D Torch Compile Settings - 参数说明
输出参数
torch_compile_args
Torch 编译配置参数字典,供模型加载器调用,实现编译优化。
控件参数
backend
指定 torch.compile 使用的后端优化引擎。
inductor 是最常用的 JIT 编译后端,推荐使用;
cudagraphs 更适合静态图。需根据硬件和模型选择。
fullgraph
是否启用完整图模式。若为 True,则要求模型是完整图结构,优化幅度更大,但对动态模型不友好。建议默认关闭。
mode
torch 编译模式,控制优化策略。
default: 默认配置;
max-autotune: 最大性能自动调优;
max-autotune-no-cudagraphs: 禁用 cudagraphs 的最大调优版本;
reduce-overhead: 优化启动性能,适用于短模型。
dynamic
是否启用动态形状支持。如果模型输入尺寸会变,建议启用。否则可关闭以获得更高性能。
dynamo_cache_size_limit
设置 Torch Dynamo 的缓存大小上限。单位MB,默认值64。
compile_transformer
是否对Transformer模块启用优化。
compile_vae
是否对vae模块启用优化。
暂无节点说明