VLM-GGUF加载器
节点中英文对比
VLM-GGUF加载器
ckpt_path
clip_path
max_ctx
gpu_layers
n_threads
chat_format
is_locked
VLM-GGUF加载器
ckpt_path
clip_path
max_ctx
gpu_layers
n_threads
chat_format
is_locked
VLM-GGUF加载器 - 参数说明
输出参数
model
已加载的 GGUF 模型对象，可用于后续推理。
控件参数
ckpt_path
GGUF 格式的主模型文件路径。
clip_path
GGUF 格式的投影模型文件路径。
max_ctx
最大上下文长度（即模型能处理的最大 token 数），例如 512。值越大显存占用越高。
gpu_layers
设置有多少层计算放在 GPU 上执行，其余在 CPU 上。数值越大推理越快，但显存占用越高。
n_threads
CPU 推理时的线程数，推荐与本机 CPU 核心数相同或稍低。
chat_format
聊天格式，需与模型兼容。
is_locked
是否锁定模型，true 表示加载一次后保持不变，避免重复加载。
暂无节点说明