LLM-GGUF加载器
节点中英文对比
LLM-GGUF加载器
model_path
max_ctx
gpu_layers
n_threads
is_locked
LLM-GGUF加载器
model_path
max_ctx
gpu_layers
n_threads
is_locked
LLM-GGUF加载器 - 参数说明
输出参数
model
已加载的 GGUF 模型对象，可与推理/聊天节点配合使用。
控件参数
model_path
指定 GGUF 格式模型文件绝对路径。
max_ctx
上下文长度（最大可处理的token数）。值越大，能记住的上下文越多，但显存/内存占用更高。
gpu_layers
指定多少层模型放到 GPU，其余在 CPU 上运行。适合显存有限时进行分配。
n_threads
CPU 推理时的线程数。多核CPU可以提高速度，建议设置为物理核心数。
is_locked
是否锁定模型：
- true：加载一次后保持固定
- false：允许动态切换模型。
暂无节点说明