ollama自定义模型

有时候需要调整一些模型参数,可以使用ollama模型的自定义功能 以 qwen2.5-coder:32b 为例,修改上下文长度 # 修改modelfile ## 获取modelfile ollama show --modelfile qwen2.5-coder:32b > qwen2.5-coder-32b 修改配置 添加ctx长度,修改为32768,默认长度都是2048。 vi qwen2.5-coder-32b 文档末尾添加 PARAMETER num_ctx 32768 创建自定义model 使用ollama create创建新model即可 ollama create qwen2.5-coder-32b-ctx-max -f qwen2.5-coder-32b 完成以后ollama list即可看到新模型 qwen2.5-config % ollama list NAME ID SIZE MODIFIED qwen2.5-coder-32b-ctx-max:latest d4ab1461e7a9 19 GB 54 seconds ago bge-large:latest b3d71c928059 670 MB 7 days ago qwen2.5-coder:32b 4bd6cbf2d094 19 GB 8 days ago 再调用时qwen2.5-coder-32b-ctx-max 默认可以处理的上下文就是32k

十一月 12, 2024 · lidongqi