https://lidongqi.github.io/categories/llm/ Recent content in Llm on lidongqi Hugo -- 0.137.0 zh Tue, 12 Nov 2024 17:59:13 +0800 https://lidongqi.github.io/posts/ollama_new_model/ Tue, 12 Nov 2024 17:59:13 +0800 https://lidongqi.github.io/posts/ollama_new_model/ <p>有时候需要调整一些模型参数，可以使用ollama模型的自定义功能 以 qwen2.5-coder:32b 为例，修改上下文长度 # 修改modelfile ## 获取modelfile</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama show --modelfile qwen2.5-coder:32b &gt; qwen2.5-coder-32b </span></span></code></pre></div><h2 id="修改配置">修改配置</h2> <p>添加ctx长度，修改为32768，默认长度都是2048。</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">vi qwen2.5-coder-32b </span></span></code></pre></div><p>文档末尾添加</p> <pre><code>PARAMETER num_ctx 32768 </code></pre> <h2 id="创建自定义model">创建自定义model</h2> <p>使用ollama create创建新model即可</p> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">ollama create qwen2.5-coder-32b-ctx-max -f qwen2.5-coder-32b </span></span></code></pre></div><p>完成以后ollama list即可看到新模型</p> <pre><code>qwen2.5-config % ollama list NAME                                ID              SIZE      MODIFIED        qwen2.5-coder-32b-ctx-max:latest    d4ab1461e7a9    19 GB     54 seconds ago     bge-large:latest                    b3d71c928059    670 MB    7 days ago         qwen2.5-coder:32b                   4bd6cbf2d094    19 GB     8 days ago         </code></pre> <p>再调用时qwen2.5-coder-32b-ctx-max 默认可以处理的上下文就是32k</p>