From d983ac64b3413384cd11f3484856d42822c7f7c4 Mon Sep 17 00:00:00 2001
From: liudan <403644786@qq.com>
Date: Fri, 12 Sep 2025 15:26:32 +0800
Subject: [PATCH] =?UTF-8?q?=E4=BF=AE=E6=94=B9=E4=BA=86eagle3=E7=9A=84?=
 =?UTF-8?q?=E4=BD=BF=E7=94=A8=E6=96=B9=E6=B3=95?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 README.md | 17 ++++++++++++++---
 1 file changed, 14 insertions(+), 3 deletions(-)

diff --git a/README.md b/README.md
index 744bd99..c50ce82 100644
--- a/README.md
+++ b/README.md
@@ -462,7 +462,17 @@ cd vllm
 pip install -e .
 ```
 
-###### 3. 启动带有投机采样的 vLLM 服务
+###### 3. 修改模型的draft model的config文件
+
+由于vllm和sglang在eagle3适配时的模型名冲突问题，vllm现在需要修改cofig文件，具体操作如下：
+
+ ```bash
+ cd your/path/MiniCPM4_1-8B-Eagle3-bf16
+sed -i 's/"LlamaForCausalLMEagle3"/"LlamaForCausalLM"/g' config.json
+ ```
+ 其中your/path为下载的 MiniCPM4_1-8B-Eagle3-bf16 文件夹地址
+
+###### 4. 启动带有投机采样的 vLLM 服务
 
 启动启用了投机采样的 vLLM 推理服务。请确保在 speculative-config 中将模型路径更新为下载的 MiniCPM4_1-8B-Eagle3-bf16 文件夹：
 
@@ -479,7 +489,7 @@ vllm serve openbmb/MiniCPM4.1-8B \
 }'
 ```
 
-###### 4. 客户端使用示例
+###### 5. 客户端使用示例
 
 客户端使用方式在标准解码和投机采样下保持一致：
 
@@ -601,7 +611,8 @@ EAGLE3 的适配 PR 已经提交。目前请使用我们的仓库进行安装：
 ```bash
 git clone https://github.com/LDLINGLINGLING/sglang.git
 cd sglang
-pip install -e .
+pip install --upgrade pip
+pip install -e "python[all]"
 ```
 
 ###### 3. 启动带有投机采样的 SGLang 服务