本地部署模型 llama + opencode + Qwen3.8-32b
ai, llm, qwem
本地部署模型 llama + opencode + Qwen3.8-32b
本文意在本地部署大模型以及Agent，并打通整个流程；
环境：Windows11 + RTX4090
下载
Llama.cpp 下载
在 Github 查看最新 Release，Github地址，然后根据自己的平台进行文件下载，我是 Windows + Nvida 显卡，因此选择 Windows x64 CUDA 12 构建及对应 CUDA DLL；
| 文件 | 用途 | 下载 |
|---|---|---|
| llama-b11669-bin-win-cuda-12.4-x64.zip | llama.cpp Windows CUDA 主程序，约 267MB | 点击下载 |
| cudart-llama-bin-win-cuda-12.4-x64.zip | 配套 CUDA DLL，约 391MB | 点击下载 |
下载后，将两个压缩包解压到同一个目录下边，需要确保 llama-server.exe 和配套 DLL 位于该目录，然后运行：
Set-Location D:\LocalAI\llama.cpp
.\llama-server.exe --version
.\llama-server.exe --list-devices
第二条能列出 RTX 4090 / CUDA，那么就表示成功了。
错误处理：
| 问题 | 处理 |
|---|---|
缺少 cublas、cudart 等 DLL | 重新检查配套 CUDA DLL 是否解压到正确位置 |
缺少 VCRUNTIME140 / MSVCP140 | 安装 微软 VC++ x64 运行库 |
| CUDA 驱动不兼容 | 更新 NVIDIA 驱动，再重启 |
| 仅识别 CPU | 检查是否下载了 CUDA 构建、相关 DLL 是否完整 |
opencode 安装
opencode 推荐用 node 直接安装就好，其它方式可以直接查看官网，点击跳转。
执行命令：
npm install -g opencode-ai
然后再执行：
opencode
显示出如下界面就表示成功。（使用 exit 退出）。
Qwen模型下载
直接到 HuggingFace 官网下载，点击跳转。
然后选择自己需要的量化版本就好，这里我选择下载 ：Qwen3.8-27B-UD-Q4_K_M.gguf
启动模型
创建启动脚本
新建一个 start-qwen.ps1 脚本，然后再里边填充一下内容：
$serverExe = "<你的Llama安装位置>\llama-server.exe"
$modelFile = "<你的模型位置>\Qwen3.8-27B-UD-Q4_K_M.gguf"
$ErrorActionPreference = "Stop"
if (-not (Test-Path -LiteralPath $serverExe)) {
throw "Server executable not found: $serverExe"
}
if (-not (Test-Path -LiteralPath $modelFile)) {
throw "Model file not found: $modelFile"
}
$templateOptions = @{
enable_thinking = $false
}
$env:LLAMA_ARG_CHAT_TEMPLATE_KWARGS = (
$templateOptions | ConvertTo-Json -Compress
)
$serverArgs = @(
"--model", $modelFile,
"--alias", "qwen-local",
"--host", "127.0.0.1",
"--port", "8080",
"--n-gpu-layers", "99",
"--ctx-size", "16384",
"--parallel", "1",
"--batch-size", "512",
"--ubatch-size", "128",
"--flash-attn", "on",
"--jinja"
)
Set-Location -LiteralPath (Split-Path -Parent $serverExe)
& $serverExe @serverArgs
基本配置：
| 参数 | 设置 | 目的 |
|---|---|---|
--alias | qwen-local | 固定 API 模型名，后续换文件时容易维护 |
--host | 127.0.0.1 | 本机访问 |
--n-gpu-layers | GPU layers 99 | 尽可能把模型层卸载到 GPU |
--ctx-size | 上下文 16384 | 先验证兼容性与显存 |
--parallel | 单并发 | 给单张显卡留出余量 |
| 关闭思考 | 先验证正文和工具调用 | |
--jinja | Jinja | 使用模型自带模板及工具调用解析 |
具体参数可以查看 Llama 文档：点击跳转
先本地启动验证：需要将脚本地址修改为你自己的目录
powershell.exe -NoProfile -ExecutionPolicy Bypass -File D:\LocalAI\scripts\start-qwen.ps1
配置opencode
在项目目录下创建 opencode.json：
{
"$schema": "https://opencode.ai/config.json",
"enabled_providers": ["local"],
"model": "local/qwen-local",
"small_model": "local/qwen-local",
"share": "disabled",
"provider": {
"local": {
"npm": "@ai-sdk/openai-compatible",
"name": "Local llama.cpp",
"options": {
"baseURL": "http://127.0.0.1:8080/v1",
"apiKey": "local"
},
"models": {
"qwen-local": {
"name": "Qwen Local",
"limit": {
"context": 16384,
"output": 4096
}
}
}
}
}
}
这里：
local是供应商 ID。qwen-local必须与启动脚本中的--alias一致。small_model同样指向本地，供辅助任务使用。- 上下文先与服务端保持一致。
- 本地服务未启用鉴权，
local是占位字符串。
这个配置是按官方 llama.cpp 接入示例调整，使用 Chat Completions 兼容适配器。官方文档
然后启动，首次安装依赖、检查更新等行为仍可能需要联网。
Set-Location D:\LocalAI\projects\novel
opencode
启动后，首先选择模型：
/models
确认选中 Local llama.cpp 下的模型。需要写文件时，使用 Build 模式；Plan 模式用于分析规划。
到这里，基本就配置完成了，可以畅想本地Agent和模型了。
感谢读到这里
日志还会继续，欢迎常来。
返回首页