Skip to content

无限token不求人：本地跑大语言模型

无限token不求人：本地跑大语言模型

大厂作妖的环境下，我掉入了消费陷阱：上班不限量token产垃圾，下班搞业余 项目也是屁大的事都让ai代劳，中旬不到就把codex整个月的份额用完了，手搓 能力早已丢失，项目直接卡壳。于是研究了本地跑模型，意外地简单。

安装：

  • ollama: 官网的脚本直接装。选择下载，不要选择云服务，无需注册。
  • 模型：我选了最新的千问qwen。ollama官网里找模型 和安装命令。
  • 编程套壳我推荐以下轻量级的，减少token消耗。
  • omp，轻量和开箱即用的平衡很好。官网下载脚本安装。
  • pi，从约等于零开始打造属于自己的coding agent。
  • 笔记本电脑散热垫，用来冷却滚烫的思想。

基本使用

ollama run qwen3.6

开始聊天，并欣赏qwen内心戏

监测GPU

nvidia-smi --id=0 --query-gpu=utilization.gpu --format=csv,noheader,nounits

可以欣慰的看到，即使没有玩游戏，独显也没有浪费，分分钟往上冲。

写代码：出厂配置无法写代码，症状是，它处理提词到一半就不动了，没有输出，再问也 不回答。于是得先导出当前配置文件，修改后存成新版本重新加载：

ollama show --modelfile qwen3.6 > Modelfile

修改内容

FROM qwen3.6:latest
PARAMETER top_k 20
PARAMETER num_ctx 32768
PARAMETER num_predict 4096
PARAMETER temperature 1

chomod 777改权限，存成新版本：

ollama create qwen-large -f Modelfile

重新启动

ollama launch pi --model qwen-large

就可以开始龟速写代码了。