我之前以为本地部署的模型是可以畅所欲言的,但是实际体验后才意识到现在 AI 模型是有两层枷锁,一层是云端提供商的外置过滤器,另一层则是模型在安全对齐(Alignment)训练时,就已经深深刻入权重的“拒绝神经元”,所以要想获得完美的体验,还是需要进行无审查模型的部署
警告
无审查版本一般完全移除了安全护栏,它会毫无保留地执行任何指令。必须注意的是,多模态模型(VLM)在解析本地带有恶意混淆或提示词注入(Prompt Injection)的图片时,更容易被彻底带偏
请仅将其用于合法的研究、学术分析、角色扮演或创意写作,切勿用于生成和传播违法或有害内容。在为本地 AI 赋予系统或自动化权限时请保持谨慎,善用像是 zeroclaw 类似的零信任机制保障本地设备安全。
什么是无审查模型
在开源社区中,无审查模型通常有以下几种标签,它们的制作原理和侧重点各有不同
abliterated:特指通过数学方法精准切除了“拒绝神经元”的模型,特点是去除了说教和拒绝,但完全保留了模型原有的智商uncensored:传统的无审查版,通常在微调阶段清洗掉了带有拒绝回答的数据集dolphin:Eric Hartford 团队专门制作的无审查数据集训练出的模型系列,非常听话,适合各种角色扮演或创意写作
如何获取和部署
由于合规原因,Ollama 官方模型库(Library)默认不提供这些变体,我们需要通过社区渠道来拉取
方法一:从 Ollama 社区第三方仓库直接拉取
最简单的方法是直接运行社区用户上传的公开版本。例如,官方标准的 14B 模型会频繁说教:
| |
而我们可以直接拉取社区中经过特殊处理的同规模无审查版本:
| |
方法二:利用 Hugging Face 链接直接运行
Ollama 现在的较新版本支持直接通过 Hugging Face 的 GGUF 仓库链接进行远程拉取和运行,省去了自己打包的麻烦
| |
方法三:下载 GGUF 纯手工打包
可以在 HF 上下载 gguf 格式的模型后,下载到本地,通过自定义 Modelfile 来注入自己的 “接绑指令”
首先下载模型问题,比如 model-uncensored.gguf
然后在同目录新建 Modelfile 文件,输入
| |
接着使用 Ollama 编译生成新模型
| |
这条命令只是一个指针,所以是瞬间完成的,完成后可以看到模型列表已经出现
| |
现在,可以通过 ollama run my-uncensored-model 来运行刚刚编译的模型