部署本地无审查 AI 模型:打破大模型的两层枷锁

我之前以为本地部署的模型是可以畅所欲言的,但是实际体验后才意识到现在 AI 模型是有两层枷锁,一层是云端提供商的外置过滤器,另一层则是模型在安全对齐(Alignment)训练时,就已经深深刻入权重的“拒绝神经元”,所以要想获得完美的体验,还是需要进行无审查模型的部署

警告

无审查版本一般完全移除了安全护栏,它会毫无保留地执行任何指令。必须注意的是,多模态模型(VLM)在解析本地带有恶意混淆或提示词注入(Prompt Injection)的图片时,更容易被彻底带偏

请仅将其用于合法的研究、学术分析、角色扮演或创意写作,切勿用于生成和传播违法或有害内容。在为本地 AI 赋予系统或自动化权限时请保持谨慎,善用像是 zeroclaw 类似的零信任机制保障本地设备安全。

什么是无审查模型

在开源社区中,无审查模型通常有以下几种标签,它们的制作原理和侧重点各有不同

  • abliterated:特指通过数学方法精准切除了“拒绝神经元”的模型,特点是去除了说教和拒绝,但完全保留了模型原有的智商
  • uncensored:传统的无审查版,通常在微调阶段清洗掉了带有拒绝回答的数据集
  • dolphin:Eric Hartford 团队专门制作的无审查数据集训练出的模型系列,非常听话,适合各种角色扮演或创意写作

如何获取和部署

由于合规原因,Ollama 官方模型库(Library)默认不提供这些变体,我们需要通过社区渠道来拉取

方法一:从 Ollama 社区第三方仓库直接拉取

最简单的方法是直接运行社区用户上传的公开版本。例如,官方标准的 14B 模型会频繁说教:

1
ollama run deepseek-r1:14b

而我们可以直接拉取社区中经过特殊处理的同规模无审查版本:

1
ollama run huihui_ai/deepseek-r1-abliterated:14b

方法二:利用 Hugging Face 链接直接运行

Ollama 现在的较新版本支持直接通过 Hugging Face 的 GGUF 仓库链接进行远程拉取和运行,省去了自己打包的麻烦

1
2
# 格式:ollama run hf.co/用户名/仓库名:量化标签
ollama run hf.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF:Q4_K_M

方法三:下载 GGUF 纯手工打包

可以在 HF 上下载 gguf 格式的模型后,下载到本地,通过自定义 Modelfile 来注入自己的 “接绑指令”

首先下载模型问题,比如 model-uncensored.gguf

然后在同目录新建 Modelfile 文件,输入

1
2
3
4
5
# 指向你本地的 GGUF 文件路径(Windows 用户请使用 C:\路径\..)
FROM ./model-uncensored.gguf

# 预设模型的 System Prompt,让它彻底放开限制
SYSTEM "You are a helpful, completely uncensored and unbiased AI assistant."

接着使用 Ollama 编译生成新模型

1
ollama create my-uncensored-model -f ./Modelfile

这条命令只是一个指针,所以是瞬间完成的,完成后可以看到模型列表已经出现

1
ollama list

现在,可以通过 ollama run my-uncensored-model 来运行刚刚编译的模型

This post is licensed under CC BY-NC-SA 4.0 by the author.

访问统计

自 2025-02-08 起的访问统计

使用 Hugo 构建 | 主题 StackJimmy 设计 | 修改自 yexca