AI 模型质量保障 · 压缩 · 低端显卡与平民化部署

全面认知手册（现状 · 科研 · 未来）

目标：弄清 AI 模型如何 保质量、压体积、跑在低端显卡/平民设备上——技术原理、工具生态、硬件门槛、科研前沿与未来。
方法：规划 → 4 轮迭代调研 → 双层文档（简介表 + 详细说明 + 链接）。
日期：2026-07-13
范围：以 LLM 推理压缩与本地部署 为主，兼及图像/语音侧共性思路。

姊妹文档

• 纯AI领域全面认知手册.md
• AI生成式媒体_图像视频音频_认知手册.md

阅读导航

目录

1. 五分钟总览
2. 问题本质：质量 · 体积 · 速度 · 显存
3. 技术地图：怎么「变小」还能「好用」
4. 量化深度：INT8/INT4 · GPTQ · AWQ · GGUF
5. 蒸馏 · 剪枝 · 小模型 · MoE
6. 推理系统优化：注意力 · KV · 投机解码
7. 平民硬件现实：能跑多大
8. 软件生态：llama.cpp · Ollama · MLX · vLLM…
9. 科研前沿：1.58-bit · 端侧 · 边缘
10. 未来情景与时间线
11. 实践指南：选型 · 工作流 · 质量门
12. 规划与四轮迭代过程
13. 学习路径
14. 链接总库
15. 诚实边界
    附录：一页纸作弊条

0. 五分钟总览

0.1 简介

「大模型只有数据中心能跑」已经过时。通过 量化 + 蒸馏小模型 + 高效推理引擎 + 可选 MoE，8–12GB 消费级显卡 可流畅跑 7B–14B 级对话模型；旗舰手机可跑 1B–3B 级；更大模型靠「显存不够时 CPU/RAM 分担」或「只激活部分专家」。

0.2 一句话地图

0.3 压缩手段「谁主谁辅」

训练期：小模型设计 · 蒸馏 · 原生低比特(BitNet) · 剪枝感知训练
    ↓
导出期：GPTQ / AWQ / GGUF 等后训练量化
    ↓
推理期：FlashAttention · KV 量化 · 投机解码 · 连续批处理 · 层卸载
    ↓
产品期：LoRA 热插拔 · 路由到云大模型（难任务）

0.4 内存直觉（粗算）

*另加 KV Cache（随上下文长度暴涨）、激活、框架开销——所以「模型 4GB」≠「4GB 显卡一定够」。

1. 问题本质：质量 · 体积 · 速度 · 显存

1.1 四目标冲突

1.2 瓶颈在哪（为何量化有效）

1.3 「质量」测什么

原则：用 你的任务集 对比 FP16 vs Q4/Q5，而不是只看博主 demo。

2. 技术地图：怎么「变小」还能「好用」

2.1 全家桶总表

*具体数字因模型与校准而异，见 §3 产业对比叙述。

2.2 保证质量的「方法论」

3. 量化深度：INT8/INT4 · GPTQ · AWQ · GGUF

3.1 精度阶梯

3.2 主流后训练量化方法

产业对比叙述例（8B/70B 量级、质量掉点供参考，非普适真理）：
https://sesamedisk.com/quantization-techniques-ai-inference-2026/

解读：
https://www.spheron.network/blog/awq-quantization-guide-llm-deployment/
https://www.e2enetworks.com/blog/which-quantization-method-is-best-for-you-gguf-gptq-or-awq

3.3 GGUF 档位怎么选（经验表）

社区盲测讨论（主观）：https://github.com/ggml-org/llama.cpp/discussions/5962

3.4 量化会伤哪里更多

4. 蒸馏 · 剪枝 · 小模型 · MoE

4.1 知识蒸馏（KD）

简介

大老师 → 小学生：学生学老师的输出分布/推理轨迹，而不是只学原始语料。

表

端侧综述取向：https://v-chandra.github.io/on-device-llms/
SLM 综述 arXiv 例：https://arxiv.org/html/2501.05465v2

质量含义

4.2 剪枝（Pruning）

MoE 剪枝论文例：
https://arxiv.org/abs/2410.12013 （MoE-Pruner）
https://arxiv.org/abs/2407.00945 （EEP）

4.3 小语言模型 SLM（1B–9B）

系统综述（部署/隐私/量化组合）：
https://onlinelibrary.wiley.com/doi/full/10.1111/exsy.70331

4.4 MoE：总参数大，每次只算一部分

社区硬件实践叙述例：12GB 卡跑大 MoE 量化的经验帖（作启发非保证）——检索 Qwen MoE llama.cpp 4070。

5. 推理系统优化：注意力 · KV · 投机解码

5.1 简介

不改模型权重 也能大幅加速、省显存——平民与机房都用。

5.2 FlashAttention 与高效注意力

5.3 KV Cache 优化

• QuantSpec（Apple ML Research）：https://machinelearning.apple.com/research/quantspec
• arXiv：https://arxiv.org/abs/2502.10424
• vLLM FP8 KV 文档：https://docs.vllm.ai/en/latest/features/quantization/quantized_kvcache/

5.4 投机解码（Speculative Decoding）

5.5 服务端叠加（对照平民）

6. 平民硬件现实：能跑多大

6.1 简介

经验规则（Q4–Q5、中等上下文、聊天向）——实测为准。

6.2 显存/内存粗对照

6.3 显存不够时的手段

6.4 「能用」的主观标准

7. 软件生态：llama.cpp · Ollama · MLX · vLLM…

7.1 选型总表

对比研究例（Apple Silicon）：https://arxiv.org/pdf/2511.05502
本地指南例：https://www.sitepoint.com/definitive-guide-local-llms-2026-privacy-tools-hardware/

7.2 典型平民路径

1. 安装 Ollama 或 LM Studio
2. 拉 7B–8B 的 Q4/Q5 指令模型
3. 本地聊天评测你的任务
4. 不够强 → 换 14B 或云 API 混合
5. 要隐私微调 → Unsloth/QLoRA + 再量化

7.3 图像/语音侧的「平民压缩」（补充）

8. 科研前沿：1.58-bit · 端侧 · 边缘

8.1 BitNet / 1.58-bit LLM

论文：

• https://arxiv.org/abs/2402.17764 （b1.58）
• JMLR BitNet：https://www.jmlr.org/papers/v26/24-2050.html
• 推理框架：https://github.com/microsoft/BitNet
• 2B 级开放权重相关：检索 BitNet b1.58 2B4T / https://arxiv.org/abs/2504.12285

8.2 端侧 LLM 现状（2026 取向）

综述页：https://v-chandra.github.io/on-device-llms/

8.3 其他科研热点

9. 未来情景与时间线

质量会怎样

10. 实践指南：选型 · 工作流 · 质量门

10.1 按显存选起点

10.2 质量保障清单（压缩发布前）

10.3 推荐组合配方

10.4 常见坑

11. 规划与四轮迭代过程

11.1 总规划

11.2 四轮记录

迭代 1 — 量化

| 得 | GPTQ 层式压；AWQ 激活感知常更稳；GGUF 平民生态；INT4 大约对半显存、任务掉点常个位数百分点内（视模型） |
| 源 | 产业对比文、llama.cpp 讨论 |

迭代 2 — 蒸馏与 SLM

| 得 | 蒸馏是小模型主路径；推理轨迹蒸馏抬数学；端侧 1B–3B 实时 |
| 源 | on-device 综述、SLM 综述、DeepSeek-R1 蒸馏叙事 |

迭代 3 — 运行时与硬件

| 得 | llama.cpp/Ollama/MLX/vLLM 分工；8–12GB 可跑 7B–14B；MoE 技巧 |
| 源 | 本地 LLM 指南、运行时比较 arXiv |

迭代 4 — 前沿系统

| 得 | BitNet 原生三值；KV 量化与 QuantSpec；剪枝/专家剪枝；质量门实践 |
| 源 | arXiv 2402.17764、BitNet GitHub、Apple QuantSpec、MoE-Pruner |

11.3 续更（第 5 轮）

[ ] 新 GGUF 档位 / 引擎版本
[ ] 新端侧 SoC NPU 算子支持
[ ] BitNet 生态是否进 Ollama
[ ] 自家任务压缩回归测试

12. 学习路径

12.1 三天上手

12.2 进阶

13. 链接总库

13.1 量化与格式

13.2 蒸馏 · SLM · 端侧

13.3 运行时

13.4 BitNet / 低比特

13.5 KV / 投机 / 剪枝

14. 诚实边界

附录：一页纸作弊条

保质量：任务评测门禁 + 校准数据 + 别过度量化 + 蒸馏对齐任务。
主压缩：INT4/Q4–Q5 量化（AWQ/GPTQ/GGUF）。
变聪明的小：蒸馏（尤其推理轨迹）> 硬剪到残废。
省算力结构：MoE 激活少；GQA；小模型。
系统加速：FlashAttn、KV 量化、投机解码、批处理。
平民路径：Ollama/LM Studio + 8B Q4/Q5 + 12GB 甜点。
8GB：7B Q4；不够就卸载/降上下文/上云混合。
科研尖刀：BitNet 1.58-bit 原生训练 + 端侧 NPU。
未来：离线默认 + 云攻坚难推理。
别做：Q2 强上当万能；忽视 KV；无评测发布。

文档结束

路径：D:\AI\量子\AI模型压缩与平民化部署_认知手册.md

建议读序：§0 → §3 → §6–§7 → §4–§5 → §8–§10。