Maple-Preview-GGUF三值量化入门TQ1_0与TQ2_0有何不同【免费下载链接】maple-preview-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF三值量化Ternary Quantization正在成为端侧大模型部署的热门方向而Maple-Preview-GGUF项目正是把三值量化变成开箱即用 GGUF 文件的典型代表。Maple-Preview 是一个 20B-A1B 参数的推理模型经过TQ1_0 与 TQ2_0两套三值打包方案压缩后整套权重仅占 4.6~5.9GB普通 CPU 笔记本也能本地运行。本文面向新手用大白话讲清三值量化是什么、TQ1_0 与 TQ2_0 有何不同并教你快速挑出最合适的 GGUF 模型文件。什么是三值量化先花1分钟搞懂大模型压缩原理大模型的体积主要由权重Weight决定。传统模型用 16bit 浮点数FP16存储一个权重一个 20B 参数模型需要约 40GB 空间。量化Quantization就是给权重瘦身8bit 量化一个权重占 1 字节体积直接减半4bit 量化如 Q4_K一个权重约 4bit体积缩到约 1/4三值量化Ternary把权重压缩成-1、0、1三个值每个权重只需 1~2bit 三值量化之所以省是因为它直接抛弃了精细数值只保留最核心的符号信息。对推理模型而言这种极致压缩在保住推理能力的同时把体积压到了极限。三值量化的最大价值让 20B 级别的大模型装进 5GB 内存在无独显的场景下也能流畅推理——这正是 Maple-Preview 从设计之初就瞄准的端侧推理场景完整架构说明见 README.md。TQ1_0 与 TQ2_0 有何不同两种三值打包方案深度对比TQ1_0 与 TQ2_0 都是三值量化区别在于打包packing方式不同——就好比同样的货物换一种装箱方法体积和装卸速度就不一样TQ1_0采用符号位 零位图的紧凑打包压缩率更高模型体积更小TQ2_0每个权重用 2bit 直接编码结构更规整计算机解码速度更快官方在 README 中的结论非常直接Use TQ2_0 for generally faster speeds but slightly higher memory. 追求速度选 TQ2_0代价是内存占用略高。四款 GGUF 模型文件怎么选一张表看懂Maple-Preview-GGUF 仓库提供 4 个 GGUF 文件由权重打包方案 × LM Head 精度两两组合而成文件权重打包LM Head体积maple-preview-TQ1_0-head-Q4_K.ggufTQ1_0Q4_K4.64 GiBmaple-preview-TQ1_0-head-F16.ggufTQ1_0FP165.06 GiBmaple-preview-TQ2_0-head-Q4_K.ggufTQ2_0Q4_K5.50 GiBmaple-preview-TQ2_0-head-F16.ggufTQ2_0FP165.91 GiBLM Head 是什么它是模型的输出层负责把推理结果翻译成文字。LM Head 保留高精度Q4_K 或 FP16能在三值量化的同时守住输出质量。按需快速选择 你的情况推荐文件内存紧张追求最小体积TQ1_0 Q4_K4.64 GiB追求最快速度、内存够用TQ2_0 Q4_K5.50 GiB想要最高精度、不差空间TQ2_0 FP165.91 GiB实测速度对比三值量化GGUF解码速度有多快官方在 M5 Pro、纯 CPU、16 线程环境下实测512 提示词、生成 128 token、3 次取平均权重LM Head体积Prefillpp512Decodetg128TQ1_0FP165.06 GiB515.41 tokens/s161.06 tokens/sTQ1_0Q4_K4.64 GiB513.33 tokens/s231.13 tokens/sTQ2_0FP165.91 GiB618.57 tokens/s169.81 tokens/sTQ2_0Q4_K5.50 GiB610.48 tokens/s252.74 tokens/s从数据可以得出 3 个结论TQ2_0 全面更快无论 Prefill 还是 DecodeTQ2_0 都比 TQ1_0 快约 10%~20%Q4_K Head 大幅提速解码同为 TQ2_0Decode 从 169.81 提升到 252.74 tokens/s提升近 50%速度与体积成正比最快的是 TQ2_0 Q4_K5.50 GiB最省空间的是 TQ1_0 Q4_K4.64 GiB如何本地部署运行三值量化GGUFMaple-Preview 的三值量化需要搭配作者定制版 llama.cpp 运行完整说明在 README.md 中。基本流程如下获取模型文件克隆仓库git clone https://gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF选取合适的 GGUF 文件例如体积最小的 maple-preview-TQ1_0-head-Q4_K.gguf准备运行环境按 README 中的安装说明编译支持 TQ1_0/TQ2_0 的 llama.cpp 分支加载模型推理用 llama.cpp 加载 GGUF 文件即可在 CPU 上体验 20B 模型的本地推理 新手建议先用 Q4_K Head 版本跑通流程再对比 FP16 Head 版本的输出质量差异。常见问题 FAQ ❓Q1TQ1_0 和 TQ2_0 到底该选哪个内存紧张选 TQ1_0体积更小追求速度选 TQ2_0解码更快。Q2LM Head 选 Q4_K 还是 FP16追求速度选 Q4_K它让 Decode 速度提升明显追求极致精度选 FP16。Q3三值量化会严重损害模型能力吗Maple-Preview 专为三值量化设计官方基准显示其在内存-性能与速度-性能上均处于帕累托前沿。不过它是预览版在智能体类任务上可能偏弱。Q4我的电脑能跑吗最小体积版本仅 4.64 GiB普通 8GB 内存的笔记本即可尝试纯 CPU 推理。总结三值量化入门从这里开始三值量化是端侧部署的下一个方向而 Maple-Preview-GGUF 让你无需理解底层算法下载即可体验。记住这条黄金公式追求速度选 TQ2_0追求省内存选 TQ1_0Q4_K Head 是性价比之王。动手跑起来你就能亲身感受三值量化带来的小体积、大模型新体验。【免费下载链接】maple-preview-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Maple-Preview-GGUF三值量化入门TQ1_0与TQ2_0有何不同【免费下载链接】maple-preview-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF三值量化Ternary Quantization正在成为端侧大模型部署的热门方向而Maple-Preview-GGUF项目正是把三值量化变成开箱即用 GGUF 文件的典型代表。Maple-Preview 是一个 20B-A1B 参数的推理模型经过TQ1_0 与 TQ2_0两套三值打包方案压缩后整套权重仅占 4.6~5.9GB普通 CPU 笔记本也能本地运行。本文面向新手用大白话讲清三值量化是什么、TQ1_0 与 TQ2_0 有何不同并教你快速挑出最合适的 GGUF 模型文件。什么是三值量化先花1分钟搞懂大模型压缩原理大模型的体积主要由权重Weight决定。传统模型用 16bit 浮点数FP16存储一个权重一个 20B 参数模型需要约 40GB 空间。量化Quantization就是给权重瘦身8bit 量化一个权重占 1 字节体积直接减半4bit 量化如 Q4_K一个权重约 4bit体积缩到约 1/4三值量化Ternary把权重压缩成-1、0、1三个值每个权重只需 1~2bit 三值量化之所以省是因为它直接抛弃了精细数值只保留最核心的符号信息。对推理模型而言这种极致压缩在保住推理能力的同时把体积压到了极限。三值量化的最大价值让 20B 级别的大模型装进 5GB 内存在无独显的场景下也能流畅推理——这正是 Maple-Preview 从设计之初就瞄准的端侧推理场景完整架构说明见 README.md。TQ1_0 与 TQ2_0 有何不同两种三值打包方案深度对比TQ1_0 与 TQ2_0 都是三值量化区别在于打包packing方式不同——就好比同样的货物换一种装箱方法体积和装卸速度就不一样TQ1_0采用符号位 零位图的紧凑打包压缩率更高模型体积更小TQ2_0每个权重用 2bit 直接编码结构更规整计算机解码速度更快官方在 README 中的结论非常直接Use TQ2_0 for generally faster speeds but slightly higher memory. 追求速度选 TQ2_0代价是内存占用略高。四款 GGUF 模型文件怎么选一张表看懂Maple-Preview-GGUF 仓库提供 4 个 GGUF 文件由权重打包方案 × LM Head 精度两两组合而成文件权重打包LM Head体积maple-preview-TQ1_0-head-Q4_K.ggufTQ1_0Q4_K4.64 GiBmaple-preview-TQ1_0-head-F16.ggufTQ1_0FP165.06 GiBmaple-preview-TQ2_0-head-Q4_K.ggufTQ2_0Q4_K5.50 GiBmaple-preview-TQ2_0-head-F16.ggufTQ2_0FP165.91 GiBLM Head 是什么它是模型的输出层负责把推理结果翻译成文字。LM Head 保留高精度Q4_K 或 FP16能在三值量化的同时守住输出质量。按需快速选择 你的情况推荐文件内存紧张追求最小体积TQ1_0 Q4_K4.64 GiB追求最快速度、内存够用TQ2_0 Q4_K5.50 GiB想要最高精度、不差空间TQ2_0 FP165.91 GiB实测速度对比三值量化GGUF解码速度有多快官方在 M5 Pro、纯 CPU、16 线程环境下实测512 提示词、生成 128 token、3 次取平均权重LM Head体积Prefillpp512Decodetg128TQ1_0FP165.06 GiB515.41 tokens/s161.06 tokens/sTQ1_0Q4_K4.64 GiB513.33 tokens/s231.13 tokens/sTQ2_0FP165.91 GiB618.57 tokens/s169.81 tokens/sTQ2_0Q4_K5.50 GiB610.48 tokens/s252.74 tokens/s从数据可以得出 3 个结论TQ2_0 全面更快无论 Prefill 还是 DecodeTQ2_0 都比 TQ1_0 快约 10%~20%Q4_K Head 大幅提速解码同为 TQ2_0Decode 从 169.81 提升到 252.74 tokens/s提升近 50%速度与体积成正比最快的是 TQ2_0 Q4_K5.50 GiB最省空间的是 TQ1_0 Q4_K4.64 GiB如何本地部署运行三值量化GGUFMaple-Preview 的三值量化需要搭配作者定制版 llama.cpp 运行完整说明在 README.md 中。基本流程如下获取模型文件克隆仓库git clone https://gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF选取合适的 GGUF 文件例如体积最小的 maple-preview-TQ1_0-head-Q4_K.gguf准备运行环境按 README 中的安装说明编译支持 TQ1_0/TQ2_0 的 llama.cpp 分支加载模型推理用 llama.cpp 加载 GGUF 文件即可在 CPU 上体验 20B 模型的本地推理 新手建议先用 Q4_K Head 版本跑通流程再对比 FP16 Head 版本的输出质量差异。常见问题 FAQ ❓Q1TQ1_0 和 TQ2_0 到底该选哪个内存紧张选 TQ1_0体积更小追求速度选 TQ2_0解码更快。Q2LM Head 选 Q4_K 还是 FP16追求速度选 Q4_K它让 Decode 速度提升明显追求极致精度选 FP16。Q3三值量化会严重损害模型能力吗Maple-Preview 专为三值量化设计官方基准显示其在内存-性能与速度-性能上均处于帕累托前沿。不过它是预览版在智能体类任务上可能偏弱。Q4我的电脑能跑吗最小体积版本仅 4.64 GiB普通 8GB 内存的笔记本即可尝试纯 CPU 推理。总结三值量化入门从这里开始三值量化是端侧部署的下一个方向而 Maple-Preview-GGUF 让你无需理解底层算法下载即可体验。记住这条黄金公式追求速度选 TQ2_0追求省内存选 TQ1_0Q4_K Head 是性价比之王。动手跑起来你就能亲身感受三值量化带来的小体积、大模型新体验。【免费下载链接】maple-preview-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/deepgrove/maple-preview-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
