Agents-A1-6bit吞吐量测试：不同上下文长度下的解码速度对比

Agents-A1-6bit吞吐量测试不同上下文长度下的解码速度对比【免费下载链接】Agents-A1-6bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-6bitAgents-A1-6bit是基于MLX框架的6-bit量化视觉语言模型它在保持性能的同时显著降低了资源占用。本文将深入分析不同上下文长度下的解码速度表现帮助开发者了解该模型在实际应用中的性能特性。测试环境与方法测试使用oMLX的基准测试工具在Macbook Pro M5 Max 128GB 40 GPU上进行。测试条件为生成128个tokens冷预填充每个请求使用唯一的提示前缀不重用缓存。单请求批次1——按上下文长度的解码速度tok/s上下文长度bf168-bit6-bit5-bit4-bit3-bit1,02467.695.495.298.2117.4133.04,09667.694.097.3102.8119.5130.48,19266.891.795.3103.1115.7126.916,38464.788.091.580.5105.8119.832,76860.980.688.680.295.6104.265,53653.568.467.666.675.483.5131,07240.748.750.948.250.352.5从测试数据可以看出6-bit量化模型在各种上下文长度下都表现出了良好的解码速度。特别是在中等上下文长度4,096至16,384范围内6-bit模型的性能接近甚至超过了8-bit模型。峰值内存占用GB精度内存占用bf16 (full)66–698-bit35–396-bit27–315-bit23–264-bit19–223-bit15–186-bit模型相比bf16全精度模型内存占用减少了约55-60%这使得在资源受限的设备上部署大型语言模型成为可能。连续批处理1k上下文——聚合解码速度tok/s批次大小bf168-bit6-bit5-bit4-bit3-bit167.695.495.298.2117.4133.0262.5151.0156.5160.6190.9188.74107.1202.0185.1195.7239.9230.28129.6252.4223.4238.7289.0276.1在连续批处理场景下6-bit模型表现出了良好的扩展性。随着批次大小的增加聚合解码速度也相应提升显示出该模型在服务多个并发请求时的高效性。首次令牌生成时间TTFT冷预填充的首次令牌生成时间与精度无关具体数据如下1k上下文≈0.3秒8k上下文≈3秒32k上下文≈21秒64k上下文≈63秒128k上下文≈225秒预填充过程主要受计算限制而非权重限制这意味着即使使用较低精度的模型预填充时间也不会显著减少。实际应用建议根据测试结果6-bit量化的Agents-A1模型在性能和资源占用之间取得了很好的平衡。对于大多数应用场景6-bit模型提供了足够的性能同时显著降低了内存需求。如果您需要部署Agents-A1-6bit模型可以使用以下命令pip install mlx-vlm python -m mlx_vlm.generate --model mlx-community/Agents-A1-6bit \ --prompt What is 17 * 24? Think step by step. --max-tokens 512对于需要处理图像的场景可以使用python -m mlx_vlm.generate --model mlx-community/Agents-A1-6bit --image img.jpg --prompt Describe this image.结论Agents-A1-6bit在不同上下文长度下均表现出优异的解码速度和资源效率。无论是单请求还是连续批处理场景6-bit量化都提供了接近8-bit的性能同时显著降低了内存占用。这使得Agents-A1-6bit成为在资源受限环境中部署大型视觉语言模型的理想选择。如果您需要更高的性能或更大的批处理能力可以考虑使用4-bit或3-bit量化模型如果对推理质量有更高要求8-bit模型可能是更好的选择。所有不同精度的模型都可以在mlx-community组织下找到。【免费下载链接】Agents-A1-6bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-6bit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考