大模型Qwen 2.5 系统和硬件配置要求
Qwen 2.5 系统和硬件配置要求
探索阿里巴巴在人工智能领域的最新创新Qwen 2.5模型的开创性功能。从多功能的 Qwen 2.5 到编码、数学、视觉语言和音频方面的专业变体，这些模型在各种任务中提供卓越的性能。Qwen 2.5 模型的大小从 0.5B 到 72B 参数不等，可满足各种计算资源和应用程序需求。了解这些最先进的模型如何突破 AI 的界限，从自然语言处理到多模态理解。
Qwen 2.5 硬件配置要求
|
模型种类 |
类别 |
规范 |
详 |
|
Qwen 2.5-0.5B |
型号规格 |
GPU内存 |
398MB |
|
存储空间 |
<1GB |
||
|
最大长度 |
32K tokens |
||
|
预训练令牌 |
2.2T |
||
|
最小GPU内存（Q-LoRA微调） |
5.8GB |
||
|
最小GPU内存（生成2048个令牌，Int4） |
2.9GBGB |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen 2.5-1.5B |
型号规格 |
GPU 内存 |
986MB |
|
存储空间 |
~2GB |
||
|
最大长度 |
32K tokens |
||
|
工具使用 |
支持 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen 2.5-3B |
型号规格 |
GPU 内存 |
1.9GB |
|
存储空间 |
~4GB |
||
|
最大长度 |
32K tokens（估计） |
||
|
工具使用 |
可能支持 |
||
|
许可证 |
Qwen 特定许可证 |
||
|
Qwen 2.5-7B |
型号规格 |
GPU 内存 |
4.7GB |
|
最大长度 |
32K tokens |
||
|
预训练令牌 |
2.4T |
||
|
最小 GPU 内存（Q-LoRA 微调） |
11.5GB |
||
|
最小 GPU 内存（生成 2048 个令牌，Int4） |
8.2GB |
||
|
工具使用 |
支持 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen 2.5-14B |
型号规格 |
GPU 内存 |
9.0GB |
|
最大长度 |
32K tokens |
||
|
预训练令牌 |
3.0T |
||
|
最小 GPU 内存（Q-LoRA 微调） |
18.7GB |
||
|
最小 GPU 内存（生成 2048 个令牌，Int4） |
13.0GB |
||
|
工具使用 |
支持 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen 2.5-32B |
型号规格 |
GPU 内存 |
20GB |
|
最大长度 |
32K tokens（估计） |
||
|
预训练令牌 |
可能3.0T或更多 |
||
|
工具使用 |
可能支持 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen 2.5-72B |
型号规格 |
GPU 内存 （BF16） |
134.74GB（2个GPU） |
|
GPU 内存 （GPTQ-int8） |
71GB（2个GPU） |
||
|
GPU 内存 （GPTQ-int4） |
41.8GB（1个GPU） |
||
|
GPU 内存 （AWQ） |
41.31GB（1个GPU） |
||
|
最大长度 |
32K tokens |
||
|
预训练令牌 |
3.0T |
||
|
最小 GPU 内存（Q-LoRA 微调） |
61.4GB |
||
|
最小 GPU 内存（生成 2048 个令牌，Int4） |
48.9GB |
||
|
工具使用 |
支持 |
Qwen 2.5 编码器硬件配置要求
|
模型种类 |
类别 |
规范 |
详细参数 |
|
Qwen2.5编码器 1.5B |
技术规格 |
模型大小 |
15亿个参数 |
|
GPU内存 |
约986MB |
||
|
存储空间 |
~2GB |
||
|
最大长度 |
32K tokens（估计） |
||
|
预训练令牌 |
未指定，可能在2.2T tokens左右 |
||
|
主要特点 |
优化的架构 |
专为编码任务而设计，在性能和资源效率之间实现良好的平衡 |
|
|
处理效率 |
能够以适度的计算资源处理编码任务 |
||
|
先进技术 |
采用 flash-attention 等技术，以提高效率并减少内存使用 |
||
|
语言的多样性 |
针对编码进行了优化，但保留了一般的自然语言处理功能 |
||
|
系统要求 |
Python |
3.8或更高版本 |
|
|
PyTorch |
1.12或更高版本，推荐 2.0+ |
||
|
CUDA |
11.4或更高版本(适用于GPU用户) |
||
|
理想的应用 |
为中小型项目提供编码协助 |
||
|
代码生成和基本调试 |
|||
|
非常适合计算资源有限的个人开发人员或小型团队 |
|||
|
适合在没有高端硬件的情况下寻求帮助的开发人员 |
|||
|
Qwen 2.5 编码器 7B |
技术规格 |
模型大小 |
70亿个参数 |
|
GPU内存 |
4.7GB |
||
|
最大长度 |
32K tokens |
||
|
预训练令牌 |
2.4T |
||
|
最小GPU内存(Q-LoRA 微调) |
11.5GB |
||
|
最小 GPU 内存（生成 2048 个令牌，Int4） |
8.2GB |
||
|
性能特点 |
生成速度 （BF16） |
37.97个tokens/s（输入长度 1） |
|
|
生成速度 （GPTQ-int4） |
36.17个tokens/s（输入长度 1） |
||
|
生成速度 （AWQ） |
33.08个tokens/s（输入长度 1） |
||
|
GPU 内存使用情况 （BF16） |
14.92GB（输入长度 1） |
||
|
GPU 内存使用情况 （GPTQ-int4） |
6.06GB（输入长度 1） |
||
|
GPU 内存使用情况 （AWQ） |
5.93GB（输入长度 1） |
||
|
主要特点 |
高级编码功能 |
与1.5B型号相比，在复杂编码任务中的性能显著提高 |
|
|
增强的上下文理解 |
由于参数数量更多，因此更好地理解上下文和开发人员意图 |
||
|
支持大型项目 |
能够处理更广泛和复杂的代码库 |
||
|
编程语言的多功能性 |
可能为更广泛的编程语言和框架提供支持 |
||
Qwen 2 数学要求
|
模型种类 |
类别 |
规范 |
详细参数 |
|
Qwen2-Math 1.5B |
技术规格 |
模型大小 |
15 亿个参数 |
|
非嵌入参数 |
1.2B |
||
|
GSM8K 性能 |
58.5% |
||
|
数学性能 |
21.7% |
||
|
MMLU 性能 |
56.5% |
||
|
C-Eval 性能 |
70.6% |
||
|
CMMLU 性能 |
70.3% |
||
|
附加功能 |
结构 |
基于Transformer，具有SwiGLU 激活等改进 |
|
|
分词器 |
针对多种自然语言和代码进行改进和调整 |
||
|
最大上下文 |
32K tokens(估计值,基于其他Qwen2 模型) |
||
|
Qwen2-Math 7B |
技术规格 |
模型大小 |
70 亿个参数 |
|
GSM8K 性能 |
89.9% |
||
|
数学改进 |
比其前身高 5.0 分 |
||
|
最大上下文 |
32K tokens |
||
|
量化选项 |
提供BF16、GPTQ-Int8、GPTQ-Int4和 AWQ版本 |
||
|
生成速度 |
BF16型 |
37.97 个tokens/s（输入长度 1） |
|
|
GPTQ-INT4 的 |
36.17 个tokens/s（输入长度 1） |
||
|
AWQ |
33.08 个tokens/s（输入长度 1） |
||
|
GPU内存使用情况 |
BF16型 |
14.92GB（输入长度 1） |
|
|
GPTQ-INT4 的 |
6.06GB（输入长度 1） |
||
|
AWQ |
5.93GB（输入长度 1） |
||
|
Qwen2-Math 72B |
技术规格 |
模型大小 |
720 亿个参数 |
|
MATH 基准测试 |
84% |
||
|
GSM8K 性能 |
96.7% |
||
|
大学数学成绩 |
47.8% |
||
|
MMLU 性能 |
84.2% |
||
|
GPQA 性能 |
37.9% |
||
|
HumanEval 性能 |
64.6% |
||
|
BBH 性能 |
82.4% |
||
|
附加功能 |
最大上下文 |
128K tokens |
|
|
许可证 |
特定于Qwen（不像较小的模型那样使用 Apache 2.0） |
||
|
系统要求 （估计） |
GPU内存（BF16） |
~134GB（2 个 GPU） |
|
|
GPU内存（GPTQ-int8） |
~71GB（2 个 GPU） |
||
|
GPU内存（GPTQ-int4） |
~42GB（1 个 GPU） |
||
|
GPU内存（AWQ） |
~41GB（1 个 GPU） |
Qwen 2 Vl 硬件配置要求
|
模型种类 |
类别 |
规范 |
详细参数 |
|
Qwen2-VL-2B |
模型组成 |
总大小 |
20亿个参数 |
|
Vision 编码器 |
675M 参数 |
||
|
法学硕士 |
1.5B 参数 |
||
|
硬件要求 |
图形处理器 |
兼容 CUDA，最低 4GB VRAM |
|
|
中央处理器 |
4个内核或更多 |
||
|
RAM |
最低 8GB，推荐 16GB |
||
|
软件要求 |
Python |
3.8 或更高版本 |
|
|
PyTorch 插件 |
1.12 或更高版本 |
||
|
Transformers |
4.32.0 或更高版本 |
||
|
存储 |
磁盘空间 |
约 4GB |
|
|
性能 |
MMMU val |
41.1% |
|
|
DocVQA 测试 |
90.0% |
||
|
处理能力 |
图像 |
最高 2048×2048 像素 |
|
|
视频 |
持续时间长达 20 分钟 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen2-VL-7B |
模型组成 |
总大小 |
70 亿个参数 |
|
视频编码器 |
675M 参数 |
||
|
LLM |
7.6B 参数 |
||
|
硬件要求 |
图形处理器 |
兼容 CUDA，最低 16GB VRAM |
|
|
中央处理器 |
8 个内核或更多 |
||
|
RAM |
最低 32GB，推荐 64GB |
||
|
软件要求 |
Python |
3.8 或更高版本 |
|
|
PyTorch 插件 |
2.0 或更高版本 |
||
|
Transformers |
4.37.0 或更高版本 |
||
|
存储 |
磁盘空间 |
约 14GB |
|
|
性能 |
在大多数基准测试中优于 OpenAI GPT-4o mini |
||
|
处理能力 |
图像 |
动态分辨率高达 4096×4096 像素 |
|
|
视频 |
持续时间长达 20 分钟，每秒处理 2 帧 |
||
|
许可证 |
Apache 2.0 版本 |
||
|
Qwen2-VL-72B |
模型组成 |
总大小 |
720 亿个参数 |
|
视频编码器 |
675M 参数 |
||
|
LLM |
72B 参数 |
||
|
硬件要求 |
图形处理器 |
多个高端 GPU，至少 2 个 NVIDIA A100 80GB |
|
|
中央处理器 |
32 个内核或更多 |
||
|
RAM |
最低 256GB，推荐 512GB |
||
|
软件要求 |
Python |
3.8 或更高版本 |
|
|
PyTorch 插件 |
2.0 或更高版本 |
||
|
Transformers |
4.37.0 或更高版本 |
||
|
存储 |
磁盘空间 |
超过 130GB |
|
|
性能 |
MathVista、DocVQA、RealWorldQA 和 MTVQA 的最新技术 |
||
|
处理能力 |
图像 |
无理论限制的动态分辨率 |
|
|
视频 |
持续时间超过 20 分钟，具有高级帧处理功能 |
||
|
访问 |
通过官方 API 提供 |
||
Qwen 2 音频硬件配置要求
|
模型种类 |
规范 |
详细参数 |
|
模型组成 |
总大小 |
70 亿个参数 |
|
视频编码器 |
675M 参数 |
|
|
LLM |
7.6B 参数 |
|
|
硬件要求 |
图形处理器 |
兼容CUDA，建议至少 16GB VRAM |
|
中央处理器 |
8个或更多内核以实现最佳性能 |
|
|
RAM |
最低32GB，推荐64GB或更高 |
|
|
存储 |
至少20GB的可用磁盘空间用于模型和依赖项 |
|
|
软件要求 |
操作系统 |
Linux（建议使用 Ubuntu 20.04 或更高版本）、带有 WSL2 的 Windows 10/11 或 macOS 11 或更高版本 |
|
Python |
3.8或更高版本 |
|
|
PyTorch 插件 |
2.0或更高版本，使用CUDA支持编译 |
|
|
Transforms |
4.37.0或更高版本，建议从 GitHub 安装最新版本： |
|
|
Librosa |
用于音频处理的最新稳定版本 |
|
|
FFmpeg |
音频文件作需要 |
|
|
其他依赖项 |
|
|
|
网络要求 |
互联网连接 |
用于模型下载的稳定连接（约 14GB） |
|
推荐带宽 |
100 Mbps 或更高速度，实现快速下载 |
|
|
处理能力 |
图像 |
动态分辨率高达 4096×4096 像素 |
|
视频 |
持续时间长达 20 分钟，每秒处理 2 帧 |
|
|
性能 |
在大多数基准测试中优于 OpenAI GPT-4o mini |
|
|
许可证 |
Apache 2.0 版本 |
|
