一、模型概述
1. 基本信息
智谱AI于2024年6月5日正式开源了GLM-4-9B系列大模型。该模型基于Apache 2.0开源协议，支持26种语言，包括中英文，具备强大的推理性能和上下文处理能力。
2. 模型系列
GLM-4-9B系列包括以下版本：
- GLM-4-9B：基础版本，支持8K上下文。
- GLM-4-9B-Chat：对话版本，支持128K上下文。
- GLM-4-9B-Chat-1M：超长上下文版本，支持1M上下文。
- GLM-4V-9B-Chat：多模态版本，支持8K上下文。
二、技术特点
1. 核心优势
- 超长上下文：支持多种上下文长度，满足不同场景需求。
- 多语言能力：支持26种语言，包括中英文，跨语言理解能力强。
- All Tools能力：具备代码执行、网页浏览、画图、文件操作、数据库查询、API调用等功能。
2. 多模态特性
- 图像处理能力：支持1120x1120分辨率输入，采用降采样减少token开销，无额外视觉专家模块，直接混合文本和图片训练。
三、部署要求
1. 硬件需求
| 模型版本 | 最小显存(FP16) | 推荐显存 | 适用显卡 |
|---|---|---|---|
| Base-9B | 18GB | 24GB | 3090⁄4090 |
| Chat-9B | 20GB | 24GB | A5000/4090 |
| Chat-1M | 24GB | 32GB | A5000/4090 |
| V-9B | 24GB | 32GB | A5000/4090 |
2. 软件环境
- Python > 3.8
- CUDA > 11.7
- PyTorch > 2.0.0
- 安装依赖：
pip install modelscope transformers torch
四、部署方案
1. ModelScope部署
from modelscope import AutoModelForCausalLM, AutoTokenizer
from modelscope import snapshotdownload
modeldir = snapshotdownload('ZhipuAI/glm4-9b')
model = AutoModelForCausalLM.frompretrained(modeldir)
五、总结
GLM-4-9B系列大模型是智谱AI在自然语言处理领域的重要成果，具备强大的推理性能、上下文处理能力和多模态特性。通过官网提供的部署方案，用户可以轻松地将GLM-4-9B模型应用于各种场景。