ktransformer推理DeepSeek-R1-Q4_K_M教程
官方部署教程
本机安装经验
一、硬件
- CPU:1x Intel Xeon Gold 6348
- RAM:512GB DDR4 3200Mhz
- GPU:8x RTX4090
二、安装环境
1. 系统版本
- Ubuntu 20.04 LTS
2. 必备插件
- Docker(待描述是
docker-compose
还是完整的docker
) - Nvidia-Docker-Toolkit Ver.XX
- Python 3.X
三、拉取镜像
1. 在 Terminal 窗口执行以下命令
拉取 modelscope
的 Docker 作为基础环境,注意修改 -v
映射路径。
确保提前安装好 nvidia-docker
相关配置。
1 | docker run --gpus all -it --net=host --ipc=host --name ktransformers_env -v /media/pixel:/workspace modelscope-registry.cn-beijing.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py310-torch2.3.0-tf2.16.1-1.18.0 /bin/bash |