Windows 10 GPU STACK 0.5.1 安装

1 GPUStack 安装
- 1.Python安装（3.10/11/12）
- 2.GPUStack 下载
- 3.生成密码
- 4.访问
- 5.设置模型下载目录
- 6.禁用开机自启并重启服务
- 7.安装模型
- 8.查看安装的进度
2.试验场聊天测试
- 1.对话模式
3.API Key 测试

1 GPUStack 安装

1.Python安装（3.10/11/12）

默认已安装，查看版本

python --version
pip --version

在这里插入图片描述

安装和初始化 PIPX

python -m pip install --user pipx
python -m pipx ensurepath

在这里插入图片描述

升级 PIP（谨慎操作）

python.exe -m pip install --upgrade pip

2.GPUStack 下载

Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content

查看版本

gpustack version

在这里插入图片描述

3.生成密码

## Ab!123456
Get-Content -Path "$env:APPDATA\gpustack\initial_admin_password" -Raw

此密码可以直接使用，或者生成后修改为自己的密码

4.访问

http://localhost/

在这里插入图片描述

5.设置模型下载目录

查看源代码，找到如下位置，可通过设置环境变量值为 GPUStack 指定部分配置
在这里插入图片描述

新建一个空白文件夹，并配置系统环境变量，GPUSTACK_CACHE_DIR

在这里插入图片描述
查看是否生效

在这里插入图片描述

6.禁用开机自启并重启服务

打开 Windows 的服务管理页面

在这里插入图片描述

7.安装模型

以 DeepSeek-R1 1.5B 为例

在这里插入图片描述

8.查看安装的进度

模型列表

在这里插入图片描述

2.试验场聊天测试

1.对话模式

在这里插入图片描述

3.API Key 测试

新建一个 KEY

在这里插入图片描述

复制值：gpustack_005232ef37c19bbc_b4f2650cbba8fa9ca538f78d508ae102

在这里插入图片描述

调用，设置请求头和参数

在这里插入图片描述

请求头

Authorization Bearer gpustack_005232ef37c19bbc_b4f2650cbba8fa9ca538f78d508ae102

请求体

{"model": "deepseek-r1-1.5b","messages":[{"role": "user","content": "你好吗?"}]
}

返回值

{"id": "chatcmpl-jeoUHK3mBIFLaU6E4tQ7OVRHygBJcHtr","created": 1740382427,"model": "deepseek-r1-1.5b","object": "chat.completion","choices": [{"index": 0,"finish_reason": "stop","message": {"content": "<think>\n\n</think>\n\n你好！—I'm just here to help you out! What do you need to talk about or ask? 😊","role": "assistant"},"logprobs": null}],"usage": {"completion_tokens": 28,"prompt_tokens": 6,"total_tokens": 34,"time_to_first_token_ms": 127.332,"time_per_output_token_ms": 7.058928571428572,"tokens_per_second": 141.6645585631166}
}