本地AI大模型工具箱 Your local AI toolkit：LMStudio

LMStudio介绍

官网：LM Studio - Discover, download, and run local LLMs

LMStudio 是一个面向机器学习和自然语言处理的，旨在使开发者更容易构建和部署AI语言模型的应用软件。

LMStudio的特点是：

完全本地离线运行AI大模型

可以从Huggingface查找下载最新的大模型

为本地应用提供AI模型调用

对话可以附带本地pdf、docx等文档

跟Ollama的不同

基本感觉LMStudio跟Ollama类似，都可以提供本地运行大模型，本地API调用等功能。但是Ollama更专注于开箱即用，为其它应用使用大模型提供大模型API调用，软件界面比较简单，Ollama本身只提供了命令行形式的chat。

LMStudio 提供了集成开发环境，下载模型和chat对话等都可以通过点击鼠标实现，对新手更友好。

另外Ollama构建了自己的模型库（网站），LMStudio则是使用huggingface模型库（资源）。因此LMStudio支持的模型更多，而Ollama则使用起来更快捷。

第一次接触它的时候，因为没有科学上网，发现完全不能用，就放弃了它。

后来，是因为在各种AI软件的API提供者配置中，大部分都有“LMStudio”大模型服务商这个设置，证明它还是比较流行的。

实践

从官网下载安装包：LM Studio - Discover, download, and run local LLMs

windows、Linux、MacOS等系统下都有安装包，直接下载安装即可。

启动配置

常用的三个快捷键：

Ctrl+Shift+M寻找模型

Ctrl+Shift+R 设置运行架构

Ctrl+Shift+H 查看当前硬件

LMStudio运行架构最低需求是CPU+AVX2 ，跟Ollama的要求一样，但其实Ollma是可以在CPU+AVX架构下运行deepseek-r1的1.5b和7b模型的。

搜寻模型

准备加载模型，先按Ctrl+Shift+M到Huggingface寻找模型。

如果没有科学上网，到了这步就会卡住，这也是LMStudio这个优秀软件为什么我以前接触了一下就没再使用的原因，当时发现无法下载模型，这个软件就是一个空壳子，啥也干不了。

手动下载模型安装

使用transformers手动下载模型，比如

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M")
model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM2-135M")

模型下载到C:\Users\<YourUsername>\.cache\huggingface\hub 目录下。

在LMStudio “我的模型”配置页面，将模型目录设置为transformers的下载目录，即可看到当前系统的模型：

但是在chat界面选择这几个模型，都无法加载，报错：

No LM Runtime found for model format 'onnx'!

No LM Runtime found for model format 'torchSafetensors'!

按照提示的，pip安装了torchSafetensors

pip install safetensors

问题还是没有解决

尝试转换格式（失败）

使用如下命令可以转格式，但是不会转配置文件啊

import torch
from safetensors.torch import load_file, save_filedef safetensors_to_bin(safetensors_path, bin_output_path):# 加载Safetensors格式的模型权重weights = load_file(safetensors_path)# 将模型权重转换为PyTorch张量，并保存为.bin格式state_dict = {k: v.clone().cpu() for k, v in weights.items()}torch.save(state_dict, bin_output_path)# 示例用法
safetensors_to_bin('model.safetensors', 'model_converted.bin')

比如源文件位置设为inputx：

inputx = "C:\\Users\\Admin\\.cache\\huggingface\\hub\\models--HuggingFaceTB--SmolLM2-135M\\snapshots\\93efa2f097d58c2a74874c7e644dbc9b0cee75a2\\model.safetensors"

safetensors_to_bin(inputx, 'model_converted.bin')

转换之后，发现没有那些配置文件啊

把ollama的整个模型存储目录暴露给LMStudio，加载模式还是报错：

No LM Runtime found for model format 'gguf'!

估计真正的问题，是cpu只支持avx，不支持avx2导致的。也就是架构不支持，Not Compatible的问题。

暂时搁置。