Ollama Quick start

一、 安装并修改模型默认路径
在修改路径之前,我们先来了解Ollama默认将模型存储在哪里:
1.1 各系统默认路径
- Windows:
C:\Users\{用户名}\.ollama\models - Linux:
~/.ollama/models(即/home/{用户名}/.ollama/models) - macOS:
~/.ollama/models(即/Users/{用户名}/.ollama/models)
1.2 为什么要修改默认路径?
- 系统盘空间不足:大模型动辄10GB+,很容易占满C盘
- 性能优化:将模型放在更快的SSD上可以提升加载速度
- 统一管理:与其他AI工具(如ComfyUI、Stable Diffusion)共享模型
- 多用户环境:服务器环境下需要集中存储模型
二、Windows系统修改详解
方法一:环境变量修改(推荐)
这是最标准且持久的方法,适用于Windows 10/11。
步骤1:创建新目录
首先,在你想要存储模型的位置创建一个新文件夹,例如:
1 | D:\AI_Models\Ollama |
步骤2:设置系统环境变量
- 按
Win + S搜索”环境变量”,选择”编辑系统环境变量” - 在”系统属性”窗口点击”环境变量”按钮
- 在”系统变量”区域点击”新建”
- 变量名:
OLLAMA_MODELS - 变量值:
D:\AI_Models\Ollama
- 变量名:
- 点击”确定”保存
步骤3:重启Ollama服务
- 按
Ctrl + Shift + Esc打开任务管理器 - 找到”Ollama”进程,右键选择”结束任务”
- 重新启动Ollama应用程序
步骤4:验证修改是否成功
打开命令提示符或PowerShell,运行:
1 | ollama list |
如果之前已经下载过模型,你应该能看到模型列表。然后检查新路径下是否有模型文件:
1 | # 检查新路径 |
方法二 修改注册表
三、下载并运行模型
选择模型
Ollama 提供了丰富的模型库,你可以根据需要选择不同的模型。例如,我们可以选择运行 Qwen 2.5 模型。
运行模型
使用以下命令下载并运行 Qwen 2.5 模型:
1 | ollama run qwen2.5:7b |
这条命令会从 Ollama 的模型库中拉取 Qwen 2.5 模型,并准备运行环境。
模型库
Ollama 支持 ollama.com/library 上提供的一系列模型
以下是一些可以下载的示例模型:
| 模型 | 参数 | 大小 | 下载 |
|---|---|---|---|
| DeepSeek-V2 | 16b | 8.9GB | ollama run deepseek-v2:16b |
| GLM-4 | 9 B | 5.5GB | ollama run glm4 |
| Llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
| Llama 3.1 | 70B | 40GB | ollama run llama3.1:70b |
| Llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Google Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
| Google Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
| Qwen 2.5 | 0.5B | 398MB | ollama run qwen2:0.5b |
| Qwen 2.5 | 1.5B | 968MB | ollama run qwen2:1.5b |
| Qwen 2.5 | 3B | 1.9GB | ollama run qwen2:3b |
| Qwen 2.5 | 7B | 4.7GB | ollama run qwen2:7b |
| Qwen 2.5 | 14B | 9.0GB | ollama run qwen2:14b |
| Qwen 2.5 | 32B | 20GB | ollama run qwen2:32b |
| Qwen 2.5 | 72B | 47GB | ollama run qwen2:72b |
注意:您应至少拥有 8 GB 的 RAM 来运行 7B 型号,16 GB 的 RAM 来运行 14B 型号,32 GB 的 RAM 来运行 32B 型号。