ollama quick start

Ollama Quick start

一、 安装并修改模型默认路径

在修改路径之前,我们先来了解Ollama默认将模型存储在哪里:

1.1 各系统默认路径

  • Windows: C:\Users\{用户名}\.ollama\models
  • Linux: ~/.ollama/models (即 /home/{用户名}/.ollama/models)
  • macOS: ~/.ollama/models (即 /Users/{用户名}/.ollama/models)

1.2 为什么要修改默认路径?

  1. 系统盘空间不足:大模型动辄10GB+,很容易占满C盘
  2. 性能优化:将模型放在更快的SSD上可以提升加载速度
  3. 统一管理:与其他AI工具(如ComfyUI、Stable Diffusion)共享模型
  4. 多用户环境:服务器环境下需要集中存储模型

二、Windows系统修改详解

方法一:环境变量修改(推荐)

这是最标准且持久的方法,适用于Windows 10/11。

步骤1:创建新目录

首先,在你想要存储模型的位置创建一个新文件夹,例如:

1
D:\AI_Models\Ollama

步骤2:设置系统环境变量

  1. Win + S 搜索”环境变量”,选择”编辑系统环境变量”
  2. 在”系统属性”窗口点击”环境变量”按钮
  3. 在”系统变量”区域点击”新建”
    • 变量名:OLLAMA_MODELS
    • 变量值:D:\AI_Models\Ollama
  4. 点击”确定”保存

步骤3:重启Ollama服务

  1. Ctrl + Shift + Esc 打开任务管理器
  2. 找到”Ollama”进程,右键选择”结束任务”
  3. 重新启动Ollama应用程序

步骤4:验证修改是否成功

打开命令提示符或PowerShell,运行:

1
ollama list

如果之前已经下载过模型,你应该能看到模型列表。然后检查新路径下是否有模型文件:

1
2
# 检查新路径
ls D:\AI_Models\Ollama

方法二 修改注册表

三、下载并运行模型

选择模型

Ollama 提供了丰富的模型库,你可以根据需要选择不同的模型。例如,我们可以选择运行 Qwen 2.5 模型。

运行模型

使用以下命令下载并运行 Qwen 2.5 模型:

1
ollama run qwen2.5:7b

这条命令会从 Ollama 的模型库中拉取 Qwen 2.5 模型,并准备运行环境。

模型库

Ollama 支持 ollama.com/library 上提供的一系列模型

以下是一些可以下载的示例模型:

模型 参数 大小 下载
DeepSeek-V2 16b 8.9GB ollama run deepseek-v2:16b
GLM-4 9 B 5.5GB ollama run glm4
Llama 3.1 8B 4.7GB ollama run llama3.1
Llama 3.1 70B 40GB ollama run llama3.1:70b
Llama 3.1 405B 231GB ollama run llama3.1:405b
Phi 3 Mini 3.8B 2.3GB ollama run phi3
Phi 3 Medium 14B 7.9GB ollama run phi3:medium
Google Gemma 2 9B 5.5GB ollama run gemma2
Google Gemma 2 27B 16GB ollama run gemma2:27b
Mistral 7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Solar 10.7B 6.1GB ollama run solar
Qwen 2.5 0.5B 398MB ollama run qwen2:0.5b
Qwen 2.5 1.5B 968MB ollama run qwen2:1.5b
Qwen 2.5 3B 1.9GB ollama run qwen2:3b
Qwen 2.5 7B 4.7GB ollama run qwen2:7b
Qwen 2.5 14B 9.0GB ollama run qwen2:14b
Qwen 2.5 32B 20GB ollama run qwen2:32b
Qwen 2.5 72B 47GB ollama run qwen2:72b

注意:您应至少拥有 8 GB 的 RAM 来运行 7B 型号,16 GB 的 RAM 来运行 14B 型号,32 GB 的 RAM 来运行 32B 型号。

坚持原创技术分享,您的支持将鼓励我继续创作!
0%