Ollama - 开源本地大模型运行平台,Go开发,支持Llama与Gemma等数十种模型,本地部署AI推理
LoveOS LoveOS 0 评论 项目推荐 0 阅读

Ollama - 开源本地大模型运行平台,Go开发,支持Llama与Gemma等数十种模型,本地部署AI推理

_

Ollama开源项目详解：本地大模型运行平台部署教程与AI应用开发实战指南

一、项目概述

Ollama 是一款开源的本地大语言模型（LLM）运行平台，让用户能够在自己的设备上便捷地部署和运行各种开源 AI 模型。它由一系列精心优化的本地模型运行时组成，支持 Llama 3.3、Gemma 4、Mistral、Phi4、Qwen 2.5 等数十种主流开源大模型。Ollama 的设计理念是"把大模型当作命令行工具一样简单"，用户无需了解 GPU 配置、模型格式转换、推理优化等底层技术，只需一条命令即可启动并与 AI 对话。

项目目前已在 GitHub 上获得超过 139K Stars，是本地 AI 领域最受欢迎的开源工具之一。Ollama 采用 Go 语言开发，提供 macOS、Windows、Linux 原生客户端，以及 REST API、Ollama Python/Js 库等开发接口，可以无缝集成到现有应用和工作流中。

1.1 核心特性

特性 说明
模型库 支持 Llama 3.3、Gemma 4、Mistral、Phi4、Qwen 2.5 等数十种模型
跨平台 支持 macOS、Windows、Linux，以及 Docker 部署
硬件支持 支持 CPU 和 GPU（CUDA/Metal）推理
多模态 支持视觉模型（如 Llama 3.2 Vision）处理图像
API 接口 提供 REST API，方便应用集成
模型管理 内置模型仓库，一键下载、更新、删除模型
上下文窗口 支持超大上下文窗口（最高 128K tokens）

1.2 与同类产品对比

特性 Ollama vLLM text-generation-webui LocalAI
易用性 极简，一条命令运行 需要手动配置 需手动下载模型 配置复杂
模型支持 官方优化，开箱即用 需要手动处理 社区模型多 兼容性好
推理速度 经过优化 最快 一般 一般
API 支持 REST API，内置 需要额外配置 有 有
多模态 支持 部分支持 支持 不支持

二、快速开始：安装与配置

2.1 macOS 安装

方式一：官网下载安装包

  1. 访问 https://ollama.com/download
  2. 下载 Ollama.dmg 安装包
  3. 双击安装包，按提示完成安装

方式二：命令行安装

curl -fsSL https://ollama.com/install.sh | sh

2.2 Windows 安装

方式一：官网下载安装包

  1. 访问 https://ollama.com/download
  2. 下载 OllamaSetup.exe 安装包
  3. 双击安装包，按提示完成安装

方式二：PowerShell 安装

irm https://ollama.com/install.ps1 | iex

2.3 Linux 安装

curl -fsSL https://ollama.com/install.sh | sh

手动安装（Ubuntu/Debian）：

# 下载最新版本
curl -fsSL https://ollama.ai/install.sh -o ollama-install.sh
chmod +x ollama-install.sh
sudo ./ollama-install.sh

2.4 Docker 安装

# CPU 推理
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# GPU 推理（需要 nvidia-container-toolkit）
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.5 验证安装

ollama --version

显示版本号即表示安装成功。

三、基本使用：运行模型

3.1 下载并运行模型

# 运行 Llama 3.2（自动下载模型）
ollama run llama3.2

# 运行 Mistral
ollama run mistral

# 运行 Gemma
ollama run gemma:2b

# 运行 Qwen
ollama run qwen2.5

首次运行时会自动下载模型文件，下载完成后即可开始对话。

3.2 模型命令示例

# 进入交互式对话
ollama run llama3.2

# 单次问答（不进入交互模式）
ollama run llama3.2 "What is the capital of France?"

# 指定参数运行
ollama run llama3.2 --temp 0.7 --num_ctx 4096 "Explain quantum computing"

3.3 常用运行参数

参数 说明 示例
--temperature 控制随机性（0-1） --temp 0.7
--num_ctx 上下文窗口大小 --num_ctx 8192
--top_p 核采样参数 --top_p 0.9
--repeat_penalty 重复惩罚 --repeat_penalty 1.1
--stop 停止词（多个用逗号分隔） --stop "### Response"

四、模型管理

4.1 查看已安装模型

ollama list

4.2 查看模型信息

ollama show llama3.2

4.3 删除模型

ollama rm llama3.2

4.4 复制/克隆模型

ollama cp llama3.2 my-llama3.2-custom

4.5 拉取模型（手动下载）

ollama pull llama3.2

4.6 常用模型推荐

模型 参数量 适用场景 最低内存
llama3.2 3B 日常对话、代码生成 4GB
llama3.3 70B 高质量对话、复杂推理 64GB
mistral 7B 通用对话、文本处理 8GB
gemma:2b 2B 轻量级任务、资源受限环境 2GB
qwen2.5 7B 中文对话、知识问答 8GB
phi4 14B 编程辅助、推理 16GB
codellama 7B 代码生成、解释 8GB
llama3.2-vision 11B 图像理解、多模态 16GB

五、API 服务：远程调用

5.1 启动 API 服务

Ollama 默认在 http://localhost:11434 提供 REST API。

# 启动服务（后台运行）
ollama serve

# 或者通过 Docker 启动
docker run -d -p 11434:11434 ollama/ollama

5.2 Chat Completions API

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "What is 2+2?"}
  ]
}'

5.3 Generate API

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Write a Python hello world program",
  "stream": false
}'

5.4 Embeddings API

curl http://localhost:11434/api/embeddings -d '{
  "model": "llama3.2",
  "prompt": "The quick brown fox"
}'

5.5 Python 调用示例

from ollama import chat

response = chat(model='llama3.2', messages=[
    {'role': 'user', 'content': 'What is the capital of Japan?'},
])

print(response['message']['content'])

5.6 JavaScript 调用示例

import { chat } from 'ollama'

const response = await chat({
  model: 'llama3.2',
  messages: [
    { role: 'user', content: 'What is 2+2?' }
  ]
})

console.log(response.message.content)

六、应用集成

6.1 与 OpenWebUI 集成

OpenWebUI 是一个功能丰富的本地 AI Web 界面：

# 安装 OpenWebUI
pip install open-webui

# 启动
open-webui serve

访问 http://localhost:8080 即可使用 Web 界面。

6.2 与 LangChain 集成

from langchain_community.llms import Ollama
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

llm = Ollama(model="llama3.2")

prompt = PromptTemplate(
    input_variables=["topic"],
    template="Explain {topic} in simple terms"
)

chain = LLMChain(llm=llm, prompt=prompt)
print(chain.run("quantum entanglement"))

6.3 与 Dify 集成

在 Dify 中使用 Ollama 作为后端模型：

  1. 进入 Dify → 设置 → 模型供应商
  2. 选择 Ollama
  3. 填入服务器地址：http://localhost:11434
  4. 点击连接

6.4 与 Silverbullet 集成

在 Silverbullet 笔记中使用 Ollama：

@inline(ollama({model: "llama3.2", prompt: "Summarize: " + page.raw}))

七、高级配置

7.1 GPU 配置

NVIDIA GPU（CUDA）：

Ollama 自动检测 NVIDIA GPU。确保安装了 nvidia-container-toolkit：

# Ubuntu/Debian
curl -fsSL https://nvidia.github.io/nvidia-container-runtime/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

sudo apt-get update
sudo apt-get install nvidia-container-toolkit
sudo systemctl restart docker

macOS GPU（Metal）：

Ollama 在 macOS 上自动使用 Apple Silicon GPU 加速。

7.2 内存配置

默认情况下，Ollama 会自动管理内存。可以通过环境变量调整：

# 设置最大模型数量
export OLLAMA_MAX_LOADED_MODELS=2

# 设置上下文窗口默认值
export OLLAMA_NUM_PARALLEL=1

# 设置 GPU 是否可见
export OLLAMA_GPU_OVERHEAD=0

7.3 自定义模型路径

# 指定模型存储路径
export OLLAMA_MODELS=/path/to/models

# 启动服务
ollama serve

7.4 使用 Modelfile 自定义模型

创建 Modelfile 来自定义模型行为：

FROM llama3.2
PARAMETER temperature 0.7
PARAMETER top_p 0.9
SYSTEM "You are a helpful assistant specialized in coding."

构建自定义模型：

ollama create my-assistant -f Modelfile
ollama run my-assistant

八、常见问题与解决方案

8.1 模型下载失败

问题：下载模型时网络超时或失败。

解决方案：

# 使用代理
export HTTPS_PROXY=http://proxy:8080

# 重新下载
ollama pull llama3.2

8.2 GPU 未被识别

问题：有 NVIDIA GPU 但 Ollama 使用 CPU 推理。

解决方案：

  1. 检查 CUDA 驱动：nvidia-smi
  2. 重启 Ollama 服务
  3. 确认安装了 nvidia-container-toolkit

8.3 内存不足

问题：运行大模型时提示内存不足。

解决方案：

  1. 使用更小的模型（如 gemma:2b 代替 llama3.3）
  2. 减少上下文窗口大小：--num_ctx 2048
  3. 关闭其他占用内存的程序

8.4 模型响应慢

问题：推理速度很慢。

解决方案：

  1. 启用 GPU 加速
  2. 使用量化模型（带 -q4 或 -q8 后缀）
  3. 减少并行请求数：OLLAMA_NUM_PARALLEL=1

8.5 API 连接被拒绝

问题：无法访问 http://localhost:11434。

解决方案：

# 检查服务是否运行
ps aux | grep ollama

# 重启服务
pkill ollama
ollama serve

九、安全建议

建议 说明
网络隔离 API 服务默认仅监听本地，如果需要远程访问，使用 VPN 或配置 TLS
API 密钥 生产环境建议通过反向代理添加认证
模型来源 仅从可信来源下载模型，避免恶意模型
更新 Ollama 定期更新以获取最新安全补丁
资源限制 限制并发请求数防止资源耗尽

十、社区生态与资源

资源 地址
GitHub https://github.com/ollama/ollama
官网 https://ollama.com
模型库 https://ollama.com/library
Discord https://discord.gg/ollama
博客 https://ollama.com/blog
Python 库 https://github.com/ollama/ollama-python
JavaScript 库 https://github.com/ollama/ollama-js

总结

Ollama 是一款极具革命性的开源工具，它让本地大模型的使用门槛大幅降低，真正做到了"下载即用"。无论是开发者希望将 AI 能力集成到应用中，还是普通用户希望在自己的电脑上体验 AI，又或是隐私敏感场景需要数据本地处理，Ollama 都能提供出色的解决方案。

它的优势在于：

  • 极简安装：一条命令即可完成安装
  • 模型丰富：支持数十种主流开源模型
  • 跨平台：macOS、Windows、Linux 全支持
  • API 完善：方便应用集成
  • 开源透明：代码完全开放，社区活跃

通过 Ollama，你可以轻松构建本地 AI 助手、开发 AI 应用、实现隐私保护的智能问答系统，是当前最具实用性的开源 LLM 工具之一。

立即体验：访问 https://ollama.com 下载安装，然后执行 ollama run llama3.2 开始你的本地 AI 之旅。

许可协议
本文采用 署名:码言笔记 许可协议，转载请注明出处。
Plausible Analytics - 开源隐私优先网站统计工具,无Cookie合规GDPR,轻量快速,替代Google Analytics 2026-06-20
Listmonk - 开源自托管邮件Newsletter平台,Go开发,替代Mailchimp,订阅者管理与自动化 2026-06-20

评论区