news 2026/5/1 5:56:57

Ollama + Open WebUI WSL上搭建本地AI模型

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Ollama + Open WebUI WSL上搭建本地AI模型
  1. 打开 WSL 终端,执行官方一键安装脚本:
    curl -fsSL https://ollama.com/install.sh | sh
  2. 验证安装是否成功:
    ollama --version # 输出版本号(如ollama version 0.1.48)则安装成功

三、基础使用:运行 / 管理模型

1. 运行第一个模型(以 DeepSeek 为例)

Ollama 内置了主流模型的配置,直接执行模型名即可自动下载并运行:

ollama run deepseek # 自动下载DeepSeek模型并启动交互界面
  • 首次运行会下载模型文件(DeepSeek-7B 约 4GB),耐心等待;
  • 下载完成后进入交互模式,输入问题即可对话(如:介绍一下WSL);
  • 退出交互:输入/bye或按Ctrl + D
2. 常用 Ollama 命令(模型管理)
命令功能
ollama list查看已下载的模型
ollama pull deepseek单独下载模型(不运行)
ollama rm deepseek删除指定模型
ollama stop deepseek停止运行中的模型
ollama serve后台启动 Ollama 服务(供 API 调用)

四、进阶:开启 GPU 加速(WSL 2 专属)

默认 Ollama 使用 CPU 运行模型,开启 GPU 加速可大幅提升推理速度,步骤如下:

  1. 安装 WSL 版 NVIDIA 驱动:
    • 先在 Windows 侧安装 NVIDIA 显卡驱动(需支持 WSL 2):https://www.nvidia.com/Download/index.aspx
    • WSL 内安装 CUDA 依赖(无需完整安装 CUDA,仅需运行时):
      sudo apt install nvidia-cuda-toolkit -y
  2. 验证 GPU 识别:
    nvidia-smi # 输出显卡信息则GPU适配成功
  3. 重启 Ollama 服务,自动调用 GPU:
    sudo systemctl restart ollama ollama run deepseek # 再次运行模型,会自动使用GPU

五、通过 API 调用 Ollama(开发集成)

Ollama 内置 REST API,可在 WSL 内或 Windows 侧调用:

  1. 后台启动 Ollama 服务:
    ollama serve & # & 表示后台运行
  2. 调用 API 示例(curl 测试):
    curl http://localhost:11434/api/generate -d '{ "model": "deepseek", "prompt": "解释Ollama的核心优势" }'
  3. Python 调用示例:
    import requests url = "http://localhost:11434/api/generate" data = { "model": "deepseek", "prompt": "用Python写一个调用Ollama API的示例", "stream": False # 关闭流式输出,直接返回完整结果 } response = requests.post(url, json=data) print(response.json()["response"])

Docker 安装 web-ui 界面

version: '3.8' services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always ports: - "3000:8080" # 主机端口:容器端口,可自定义(如 8088:8080) extra_hosts: - "host.docker.internal:host-gateway" # 关键:让容器访问主机的 Ollama volumes: - ./data:/app/backend/data # 持久化数据(对话、配置、插件) - ./models:/app/models # 可选:挂载自定义模型目录 environment: - OLLAMA_BASE_URL=http://host.docker.internal:11434 # 指定 Ollama 地址 - LANGUAGE=zh-CN # 强制中文界面 - TZ=Asia/Shanghai # 时区配置(避免日志时间错乱)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/20 5:27:01

AI不会淘汰产品经理,但不会AI的会!大模型学习指南(建议收藏)

文章强调AI时代已全面到来,产品经理必须拥抱AI避免被淘汰。作者建议向取得实际成果的人学习AI知识,而非纯理论。特别推荐参加人人都是产品经理大会,邀请了腾讯音乐、金山办公、字节跳动等有AI落地经验的产品经理分享实战经验。我不想给你们罗…

作者头像 李华
网站建设 2026/5/1 4:44:01

智能双卡设计:SIM卡硬件架构与软件配置核心解析!

智能双卡设计的核心在于硬件架构的合理性与软件配置的适配性。本文首先剖析硬件层面的双卡卡槽布局、电源域划分及信号隔离设计要点,再深入解析软件配置中的驱动适配、卡状态机管理与运营商优先级设置逻辑,通过软硬件协同视角,为开发者提供智…

作者头像 李华
网站建设 2026/5/1 4:46:09

无需API限制!使用LobeChat调用自有模型节省token成本

无需API限制!使用LobeChat调用自有模型节省token成本 在AI应用日益普及的今天,越来越多企业与开发者开始面临一个现实问题:明明只是想做个智能问答助手,为什么每次对话都要花几毛钱?当你的客服系统每天处理上千次请求…

作者头像 李华
网站建设 2026/5/1 4:45:44

Linly-Talker:构建可交互的数字人对话系统

Linly-Talker:构建可交互的数字人对话系统 在智能客服逐渐取代机械应答、虚拟主播开始挑战真人出镜的时代,我们正站在一场人机交互范式的转折点上。过去需要影视级制作流程才能实现的“会说话的数字面孔”,如今只需一张照片和一段语音&#…

作者头像 李华
网站建设 2026/5/1 5:45:05

分享150V耐压 输出电流可达3A的浮地架构DC-DC芯片

一、概述OC5810是一款支持宽电压输入的开关降压型DC-DC,内置 150V/100mΩ 功率MOS,最高输入电压150V。 OC5810具有低待机功耗、高效率、低纹波、优异的母线电压调整率和负载调整率等特性。 支持大电流输出,输出电流可达 3A 以上。 OC5810同时…

作者头像 李华
网站建设 2026/4/23 13:21:20

kotaemon本地化数据处理与隐私保护方案

Kotaemon 本地化数据处理与隐私保护方案 在企业越来越依赖人工智能进行内部决策、客户服务和知识管理的今天,一个尖锐的问题摆在面前:我们能否既享受大模型带来的智能便利,又不让敏感信息暴露在第三方云端?尤其是在金融、医疗、法…

作者头像 李华