Strata：用显存+内存+硬盘协同调度，让普通电脑跑 1250 亿参数模型

一、Strata 是什么

• GitHub 上的开源模型部署工具，目标是让硬件配置有限的普通电脑也能运行超大参数语言模型，最高支持 1250 亿参数（125B）。

• 即使显卡只有 8GB 显存，也不一定只能跑小模型，本地运行大模型的硬件门槛有望降低。

二、工作原理

• 核心思路是模型权重分层存放和加载：

  • 部分数据放入显存；

  • 其余数据利用系统内存；

  • 必要时借助硬盘空间；

  • 通过显存、内存、硬盘协同调度，突破显存容量的部分限制。

  • 官方/文章称：相同模型、相同提示词下，Strata 速度比 llama.cpp 快近 4 倍。

  三、部署方法

  1. 下载开源 Strata 项目

     • 下载地址：https://github.com/Niko1221/Strata/releases/tag/v0.2.6

     • 下载后直接打开安装，会根据电脑硬件推荐最适合的模型和部署环境。

     • 支持 N卡、A卡、Mac、Linux 等系统。

  2. 加载本地模型

     • 如果之前下载过开源模型，可直接载入：

     • 点击左侧 模型 → 管理模型 → 使用本地 GGUF 格式的模型，加载即可。

     • 自带监控面板。

  四、一句话总结

  Strata 通过显存、内存、硬盘协同调度来分层加载模型权重，试图让 8GB 显存级别的普通电脑也能运行 125B 超大模型，并支持本地 GGUF 模型加载和多平台部署。