本地 AI 模型需要多少显存？Can I Run AI 硬件评估与试跑教程

判断电脑能否运行本地 AI，不能只比较“模型文件多大”和“显存多少”。权重之外还有上下文缓存与运行开销，模型能加载也不代表速度和回答质量适合你的任务。本文用 Can I Run AI 做初筛，再用实际短任务确认结果。

更新：2026-09-20。网页功能依据公开页面整理；本文未对任何硬件进行跑分。容量计算与任务样例均为教学示例，封面为原创流程示意图。

一、先记下硬件，避免把不同内存混为一谈

在系统信息和任务管理器等系统工具中确认以下项目，截图或记成一行即可：

Apple 芯片设备采用统一内存时，不要把同一块内存同时算成“系统内存”与“显存”再相加。初筛拿不准的字段先查设备实际配置，不用网页自动识别结果替代系统信息。

上述页面功能来自工具当前公开界面。自动识别不完整时手动核对；页面显示“可运行”也不能保证长上下文、多并发或其他推理后端一定稳定。

可以用一个简化公式理解权重体积：

权重原始体积 ≈ 参数数量 × 每个参数的位数 ÷ 8
示例：7B × 4 bit ÷ 8 ≈ 3.5GB（十进制）

这是算术示例，不是某个模型的实际文件大小。量化还包含缩放参数和元数据，运行时还需工作区、上下文相关的 KV 缓存及其他开销。操作系统显示的 GiB 与十进制 GB 也有差别，不能把上述 3.5GB 当作显存配置下限。

上下文增长通常会增加资源需求，多个并发任务也会进一步占用内存。官方 Ollama 上下文说明与 FAQ解释了相关配置及运行状态检查。因此，“下载完成”“成功加载”“任务可用”应分别验收。

尚未安装推理环境，可以先照 Windows/Ollama 部署教程跑通小模型。已有环境时，先记录模型标签：

ollama list
ollama ps

在 Ollama 的交互对话中，可用下面的命令将本轮练习上下文设为 2048。该数值是便于短任务比较的示例，不是所有任务的推荐上限：

/set parameter num_ctx 2048

每次比较使用同一段输入、同样的输出长度要求及相同推理后端。第一次记录模型加载过程，再在保持模型加载的情况下重复两三次，区分冷启动与后续响应。

先测试一个结构化提取任务：

从以下文字提取事项、负责人、期限，输出 JSON。
缺失值必须为 null，不要推测。
原文：小林负责更新教程，周五前完成；部署文档需要补图，负责人待定。

人工核对点：更新教程对应小林和周五；部署文档的负责人及期限都未确定。即使输出很快，只要擅自补出负责人，这个样例就不合格。

然后使用一段自己熟悉的短代码，让模型解释一个边界条件；再提供一段带有数字和否定词的资料，让它按三条总结。这样分别观察结构输出、推理解释与事实保留，避免被流畅措辞掩盖错误。

复制下面的记录模板，每个候选填一份。不要用网页估计值冒充实测：

设备 / 系统：
推理软件 / 版本：
模型完整标签 / 量化：
上下文长度 / 同时运行任务数：
测试输入与输出限制：
首次加载耗时：
后续响应耗时（第 1 / 2 / 3 次）：
运行时内存 / 显存与 CPU-GPU 分配：
答案错误或遗漏：
是否满足我的等待时间与质量要求：

容量够、响应可接受、关键样例答对，再尝试真实长文。只在有明确需求时增加上下文或换大模型；每次改变一个条件，才能知道性能下降来自哪里。

文件能放下，运行却内存不足：检查可用资源、上下文和并发；缩短输入、关闭其他模型或选择更小的量化模型，再试同一个短样例。

显卡空闲但 CPU 很忙：查看运行状态中的处理器分配，核对推理后端是否支持该显卡以及驱动是否匹配。仅凭显卡型号不能判断实际用了 GPU。

网站估计快，本机很慢：核对是否比较了不同量化、上下文、后端或冷启动；同时观察是否因内存不足使用了较慢的交换空间。

短句很好，长文变差：除了容量，检查是否发生内容截断与关键信息遗漏。用自己能判断答案的长文样例验证，而不是只把上下文调到最大。

最终应得到“一份核实过的硬件信息、两个候选模型、同条件的实际记录”。据此选择能稳定完成任务的模型，不需要追求参数最大的版本。用于字幕转写时，请再按 MioSub 教程验证语音识别链路，文本模型试跑结果不能直接当成语音识别速度。