ChatGPT可以提供一些令人印象深刻的结果，但有时也会提供一些非常糟糕的建议。但是，虽然理论上与 ChatGPT 交谈是免费的，但通常您最终会收到有关系统容量已满或达到当天最大聊天数量的消息，并提示您订阅 ChatGPT Plus。此外，您的所有查询都在 ChatGPT 的服务器上进行，这意味着您需要互联网并且 OpenAI 可以看到您在做什么。

幸运的是，有多种方法可以使用 GPU 的强大功能在本地 PC 上运行类似 ChatGPT 的 LLM(大型语言模型)。oobabooga文本生成 webui(在新标签页中打开)可能正是您所追求的，所以我们进行了一些测试，以找出它可以做什么，不能做什么!— 做，这意味着我们也有一些基准。

让 webui 运行并不像我们希望的那么简单，部分原因在于 LLM 空间内的一切移动速度有多快。自述文件中有基本说明、一键式安装程序，以及有关如何构建和运行 LLaMa 4 位模型的多个指南(在新标签页中打开). 我们遇到了不同程度的成功/失败，但在 Nvidia 和其他公司的帮助下，我们终于成功了。然后更新了存储库，我们的说明失效了，但今天发布了解决方法/修复程序。再一次，它移动得很快!

这就像运行 Linux 并且只运行 Linux，然后想知道如何玩最新的游戏。有时您可以让它正常工作，有时您会收到错误消息和编译器警告，而您不知道如何解决。我们将在下面为那些想在自己的 PC 上试一试的人提供我们的说明版本。您还可以在LMSys Discord中找到一些有用的人(在新标签页中打开)，他们很乐意帮助我解决一些问题。

这可能看起来很明显，但让我们也把它排除在外：如果您想自己运行大型语言模型，您将需要一个具有大量内存的 GPU，可能还需要大量系统内存硬件 - 就在名称中。在单个 GPU(或 CPU)上运行的许多工作都集中在减少内存需求上。

使用具有 16 位数据的基本模型，例如，使用RTX 4090、RTX 3090 Ti、RTX 3090或Titan RTX可以做到最好— 所有具有 24GB VRAM 的卡 — 用于运行具有 70 亿个参数的模型 (LLaMa-7b)。这是一个开始，但很少有家庭用户可能拥有这样的显卡，而且它的性能很差。值得庆幸的是，还有其他选择。