新的大型语言模型（LLM）正在以越来越快的速度开发。就在最近几个月，我们有了颠覆性的ChatGPT，现在是GPT-4。为了澄清定义，GPT 代表（生成预训练转换器），是底层语言模型，而 ChatGPT 是为对话而设计的特定实现。比尔·盖茨（Bill Gates）回顾了OpenAI的工作，他说：“人工智能时代已经开始”。如果您觉得很难跟上快速变化的步伐，那么您并不孤单。刚刚，超过1名研究人员签署了一份请愿书，要求在未来六个月内暂停训练比GPT-000更强大的AI系统。
虽然技术成就令人瞩目，但它们仍然处于闭门状态。尽管它的名字，OpenAI长期以来一直受到一些人的批评，因为他们没有发布他们的模型，甚至被一些人称为ClosedAI。研究人员和爱好者都在努力寻找开源替代方案。
如果你错过了最近的发展，你应该看看Meta的LLaMA（GitHub），它应该比GPT-3更好。它是在GNU许可证下许可的，虽然它不是严格开源的，但您可以在注册后获得权重。这种开放性显然是为了LLaMA的利益，社区迅速继续发展。它很快以美洲驼的形式移植到C / C++.cpp斯坦福大学的研究人员将其扩展到ChatGPT等指令遵循模型，并将其命名为Alpaca。还有GPT4All，这篇博文是关于它的。我将很快介绍它，最后，您将看到如何在本地运行它以及期望什么。
但首先，让我们反思一下社区将立即开发开放版本的速度。为了从中了解这些技术的变革性，以下是各个 GitHub 存储库的 GitHub 星级（衡量受欢迎程度的指标）的数量。作为参考，流行的PyTorch框架在六年内收集了大约65k颗恒星。下图约为一个月。
GPT4全部
但是现在，让我们更深入地介绍 GPT4All。这是Nomic AI的助手式聊天机器人，刚刚公开发布。
https://cdn.embedly.com/widgets/media.html?type=text%2Fhtml&key=a19fcc184b9711e1b4764040d3dc5c07&schema=twitter&url=https%3A//twitter.com/nomic_ai/status/1640834838578995202%3Fs%3D20&image=https%3A//i.embed.ly/1/image%3Furl%3Dhttps%253A%252F%252Fabs.twimg.com%252Ferrors%252Flogo46x38.png%26key%3Da19fcc184b9711e1b4764040d3dc5c07
如何基于现有的语言模型（如LLaMA）创建像ChatGPT这样的助手式聊天机器人？答案可能会让您感到惊讶：您与聊天机器人互动并尝试学习其行为。就 gpt4all 而言，这意味着从公开可用的数据源中收集各种问题和提示样本，然后将它们交给 ChatGPT（更具体地说是 GPT-3.5-Turbo），以生成 806，199 个高质量的提示生成对。接下来，整理数据并删除低多样性响应，并确保数据涵盖广泛的主题。训练数据，他们发现他们的模型比下一代模型性能更好。
对我来说，这样做的主要吸引力之一是作者发布了该模型的量化 4 位版本。这是什么意思？实际上，您在模型中执行某些操作时精度降低，而不是全精度，因此可以具有更紧凑的模型。虽然像ChatGPT这样的型号在专用硬件上运行，例如Nvidia的A100，这是一款具有高达80 GB内存的硬件野兽，价格为15，4美元，但对于GPT<>所有这些都意味着您可以在消费级硬件上执行该模型。现在，让我们开始运行自己的：
设置事物
运行 GPT4All 的说明很简单，因为您有一个正在运行的 Python 安装。只需按照 GitHub 存储库上的设置上的说明进行操作即可。
- 下载量化检查点（请参阅自己试用）。这是 4.2 Gb 的大小，我以 1.4 Mb/s 的速度下载了它，所以这花了一段时间
- 克隆环境
- 将检查点复制到
chat - 设置环境并安装要求
- 跑
我在 M1 MacBook Pro 上对此进行了测试，这意味着只需导航到 -文件夹并执行 .chat./gpt4all-lora-quantized-OSX-m1
设置所有内容只需几分钟。就我而言，下载是最慢的部分。在我的机器上，结果是实时返回的。
结果
现在，GPT4All 的即用型量化模型在基准测试后表现如何？虽然有详细的基准集，但以下是一些关于您可以期待的内容的快速见解：
虽然有一些明显的错误（NLP-> NLU），但我实际上对输出感到非常惊讶。
让我们尝试一些更有创意的东西，比如诗歌：
我发现这确实非常有用 – 再次考虑到这是在MacBook Pro笔记本电脑上运行的。虽然它可能不在 GPT-3.5 甚至 GPT-4 级别，但它肯定有一些魔力。
关于使用注意事项的一句话
使用 GPT4All 时，应牢记作者的使用注意事项：
“GPT4所有型号的砝码和数据仅用于研究目的并获得许可，禁止任何商业用途。GPT4All 基于 LLaMA，后者具有非商业许可证。助手数据来自Ope-nAI的GPT-3.5-Turbo，其使用条款禁止开发与OpenAI进行商业竞争的模型。
另外，请注意，ChatGPT 具有多种安全功能。
讨论
开源项目和社区的努力在实施技术和加速想法方面可以非常强大。GPT4All就是一个显著的体现。从根本上说，我认为这为闭源模型的业务方面提供了一个有趣的视角。如果您提供 AI 即服务，那么爱好者需要多长时间才能探测您的 AI 足够长的时间以便能够模仿它？对于GPT4All的案例，他们的论文中有一个有趣的注释：他们花了四天的工作，800美元的GPU成本和500美元的OpenAI API调用。这绝对是非同寻常的。
这就提出了闭源模型的可行性问题。首先让他们开放，让社区参与进来，也许有机会监督发展不是更好吗？
