职场小聪明第514章 用steamdeck安装AI大模型的体验gpt4all

看到这个标题你可能会觉得是噱头。

谁不知道 ChatGPT 模型有 1750 亿以上的参数别说是在笔记本电脑上跑就是使用高性能 GPU 的台式机也无法带得动啊。

老老实实调用 API 不好吗？其实LLM（大语言模型）有非常宽泛的参数量范围。

咱们今天介绍的这个模型 GPT4All 只有 70 亿参数在 LLM 里面现在算是妥妥的小巧玲珑。

不过看这个名字你也能发现它确实是野心勃勃照着 ChatGPT 的性能去对标的。

GPT4All 基于 Meta 的 LLaMa 模型训练。

你可能立即觉得不对你这跟 GPT 有啥关系？为什么要无端蹭热度？且慢GPT4All 确实和 ChatGPT 有关 —— 它用来微调的训练数据正是调用 ChatGPT 产生的大量问答内容。

我怕你对技术细节不感兴趣因此只用下面这张图来说明 GPT4All 的训练过程。

??GPT4All 其实就是非常典型的蒸馏（distill）模型 —— 想要模型尽量靠近大模型的性能又要参数足够少。

听起来很贪心是吧？据开发者自己说GPT4All 虽小却在某些任务类型上可以和 ChatGPT 相媲美。

但是咱们不能只听开发者的一面之辞。

还是试试看比较好你说是吧？深度神经网络由多个层组成。

每一层包含处理输入数据并通过非线性激活函数（Sigmoid 或 ReLU）传递给其他层的神经元。

每一层的输出会传递给另一层在传递给下一层进行进一步处理之前这一层会对这个中间表示进行某种操作。

这个架构可以分为两个主要部分：输入层和输出层。

输入层 - 这表示一组输入这些输入被送入人工神经网络（ANN）作为训练数据或测试数据然后由深度学习算法使用以根据历史信息（例如过去的交易等）预测未来事件 / 结果这一过程使用输入层及其相关权重。

输出层 - 这表示一组输出这些输出在经过人工神经网络内部的各个层（例如卷积神经网络、循环神经网络或长短时记忆网络）处理后被送回到 ANN 中然后由深度学习算法使用以根据历史信息（例如过去的交易等）预测未来事件 / 结果这一过程使用输出层及其相关权重。

深度学习模型的架构可能会因各种因素而有所不同例如数据类型、特征数量、目标变量或正在解决的分类问题。

Transformer 是一类深度学习架构在自然语言处理（NLP）和其他领域中已变得非常流行这归功于它们强大的性能和可扩展性。

Transformer 首次在 Vaswani 等人于 2017 年发表的论文 Attention is All You Need 中被介绍。

Transformer 基于自注意力机制这使它们能够捕获长距离依赖关系并在序列中建模复杂的模式。

自注意力机制：Transformer 的核心是自注意力机制它允许模型衡量每个输入标记与序列中每个其他标记的关系的重要性。

这是通过使用三个可学习的向量实现的分别称为查询向量（Q）、键向量（K）和值向量（V）。

自注意力机制计算每对标记之间的注意力分数然后用于生成值向量的加权和。

多头注意力：Transformer 使用多头注意力来捕捉输入序列的不同方面。

多头注意力层中的每个 头 都独立执行自注意力并生成自己的输出。

这些输出然后被连接并线性转换以创建多头注意力层的最终输出。

看到这里你可能已经怒了 —— 有这么比的吗？！你拿一个如此精致的小模型 GPT4All（70B）跟 GPT-4 这样的大怪物去比。

GPT-4 胜之不武我为 GPT4All 鸣不平！且慢恼怒我想表达的意思是这样的：如果一个模型真的能达到蒸馏浓缩的作用那么显然体积的显着减小是重大优势毕竟这意味着训练和应用成本降低速度显着提升。

但如果模型缩小以后在解决问答、解释和编程能力上和大模型相比差距显着那么我们就不能武断地说小模型「性价比」更高了。

有研究证实过在「有人类调教的情况下」60 亿参数的小模型甚至可以在某些任务上面击败 1750 亿参数的大模型 (Ouyang et al. 2022)。

只不过这里的比较并不公平 —— 它指的是小模型有人工调教而大模型缺乏调教的情况。

ChatGPT 不缺乏调教因此我们并没有看到 GPT4All 能够以少量的参数达到 ChatGPT 这么好的性能即便它充分使用了 ChatGPT 的输入输出数据。

训练大语言模型时多大的语料会使得模型对外部世界真实认知产生质的飞跃（可以在各项任务上都有好的表现）？目前的经验是 300 亿单词的输入量 (Zhang et al. 2020)。

但是大语料需要足够高的模型复杂度来承载。

模型相对输入数据过于复杂固然不好（过拟合over-fitting）。

然而一个太小的模型在面对大数据的时候也会力不从心（欠拟合）。

大和小是需要相对判断的。

目前的 GPT4All 在一众巨无霸面前无论如何也是个小模型。

ChatGPT 这样的大语言模型让人们惊诧的地方在于它能够有自己的「顿悟时刻」。

这种「顿悟时刻」如何出现的？现在学术界还在研究中。

但是有很多证据指向一些提示语（例如「一步步来」step by step）能够激活大语言模型的 Chain-of-Thought (思维链）从而有助于解锁「顿悟」般的逻辑推理能力。

不过研究者同样证明了这种「魔法」提示语有效的前提是模型的参数量需要达到 1000 亿的规模 (Wei et al. 2023)。

ChatGPT 的参数超过了这个阈值而 GPT4All 还远得很。

当然不是。

如果你把 GPT4All 看成某种终极形态那么等待你的可能是从激动快速跌落到失望。

但是比较一下初代 iPhone 和 iPhone 4S你就能感受到短短几年间技术进步带来的产品性能天差地别。

更何况现在的 AI 进展速度可不像 iPhone 一样「一年一更」。

即便从短期来看GPT4All 也有其用途。

在我们的测试中它在写作上还是有能力的。

GPT4All 不需要付费调用 token 也不需要把数据传递到远端进行处理。

对有些使用目的（例如保护公司机密数据）而言GPT4All 这样的模型出现关乎的可不只是「好用」与「不好用」而是「能用」和「不能用」的分水岭。

对于很多机构的事务性工作而言复杂的逻辑推理能力其实只是锦上添花。

若是能完美解决日常单项任务收益也已经十分显着。

请你在试用之后依然对GPT4All保持一份耐心。

也许不久以后我们每个人的电脑和手机上都能运行一个随时待命的优秀助理帮助我们做许多从前想做但是一想到要做就头疼的任务 喜欢职场小聪明请大家收藏：()职场小聪明20小说网更新速度全网最快。

本文地址职场小聪明第514章 用steamdeck安装AI大模型的体验gpt4all来源 http://www.xiaoxiqiang.cc