理解大模型：超越传统思维的变革

在谈到大模型的训练和应用时，许多人常常将其与传统的数据存储方式相混淆，认为大模型的训练类似于将数据存入硬盘中，等待日后需要时再取出来使用。然而，这种思维模式极易导致对大模型的误解，并因此无法充分发挥其潜力。

一、大模型与人脑的相似性

大模型的工作原理与人脑非常相似。我们可以通过几个关键步骤来理解这一点。首先是预训练，即大模型在处理海量数据时的"读书"过程。就像人类在阅读和学习时需要付出大量的精力，大模型在预训练阶段同样经历着复杂而艰难的知识吸收过程。这个过程的核心是通过反复训练，使模型在知识的海洋中建立起广泛的联想和理解。

接下来是微调，即通过"做题"来巩固和应用知识。这一过程类似于老师指导学生解题，通过少量题目的练习，帮助模型理解如何将知识应用于实际问题。由于大模型具有强大的泛化能力，仅需少量训练，它便能举一反三，掌握大量的知识应用方法。

第三个步骤是对齐，即确保大模型的价值观与人类的基本伦理一致。大模型拥有广泛的知识和强大的推理能力，因此有必要通过对齐过程，避免其做出违背人类意愿的行为，如传播不当信息。

最后，模型通过日常的问答来进行推理，这与人类在学习和实践中逐步深化理解的过程非常相似。

二、参数与人脑的连接

大模型的核心术语之一是"参数"，即权重。理解参数对于理解大模型至关重要。人类的大脑中有大约千亿级别的神经元和超过十万亿甚至百万亿的神经元连接。每当我们学习新知识时，大脑中的神经元网络就会发生改变，旧的连接被切断，新的连接得以建立。这种动态变化使得人类的知识储存与传统存储方式截然不同，无法通过简单的复制来实现。

同样，大模型的训练过程实际上是通过调整大量参数来模拟这种神经元之间的连接。这些参数反映了模型对知识的理解深度和关联性，参数越多，模型在知识之间建立的连接也越强，从而能够在面对新问题时做出更为准确和灵活的推理。

三、大模型的知识提炼与应用

重要的是，我们不能用传统的存储眼光来看待大模型。大模型的训练不是对知识的简单压缩，而是对知识进行提炼和整合。例如，尽管100TB的数据通过传统压缩算法无法显著压缩，但经过大模型的训练后，输出的模型权重可能仅有100GB。这种高达1000倍的"压缩"并非简单的数据压缩，而是知识的提炼和能力的升华。

大模型不仅是知识的存储和检索工具，更是一个能够无中生有，生成新内容的智能体。它不仅能够回答"梅西在2022年世界杯进了几个球"这样简单的事实性问题，更能够综合分析和创作，例如对比梅西和马拉多纳的踢球风格，给出深入的评价。

四、摒弃传统思维，拥抱大模型

我们必须摒弃将大模型视作传统搜索引擎或存储设备的思维方式。大模型的真正价值在于其深度理解和创新能力，能够在海量数据中提炼出新的知识和见解。因此，正确理解和使用大模型，是充分发挥其潜力的关键。

总结而言，大模型并不是简单的数据存储和检索工具，而是一个通过复杂训练建立起广泛知识网络的智能系统。它能够从海量数据中提炼出深层次的理解，并在此基础上进行推理和创作。只有摒弃传统思维，正确理解大模型的基本原理，才能真正发挥其强大的潜力。

从宏观理解到微观实现

理解了宏观层面的大模型工作原理后，我们自然会好奇：这些强大的能力究竟是如何实现的？前面我们讨论了大模型与人脑的相似性、参数的作用、知识的提炼过程，但这些都还停留在概念层面。以ChatGPT为代表的大语言模型，其核心工作机制到底是什么？

要真正理解大模型，我们需要从最基础的技术原理开始。这就像理解了汽车的宏观概念（交通工具、速度、舒适性）后，还需要了解发动机、变速箱、底盘等具体部件的工作原理一样。只有理解了这些微观机制，我们才能真正明白大模型为何能够表现出如此惊人的能力。

让我们深入探讨ChatGPT的基础原理，看看这个看似神奇的"智能"背后，究竟隐藏着怎样的技术逻辑。你会发现，最复杂的人工智能系统，其基础原理可能比你想象的要简单得多。

一、ChatGPT的基础原理：从单字接龙到智能涌现

1.1 GPT到底做了一件什么事情？

GPT做单词接龙

题目给
- 我
GPT回答
- 爱
GPT在回答
- 你

GPT并不理解自己说了什么，它就像一只会说话的鹦鹉。你所看到的模型，都是根据不同的上文生成出来的，那他是怎么生成长内容的呢？答案是，把自己生成的「下一个字」，和「之前的上文」组合成「新的上文」，再让它以此生成「下一个字」，不断重复，就可以生成「任意长的下文」这个过程，在学术上叫自回归生成。

1.2 它是怎么被制造的？

ChatGPT的三个训练阶段

无监督学习 - “开卷有益"阶段：让ChatGPT对「海量互联网文本」做单字接龙，以扩充模型的词汇量、语言知识、世界的信息与知识。使ChatGPT从"哑巴鹦鹉"变成"脑容量超级大的懂王鹦鹉”。
监督学习 - “模板规范"阶段：让ChatGPT对「优质对话范例」做单字接龙，以规范回答的对话模式和对话内容。使ChatGPT变成"懂规矩的博学鹦鹉”。
强化学习 - “创意引导"阶段：让ChatGPT根据「人类对它生成答案的好坏评分」来调节模型，以引导它生成人类认可的创意回答。使ChatGPT变成"既懂规矩又会试探的博学鹦鹉”

1.3 GPT为什么不是搜索引擎？

误解：chatGPT是"搜索引擎的升级版本"是在庞大的数据库中，通过超高的运算速度，找到最接近的内容，然后进行一些比对和拼接，最终得出结果。

实际：chatGPT不具备搜索能力，因为在训练过程中，学习材料并不会被保存在模型中，学习材料的作用只是「调整模型」，已得到「通用模型」，为的是能处理「未被数据库记忆的情况」，所有结果都是通过「所学到的模型」，根据上文，逐字生成的，因为chatGPT也被称为「生成模型」。「生成模型」和「搜索引擎」非常不同，搜索引擎无法给出「没被数据库记忆的信息」，但生成语言模型可以，还能创造不存在的文本，这正是它的长板，但是它也有搜索引擎没有的短板：

记忆混淆问题：搜索引擎不会混淆记忆，但是生成模型有可能会：为了应对未被记忆的情况，它会学习语言单位（如单词、短语、句子等）之间的规律，用「学到的规律」来生成回答，然而，这也意味着，如果出现了「实际不同但碰巧符合同一个规律」的内容，模型就可能混淆它。最直接的结果：若「现实中不存在内容」刚好符合「它从训练材料中学到的规律」，那chatGPT就有可能对「不存在内容」进行「合乎规律的混合捏造」。
内容管理问题：它的内容无法被直接增删改查，不论是chatGPT「所记住的信息」，还是「所学到的规律」，都是同一个模型的形式来表达的，因此我们无法像操作数据库那样，对这些内容直接进行增删改查。这会导致两个具体的问题：第一，由于我们很难理解它所建构的规律，又无法直接查看它记住了什么、学到了什么，只能通过多次提问来评估，和猜测它的所记所学，其决策缺乏可解释性，这难免在使用时带来安全风险。第二：由于只能通过再次调整模型（即再次训练），来增加、删除或修改它的所记所学，这难免在更新时会降低效率。
数据依赖问题：chatGPT高度依赖数据，也就是学习材料。想要让chatGPT能够应对无数未见情况，就必须提供数量足够多、种类足够丰富，质量足够高的学习材料，否则它将无法学到通用规律，给出的回答会是以偏概全的。此外，chatGPT可能存在的胡编和混淆，也需要用优质的学习材料来修正，所以学习材料非常重要。

1.4 GPT有哪些惊人的能力，为什么不只是聊天机器人？

意外惊喜：当单词接龙模型的规模达到一定程度后，就会涌现出理解指令、理解例子、思维链的能力。这些能力使得GPT不仅仅是简单的聊天机器人，而是一个能够理解复杂指令、进行逻辑推理、甚至进行创造性思考的工具。

1.5 总结

ChatGPT的实质功能是单字接龙
长文由单字接龙的自回归所生成
通过提前训练才能让它生成人们想要的问答
训练方式是让它按照问答范例来做单字接龙
这样训练是为了让它学会「能举一反三的规律」
缺点是可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料

从技术原理到社会影响

理解了ChatGPT的技术原理后，我们不禁要问：这样一个基于简单"单字接龙"机制的系统，为何能产生如此巨大的社会影响？它的真正价值在哪里？这不仅仅是技术问题，更是关于人类知识传承、社会协作方式变革的深刻问题。

让我们从技术层面上升到社会层面，探讨GPT的里程碑意义及其对人类社会可能产生的深远影响。

二、GPT的里程碑意义：从技术验证到社会变革

从产品结构和技术创新的角度上来看，chatGPT确实不够完善。其核心模型结构，最早来自于2017年的论文；而创意引导的方法，则来源于2020年的论文。其他技术更是离不开AI科研人员的长期积累。

但是chatGPT确实是有里程碑意义的：

点火试验：意义不在于产品和创新，而在于一次验证：让全球看到了大语言模型的可行性
它展现的能力，已经足以吸引全球大力开发大语言模型，大语言模型将因此变得更好用，更快速，更便宜，相关产品也会如雨后春笋般普及。
真正对人类社会产生冲击的，不是chatGPT本身，而是它身后的万座"行星发动机"，这些行星发动机才是改变社会发展方向的推力。全球大公司和股民坐不住了，也是因为担心自己拿不到进入"地下城的门票"。

2.1 大语言模型能为人类社会做什么？

大语言模型的能力：

精通语言：校对拼写、转换句式、翻译外语、检查语法、转换句式、翻译外语
性能超越普通人类智力：对语言组织规则的遵守，已经超越了绝大多数人

但是那又怎么样呢？无非就是多了一个更好的语法检测器，至于影响整个社会吗？

它真正有价值的方面在于，在精通语言的基础上，还能存储人类从古至今积累的「世界知识」。人类自身是一个相当脆弱的物种，跑不过马，斗不过熊，嗅觉不如狗，视力不如鹰，能从众多高等动物中脱颖而出的原因，就是「语言中积累的世界知识」。其他高等动物虽然也能通过实践，建构关于世界的认识，获得相应的改造能力，可这些认识仅存在于个体的脑中，会随着个体的死亡而消失，无法代代积累。但语言的发明，允许人类将个体获得的认识，存储在体外，进而打通了整个物种的过去和未来。即使一些个体死亡，该个体的认识，也能依附语言，被其他个体继承和发展下去。作为现代人的我们，并没有在生理上比前人更优越，拥有更强能力的原因，只是因为语言中积累的知识，比过去更多了。

当人类步入文明社会后，尽管已不必在野外求生，但仍然需要群体协作地「创造知识」、「继承知识」和「应用知识」，满足社会的需求，来维持自己的生计，而这三个环节，全都是依靠语言来实现的。

2.2 大语言模型为机构带来的革命

过去人类使用的是口头和纸质文件，协作效率不高。到了20世纪80年代，电脑等相关技术的普及，极大方便了协作，纸质文件逐渐升级为电子文档，成为语言处理的主要媒介。

可是随着知识的爆炸性增长，语言处理的成本也相应的飙升，越大的机构，消耗在语言处理上的成本就越高。无论是医院、学校、法院、银行、出版社、研究所，都有繁重的信息分类、会议总结、格式排版、进程报告等工作。需要阅读和书写的内容数量和复杂度，不断超出人们的处理能力，这些成本早已成为机构急需解决的难题。

为了解决这些难题，自然语言处理技术应运而生，也就是chatGPT所隶属的技术。其目标就是让机器理解自然语言，协助人类处理繁琐的语言类工作。

相比人类，机器处理语言的优势太突出：处理速度快、工作记忆大、知识覆盖广，可以$7 \times 24$不间断处理海量语言内容，而且不受作息和情绪影响。哪怕是些许的效率提升，也会节约大量的成本。

如今的情况有了新的转变：大语言模型出现了人类未曾想过的"理解能力"。这使得我们极有希望，真正实现让机器理解"自然语言"这一目标。

人类的理解和语言模型理解并不相同：

语言模型的理解指的是，能够明确接受到了哪些语言符号，并能处理不同语言符号之间的关系，但是却不能将语言符号和指代对象进行关联，没有与现实对应。
人类的理解则比语言模型的理解多了一个环节，能够将语言符号和指代对象关联起来，与现实对应起来。

语言模型不理解指代对象，并不影响我们使用它。毕竟，我们把语言模型当作工具，又不是当作一个独立改造世界的个体。因此只要得到语言模型的回答，再由人类解读和实践即可。合理使用一个大语言模型，就可以让一个普通人，快捷简便地接触各行各业的平均知识。

2.3 未来和大语言模型结合的业务场景

搜索引擎结合：帮助用户精准寻找和筛选信息（如微软的New Bing）
笔记工具结合：辅助阅读和写作（如Notion, FlowUs, Wolai）
办公软件结合：辅助文字处理、数据分析和演示制作（如Office的下一步动作）
教育培训结合：制定个人的学习计划和学习材料（如全天家教）
开发工具结合：辅助编写业务代码、调试纠错（如ChatGPT）
客服系统结合：$7 \times 24$小时随便问，没有任何情绪
视频会议结合：多语翻译，会议记录与总结、谈话查找（如哔哔终结者BibiGPT）
评论审核结合：筛选评论，统计舆论，给出提醒
行业顾问结合：提供法律、医疗、健身等指导
社交媒体结合：帮助寻找兴趣相投的用户和话题
视频娱乐结合：个性化推荐音乐、电影、小说、动漫
游戏体验结合：让NPC为玩家带来更加灵活的游戏体验

2.4 大语言模型对普通人的意义

chatGPT的报道主要出现在：

新闻界——和语言中知识密切相关（传播信息）
教育界——和语言中知识密切相关（继承知识）
学术界——和语言中知识密切相关（创造知识）
商业界——商人对市场的感知敏锐

2.4.1 chatGPT冲击并挑战了现代教育机制

现代教育，仍是一种「传授既有知识」为主的培养模式，起源可追溯到18世纪的普鲁士教育。普鲁士教育的目的，是为了批量培养易于管理和服从权威的国民。但是这套模式的其他方面，极好的契合了前两次工业革命中，市场对人才的需求，因为在当时的社会背景下，工人并不需要创造新知识，只需要继承一些既有知识，就能在后半生靠这些知识来维持生计。

但是在现代社会，市场发展越来越快，工具更新换代频繁，这种「传授既有知识」的培养模式，越来越难适应时代。因为无论传授什么既有知识，毕业前基本都会过时，所有人都需要不断学习新知识。

因此，至上个世纪60年代开始，终身学习理念一直被反复推崇，要将培养模式转化为以「培养学习能力和创造能力」为主，这样不论学生毕业多久，工具变化多快，都可以通过高效的学习能力，快速掌握新技能，从实践中创造新知识。

5年后，如果学校传授的既有知识，任何人靠大语言模型就能实现，那该怎么办？未来的大语言模型只会更出色，更快速，更便宜，相当于人人都配有一个「熟读人类既有知识」的王语嫣（天龙八部中不会武功但是精通武学的奇才），市场可不会因为学校的禁用，而集体不用。

2.4.2 chatGPT带来了新的信息安全问题

另一方面，大语言模型对网络安全也带来了挑战。之前讲过，chatGPT在开卷有益阶段，会对海量的互联网内容做单词接龙，但是互联网资源中，不免存在一些带有偏见、歧视、文化和意识形态侵袭等危害性言论，chatGPT就有机会学到这些危害性言论的模式，输出不良回答。此外，也会有人刻意提问，如何编造杀猪盘等问题。

chatGPT并没有真正的理解知识，chatGPT只是学到了「承载知识的语言搭配模式」，有可能被诱导输出帮助犯罪的知识，进而使防范违法犯罪变得更加困难。

在群体协作时，人类使用的语言，难免会泄露工作内容，进而泄露商业和国家机密。如何确保提问的内容不被泄露，将是各个机构都关心的问题。很可能，未来每个机构，都会自己部署大语言模型来确保安全，但这样又无法发挥数据规模效应。因此，如何在保证各机构数据安全的前提下，实现联邦学习，又有了新的挑战。

我国只能研发自己的大语言模型。阿里巴巴率先改革：

研发：通义千问大语言模型
李勇宣布：阿里所有产品未来将接入大模型全面升级

2.5 总结

ChatGPT的革命意义是向人们展示了「大语言模型的可行性」
人类群体通过语言处理来实现「知识的创造、继承和应用」
机器处理语言有着速度快、记忆大、覆盖广、无疲劳的优点
大语言模型能减轻语言处理工作，改变人与人、人与机器的协作方式
人类的理解和机器的理解不同，语言模型不知道符号的指代
大语言模型对社会的未来影响，相当于口语、文字、电脑、互联网对社会的影响
对教育界、学术界、新闻界、内容生产行业的影响颇深
它将方便人类对既有知识的继承，推进教育去培养高层次人才
也将带来网络安全和社会安全的新挑战

三、chatGPT的国际影响

chatGPT会关系到各国未来在国际中的地位。美国前国务卿基辛格认为：这项技术的进步，将带来新的认知革命，重新定义人类知识，加速我们现实结构的改变，并重组政治和社会。

大语言模型所影响的是，「知识的创造、继承、应用」这三个环节所构建的学习系统，是任何生命系统得以延续的根本，决定着一个个体或文明认识世界和改造世界的能力。在整个人类史，以及整个生命史中，凡是学习系统的升级，都会伴随生命的跃升，无论是单细胞生命到多细胞动物，还是从智人到多次科技革命。人类正处于下一次跃升的进程中，但还缺少一项升级学习系统的技术。大语言模型，很可能就是这一项技术，因为它正在改变人类「群体应用知识的方式」和「继承知识的方式」，甚至在未来形成「人机合作的科研」，改变「人类创造知识的方式」。若真能如此，那么人类必将步入下一个文明形态。

未来的大语言模型，能够让每个人更快的获取「承载知识的符号」，会降低「继承型人才」的竞争力。每个人的学习能力和理解能力，将成为驾驭这项技术的瓶颈。如果个体的学习能力没有相应的提升，就无法充分发挥这项技术的优势。所以如果我们全都加强对学习能力和高层次认识能力的训练，就能让我们在未来的国际竞争中获得优势。

四、chatGPT将成为未来社会的主流工具

任何新工具都会引起取代，因为如果只有自己不用，而别人使用，就会失去工具带来的竞争力，最终人们都不得不用。这种囚徒困境，和chatGPT无关。

4.1 普通人如何应对即将到来的革命

1. 克服工具抵触

人类最大的优势，就是善于利用工具。先了解工具的优点和缺点，然后避开缺点，将其优点用在适合的地方。

chatGPT非常强大，但它仍是一个没有意识的工具，不会主动配合人。面对空洞的提问，就会给出空洞的回答，需要被正确的使用，才能发挥最大的价值。

将chatGPT用于其最不擅长的领域，突出其缺点，用最顶尖的标准，突出其不足，很明显，目的就是要否定它：

锤子无用，因为它不如手灵活
看起来不可理喻，实际上，是人类在感受到威胁时的本能反应
因为我们都害怕被取代
可是工具不会取代人
只有会使用工具的人，取代不会使用工具的人

2. 克服学习抵触

即使心态上不再抵触学习，也还不得不克服过去形成的错误习惯，重塑自己的终身学习能力。这一步是最困难的，不仅要去掌握抽象层次更高的认识论、符号学、数学建模、批判性思维等内容，还要克服长期养成的习惯。

但十多年的应试规训对一个人的影响太深远，很难在一朝一夕改变。每当这些人想学习时，就会条件反射式的重拾应试的学习习惯，自己把自己变成教室里，等着灌输的学生，习惯性等待别人的教授，习惯性地记忆别人的总结，很少思考知识到底是怎么来的。

比如不少刚到大学的高中生会觉得，实验是在浪费时间，不如赶紧列出知识点让他们去记忆。他们已经懒得思考事物之间的关联，只想快点看到老师的总结。

很多人意识到要学习chatGPT时，脑中闪过的第一念头，也是找本书或买个课，觉得没有这两样东西自己就学不了。

习惯了应试教育的学生，就仿佛是动物园饲养的狮子，从小到大吃的都是送到嘴边的食物，以至于不认识野外的食物，忘记了如何自己获取食物，独立生存的能力逐渐退化，难以回到野外了。

4.2 总结

面对大语言模型带来的技术革命，我们需要：

积极拥抱工具：理解chatGPT的本质是工具，学会正确使用它来提升工作效率
转变学习观念：从被动接受知识转变为主动探索和创造知识
培养高阶能力：加强批判性思维、创造性思维和终身学习能力的培养
适应时代变化：认识到技术发展是不可逆转的趋势，主动适应新的工作方式

只有当我们真正理解大语言模型的原理，掌握正确的使用方法，并培养与之匹配的学习能力，才能在这场技术革命中占据有利位置，而不是被时代所淘汰。

「真诚赞赏，手留余香」

认识大模型