九三读书网

transformer：从“是什么”到“为什么重要”，零基础也能懂（第4页）

本小章还未完，请点击下一页继续阅读后面精彩内容！

四、Transformer的“家族成员”：不止一种，不同成员有不同用处

虽然咱们都叫它“Transformer”，但实际上它不是“一个东西”，而是一个“家族”。这些年开发者在原始Transformer的基础上，根据不同的任务需求，改造出了很多“家族成员”，比如BERT、GPT、T5等等。这些成员的核心还是Transformer，但侧重点不同，就像同一个家族里，有人擅长文科，有人擅长理科。咱们挑几个最常见的成员，用大白话讲讲它们的区别。

（一）BERT：擅长“理解信息”，像个“阅读理解高手”

BERT的全称是“Bidirectional Encoder Representations from Transformers”，翻译过来就是“来自Transformer的双向编码器表示”——听着绕，其实它的核心特点就一个：只用力做“编码器”，不做“解码器”，专门负责“理解信息”。

简单说，BERT就像一个“阅读理解高手”，你给它一段文字，它能准确理解文字的意思、上下文关系，甚至能回答关于这段文字的问题，但它不会主动“写文字”或“翻译文字”。

比如你给BERT一段文字：“小明昨天去超市买了牛奶、面包和鸡蛋，今天早上用牛奶和面包做了早餐”，然后问它“小明昨天买了哪几样东西？”，BERT能准确回答“牛奶、面包、鸡蛋”；如果你问它“小明今天早上吃了什么早餐？”，它也能回答“牛奶和面包做的早餐”——这就是它“理解信息”的能力。

BERT的“双向”是什么意思？就是它在理解文字时，会同时从“左往右”和“右往左”看。比如理解“小明买牛奶”，它会同时看“小明”后面的“买牛奶”和“牛奶”前面的“小明买”，这样能更全面地理解句子的意思。以前的AI理解文字只能“从左往右”，容易漏掉“右往左”的关联，而BERT的“双向理解”让它的准确率更高。

现在BERT主要用在哪些地方？

- 搜索引擎：比如你在百度搜“北京最好吃的火锅”，BERT能理解“最好吃”是“求推荐”的意思，而不是“问火锅的味道”，从而给你推荐火锅店，而不是解释“火锅为什么好吃”；

- 文本分类：比如把“我今天心情真好”归为“积极情绪”，把“今天倒霉透了”归为“消极情绪”，BERT能准确判断；

- 问答系统：比如智能客服，你问“我的快递什么时候到”，BERT能理解你问的是“快递时效”，然后调用快递数据给你回答。

（二）GPT：擅长“生成信息”，像个“写作高手”

GPT的全称是“Generative Pre-trained Transformer”，翻译过来是“生成式预训练Transformer”——它的核心特点和BERT正好相反：只用力做“解码器”，不做“编码器”，专门负责“生成新信息”。

简单说，GPT就像一个“写作高手”，你给它一个“开头”或“主题”，它能顺着这个开头往下写，生成连贯、有逻辑的文字。比如你给GPT一个开头“今天早上我在公园跑步时，突然看到一只小狗”，它能接着写“那只小狗浑身是白色的，尾巴摇得特别欢，好像在跟我打招呼。我蹲下来想摸它，它却调皮地往后退了一步，然后又凑过来闻我的手……”

GPT的“预训练”是什么意思？就是它在正式“干活”之前，已经被开发者喂了海量的文字数据（比如几百万本书、几十亿篇文章），提前学会了“文字的用法、语法、逻辑”。就像一个作家在写小说之前，已经读了很多书，积累了足够的知识和写作技巧——这样等到正式写作时，才能下笔如有神。

现在GPT主要用在哪些地方？

- 聊天机器人：比如ChatGPT，你说“给我讲个笑话”，它能生成一个新笑话；你说“帮我写一封请假条”，它能生成一封完整的请假条；

- 文案生成：比如商家用GPT生成产品宣传语、朋友圈文案；