九三读书网

transformer：从“是什么”到“为什么重要”，零基础也能懂（第2页）

（二）第二个绝招：编码器-解码器结构——机器的“理解+输出”流水线，像工厂生产产品

如果说自注意力机制是机器的“抓重点能力”，那编码器-解码器结构就是机器的“工作流程”：先“理解输入的信息”（编码器干的活），再“根据理解输出新信息”（解码器干的活）。咱们用“翻译”这个场景来类比，一下子就能懂。

比如咱们要把“小明爱吃苹果”翻译成英文“Xiao Ming likes eating apples”，Transformer是这么干活的：

1. 第一步：编码器“吃透”中文句子（负责“理解”）

编码器先接收“小明爱吃苹果”这句话，然后用刚才说的自注意力机制，把每个词的关系理清楚：“小明”是“爱吃”的主语，“苹果”是“爱吃”的宾语。理清楚关系后，编码器会把这句话转换成一套“机器能懂的密码”（专业叫“特征向量”），这套密码里不仅包含每个词的意思，还包含词与词之间的关系——相当于把中文句子“拆成零件并标好关系”。

2. 第二步：解码器“根据密码造英文句子”（负责“输出”）

解码器的任务是把编码器给的“密码”转换成英文句子。它也会用到自注意力机制，但多了一个“交叉注意力机制”（Cross-Attention）——简单说就是“一边看编码器给的密码，一边造自己的句子”。

比如解码器先造出“Xiao Ming”，然后通过交叉注意力机制回头看编码器的密码：“Xiao Ming”对应的是中文的“小明”，而“小明”后面是“爱吃”，所以接下来要造“likes eating”；造完“likes eating”后，再看密码，“爱吃”后面是“苹果”，所以最后造“apples”。整个过程就像工厂生产：编码器是“原料加工车间”，把原材料（中文句子）加工成“半成品”（密码）；解码器是“成品组装车间”，把“半成品”组装成“成品”（英文句子）。

3. 不止能翻译：编码器-解码器是“万能流程”

这套“先理解、再输出”的流程，可不止能用在翻译上。比如：

- 写文章：输入“主题：夏天的海边”，编码器理解“夏天”“海边”的关联（比如有沙滩、海浪、夕阳），解码器根据这个理解输出完整的文章；

- 语音转文字：输入“小明在吗”的语音，编码器先把语音转换成“机器能懂的声音密码”，解码器再把密码转换成文字“小明在吗”；

- 图片配文字：输入一张“猫追老鼠”的图片，编码器理解图片里“猫”“老鼠”的动作关系，解码器输出文字“一只猫正在追老鼠”。

简单说，只要是“需要先理解A，再输出B”的任务，编码器-解码器结构都能搞定——这也是Transformer能适配各种AI任务的关键。

三、Transformer为啥能“火遍AI圈”？对比以前的技术，它的4个“碾压级优势”

Transformer是2017年由谷歌的团队在一篇论文里提出来的，短短几年就成了AI领域的“顶流”，甚至被称为“AI的第三次革命”（前两次是深度学习、卷积神经网络）。它能这么火，不是因为“新”，而是因为它解决了以前AI技术的4个大痛点，优势堪称“碾压级”。

（一）优势1：处理信息“又快又准”，以前的AI根本比不了

以前的AI处理信息，比如处理长句子、长语音，有个致命问题：“速度慢”。因为它们是“按顺序处理”，比如处理10个词的句子，得先处理第1个，再处理第2个，直到第10个，中间一步都不能跳。如果句子有1000个词，就得等前面999个词处理完，才能处理第1000个——就像排队买票，前面的人没买完，后面的人只能等着。

本小章还未完，请点击下一页继续阅读后面精彩内容！