抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

图灵已经找到了计算能力的基石,但寻找智慧的基石这项工作,仍然没有见到成功的曙光,世界在等待着下一个“图灵”的出现。

谁会是下一个图灵呢,是奥特曼吗,我们不得而知,GPT的发布如火如荼,吸引了全世界的注意力。

AI

Transformer背景介绍

Transformer指的是一种架构,未来的NLP(自然语言处理)都可以使用此架构。Transformer由编码器、解码器(后面会介绍)等组成,他的输入是向量数组,输出是也是向量数组。

注意:Transformer架构的输出是把向量逐个输出的。

Transformer架构最初只用来做机器翻译,例如将英语翻译成德语。在翻译的过程中待翻译语句作为输入,而翻译结果作为输出。待翻译语句中的每一个Token(词)会被转化为向量作为输入,Transformer的输出向量最终被转化为翻译结果Token(词)。由于Transformer逐一输出结果的特性,翻译结果是一个Token(词)一个Token(词)逐渐输出的。

Transformer架构不仅仅只可以用与机器翻译,Transformer现在也用于GPT中,就是GPT的最后一个字母T所代表的含义。由于Transformer逐一输出结果的特性,GPT也是一个Token(词)一个Token(词)逐渐输出的。