谷歌“八子”雅各布·乌斯克尔特谈Transformer架构及其对人工智能的影响

在2017年的人工智能发展历史上，一篇极具影响力的论文问世，标题为《注意力就是你所需要的一切》（Attention Is All You Need），由谷歌的八位机器学习研究专家共同发表。这篇论文不仅开启了Transformer架构的新时代，也为生成式人工智能的崛起奠定了基础。时至今日，Transformer架构已经成为支撑几乎所有主流 AI 应用的核心技术，包括语言模型 GPT-4（及其衍生的 ChatGPT）和图像生成模型 Midjourney。

在今年10月的TED AI大会上，雅各布·乌斯克尔特（Jakob Uszkoreit），被称为“谷歌八子”之一，分享了他对于Transformer架构的见解以及谷歌在大语言模型领域的探索。他提到，尽管团队对Transformer技术的潜力充满期待，但对于其在实际应用中如ChatGPT等会产生重大影响，这并不是他们最初所预料的结果。

Transformer架构的关键贡献

在被问及论文的核心贡献时，乌斯克尔特强调了注意力机制的重要性，特别是自我注意力方法。他解释道，TensorFlow的引入使得数据处理更加高效，这种替代传统递归神经网络（RNN）的方式能够大幅提高模型的性能和可扩展性。尽管团队对于本研究的影响有一定的预见，但对于它将如何在市场中取代现有技术，他们的预期并不完全。

“我们的工作并不是为了直接创造出像 ChatGPT 这样的大型产品，而是想要探索注意力机制的基本潜力。”乌斯克尔特道。“如果说有什么大的惊喜，那就是这些技术的转化速度之快，特别是公众对这些新技术的热情。”

迫于时间压力的市场

当谈及ChatGPT的成功时，乌斯克尔特表示，尽管谷歌团队一度感到“原来这是有可能实现的”，但“并没有因此感到后悔或遗憾”。他指出，这不仅是一项技术的成功，更是对其应用方式的灵活性的认可。用户的创造性表现和使用场景的多样性常常超出开发者的预期，因此，数据研究人员需要保持开放的实验态度。

他提到，创新本身是风险与机遇并存的过程，谷歌在早期的研究和开发中确实对大规模项目的展开表现出谨慎。“我们曾有大胆的想法，但在实际商业化的过程中，总有来自内部的各种考量和挑战。”他解释到，谷歌过去在推出产品时所采取的保守策略最终可能导致失去一些创新机会。

持续创新与行业的未来

在离开谷歌后，乌斯克尔特创立了Inceptive公司，他将目光转向生物计算领域，努力将AI技术应用于药物设计上。乌斯克尔特认为，深度学习和高通量生物化学实验的结合可能会带来变革性的发展。他对“生物软件”的构想表示乐观，认为这将引领全新一代可编程药物的出现。

“我们希望通过利用AI编译器将分子行为转化为特定功能，这与我们开发软件的方式有相似之处。”他解释道：“当我们的分子能够被引入生物体并表现金属作用时，药物开发的过程将会变得更有效率，并且能直接改善人们的生活质量。”

同时，他提到如何确保不会意外产生有害的RNA序列。乌斯克尔特强调，医学领域积累的各种临床试验流程和保障机制仍将是他们研发的重要基础。他称，“我们会严格遵循既定的医学协议，确保每一步都经过科学验证，以避免潜在的风险。”

乌斯克尔特的故事不只是Transformer架构的历史，更是一个关于前沿科技推动社会进步的生动案例。在他看来，尽管当前的技术环境充满机遇与挑战，但通过不断的创新和开放的心态，未来的可能性几乎是无限的。随着Transformer架构不断演进，以及相关技术在生物医学等领域的广泛应用，他的愿景将逐步实现。未来将见证更多重磅产品的诞生，而这一切都已在此刻的探索之中。因此，保持对技术的热忱与投入，就是应该做的。