谷歌最重磅的两位AI学者：Jeff Dean与Noam Shazeer四万字畅谈谷歌25年AI历史

从PageRank到Gemini，一文聊明白。

原标题：谷歌最重磅的两位AI学者：Jeff Dean与Noam Shazeer四万字畅谈谷歌25年AI历史
文章来源：Founder Park
内容字数：75765字

谷歌Gemini项目深度访谈：Jeff Dean和Noam Shazeer对话AI未来

本文深度访谈了谷歌首席科学家Jeff Dean和Transformer发明者之一Noam Shazeer，两位共同执掌谷歌最前沿的AI项目Gemini。访谈回顾了他们在谷歌25年的合作历程，从PageRank、MapReduce到Transformer、MoE，以及最新的Gemini，并展望了通往通用人工智能（AGI）的未来。

1. 谷歌早期与发展历程

访谈从谷歌早期25人的规模开始，两位回忆了公司快速扩张的历程，以及如何从早期对所有项目的了解，逐渐过渡到对公司整体战略方向的把握。Jeff Dean回忆了他主动联系谷歌，而Noam Shazeer则是在一次招聘会上了解到谷歌，并被其指数级增长的搜索量吸引。

2. 算力与算法的协同进化

两位探讨了摩尔定律对AI发展的影响，指出摩尔定律的放缓以及专用计算设备（如TPU）的兴起。他们认为算法的发展一直紧随硬件的进步，深度学习的兴起正是因为算术运算成本降低，而数据移动成本相对较高。他们预测，如果内存成本下降速度超过算术运算，AI的发展方向将发生根本性转变。

3. TPU的演进与量化技术

访谈深入探讨了TPU的演进历程，以及量化技术在提高AI计算效率方面的作用。他们指出，模型量化精度不断降低，从早期的8位整数到现在的INT4、FP4甚至1位，这需要算法和硬件的协同设计。

4. Transformer的诞生与大型语言模型

两位回顾了Transformer架构的诞生以及大型语言模型的发展。他们提到，早期的N-gram模型以及拼写纠错系统已经展现出大型语言模型的潜力，但当时并没有意识到其对AI的性意义。他们认为，大型语言模型的成功在于其能够从海量数据中进行自监督学习，并能够解决“预测下一个词”这一看似简单却蕴含无限可能的问题。

5. AI研究的突破与AGI的挑战

两位讨论了AI研究中的关键突破时刻，以及AGI研发的挑战与机遇。他们认为，许多想法都“部分存在于空气中”，需要团队合作和创新才能实现突破。他们还探讨了如何利用AI来组织世界信息，并根据用户的需求创建新的信息，以及如何解决AGI开发中存在的安全性和对齐问题。

6. 未来AI研究员的工作方式

两位预测，未来的AI研究员将能够利用强大的AI模型来辅助研究工作，例如自动生成实验代码，提高研究效率。他们认为，这将极大地提高研究人员的生产力，并可能导致AI研究的加速发展。

7. 数据中心规划与持续学习

两位探讨了未来AI发展对数据中心规划的影响，以及持续学习的重要性。他们认为，推理时间计算将成为一个重要的计算类别，需要更专业化的硬件和算法。他们还探讨了模块化模型架构，以及如何通过持续学习和模型蒸馏来不断改进模型的能力。

8. AGI的潜在风险与应对策略

两位最后讨论了AGI的潜在风险，例如模型输出的安全性以及与人类价值观对齐的问题。他们认为，需要采取各种措施来确保AGI的安全性和可靠性，并引导其发展方向，使其造福人类。

总而言之，此次访谈提供了对AI未来发展方向的深刻洞察，两位专家对算力、算法、模型架构以及AGI的未来发展都给出了独到的见解，并强调了硬件和算法协同设计的重要性以及持续学习在未来AI发展中的关键作用。

联系作者

文章来源：Founder Park
作者微信：
作者简介：来自极客公园，专注与科技创业者聊「真问题」。