谷歌Gemini模型揭秘：多模态设计引领AI新革命

一水 闻乐 发自 凹非寺

量子位 | 公众号 QbitAI

在近期的一场令人瞩目的讨论中，谷歌Gemini模型的产品负责人与OpenAI的前员工Logan Kilpatrick进行了深入交流，详细探讨了这一颠覆性AI模型背后的设计理念、技术细节及其未来发展方向。这场讨论为我们揭开了Gemini如何通过多模态设计来重新定义人工智能的潜力。

原生多模态模型的设计初衷

Gemini模型自诞生之初便注重多模态能力，其原因在于想象一个智能体仅仅依靠文字进行理解是多么的局限。一个能够解读莎士比亚、编写代码、展开哲学讨论的若无法识别屏幕上的动态图标、无法理解正在烹饪的食材，又或对艺术作品的意境全无所知，这样的智能体难以被称为完整。正因如此，谷歌的Gemini模型被设计为原生的多模态系统，将文本、图像、视频和音频等各模态统一抽象为“token”，并进行协同训练，以此构建更为全面的智能。

信息转换与损失问题

在对Gemini如何处理信息转化的问题上，Kilpatrick提出了一个关键问题：在将图像和视频转化为token的过程中，是否会产生信息损失？对此，Gemini团队确认了在token化过程中确实存在一定的固有损失。Gemini 2.5在处理视频理解方面的表现却非同寻常。它解决了传统模型在面对长时视频内容时，通常只能关注前几分钟的问题，显示出在鲁棒性上的显著提升。

视频理解的创新突破

谈及Gemini 2.5视频理解的成就，Kilpatrick强调了其多项能力的融合。从将视频转换为实用代码任务（如食谱、讲座笔记）来看，Gemini的技术深度渐趋成熟。该模型不仅处理单一的OCR或分割能力，而是通过整合多种能力，使其在不同情境下都能保持高效。

特别是模型通过理解视频的时间信息与奥妙，能够同时解析音频和视频信息，为其提供了更强大的理解能力。例如，当用户流式传输一个IDE视频并询问代码库问题，Gemini能够凭借其核心能力，快速理解视频中的信息，并提供准确反馈。

结合实际应用的多模态能力

Gemini的“万物皆”的产品理念为其应用指明了方向，团队将用例分为三类：模型现有能力的应用；人类专家能完成的任务；以及超越人类在可行时间内无法完成的任务。例如，在烹饪时主动提醒加入食材、在城市行走时对周围的即时提问等，Gemini所展示的多模态处理能力预示着AI的未来将不再仅仅局限于静态的文本交流。

未来愿景：人与AI的无缝交互

Kilpatrick进一步展望了未来的产品体验，构想出一种理想状态：一个能“看见”用户所见且无时无刻不在帮助用户的AI专家。这样的AI兼具同理心与个性，能够理解用户的隐含意图，并以更自然的方式与之互动。

面对目前AI产品多为“回合制”系统（即用户提问，模型回答），Kilpatrick提出了对未来系统的新构想，强调需要创造一种更为自然的交互体验。他认为，赋予模型同理心、有趣的呈现方式与浓密的信息交流将是实现这一目标的关键。

谷歌Gemini模型的多模态设计不仅提升了AI理解能力的深度与广度，同时为未来人机交互方式的演进提供了全新的视角。随着技术的进一步发展，这一模型将在多种应用场景中渗透，展现出其无与伦比的潜力，最终实现通用人工智能（AGI）的部分愿景。

在未来，Gemini的技术进步和应用的不断拓展将有可能改变我们与AI的交互方式，让人们在日常生活中真正体验到智能助理所带来的便利与智慧。这场AI的革命，正如谷歌所设想，将推动我们进入一个全新的智能时代。