字节跳动AI应用豆包升级：实现低延迟自然音视频交互

近日，字节跳动旗下的AI应用豆包在其交互能力上迎来了重大升级。这一系列升级始于春节期间推出的实时语音通话功能，并在5月份加入了视频通话选项，从而使得豆包具备了如同真实人类般，通过多模态技术实现无缝沟通的能力。

在实际应用中，用户只需轻松开启视频通话功能，指向一面国旗，豆包便能迅速结合音视频信息，准确回答关于该国的信息。这种高效、即时的交互体验令人印象深刻，尤其是在用户可以在谈话中随意停顿、思考或者更改话题的情况下，而豆包则可以在适当时候做出响应。这种灵活的交互模式，不仅增强了用户的参与感，同时也大大提高了对话的自然性。

豆包的这一进步，并非偶然。为了在国民级AI应用中成功实现稳定的实时音视频交互，豆包经历了多次技术挑战。这些挑战不仅包括提升模型的能力，还涵盖了如何在摄像头捕捉到的画面中保持清晰度、音频视觉推理同步、以及在网络状况不佳的环境下依旧保证高质量的通信等问题。豆包选择了火山引擎RTC（实时通信）技术作为其核心支持。火山引擎的智能交互产品负责人杨若扬指出，RTC是一种专为低延迟互动设计的技术，能够有效降低通信延迟并确保实时性和质量，实现用户与系统之间，以及用户与用户之间的近乎“面对面”的交互体验。

RTC技术涉及多个模块的协同工作，包括音视频的采集与编解码、网络传输及自适应等。这些模块的有序配合保证了用户从麦克风和摄像头获取的信息能以清晰且流畅的方式传递到接收方，同时也能及时获取对方的音视频反馈。尽管RTC并不是市场上唯一的实时交互方案，但与基于TCP协议实现的WebSocket方案相比，RTCs显然更具优势。RTC底层采用UDP传输，这意味着其允许一定程度的丢包而不是追求完整接收，从而保证了通信速度和低延迟的特性。在复杂多变的网络条件下，RTC相较于WebSocket的稳定性和流畅性表现得更佳。

在实际测试中，RTC的抗弱网能力也得到了证实。在有高达20%丢包率的环境下，WebSocket技术表现出显著的卡顿和断连，用户体验受到严重影响。而同一情况下，RTC能够维持20%的实时语音延迟，让通话畅通无阻。

对于视频场景RTC更是有着传输带宽估计、前向纠错（FEC）和丢包重传的功能，可以有效降低在移动网络或拥挤Wi-Fi下出现画面花屏与卡顿的风险。火山引擎的RTC技术自2021年上线后，持续在字节内部的多种应用场景落地，包括音视频通话、社交娱乐及在线会议等。

面对生成式AI的爆发，火山引擎于2024年初推出的新技术为豆包的交互体验升级提供了有力支持。随着AI技术的不断进步，音视频交互已经成为新一代AI沟通的标配，展现出前所未有的沉浸式体验，特别适用于虚拟陪伴、智能家居等领域。

在与火山引擎团队的交流中，不少技术细节浮出水面。豆包的零延迟与高质量交互体验充分利用了火山引擎RTC技术的优势。在网络层面，火山引擎通过缩短数据传输的物理路径和动态选择最佳路径的智能路由技术，显著减少了延迟和丢包风险；而在算法层面，火山引擎的RTC围绕着动态带宽、自适应传输、音视频内容编码等，引入了一系列机制以提高系统的抗弱网能力。

如何在对话中准确判定对方的发言是否结束，保持自然流畅的交互，亦是豆包面临的苛刻挑战。通过智能语义判停技术，豆包能够根据语义判断用户结束发言的时机，从而避免不必要的打断，提升用户体验。

随着技术的发展与应用场景的不断拓展，火山引擎将RTC技术深度集成于对话式AI中，为AI应用提供了解决方案。通过一站式方案，开发者无需搭建复杂的架构即可实现优质的音视频交互，为用户提供更自然流畅的互动体验。为在智能应用和AI技术发展的未来打下基础，不断推动人与AI之间的互动向更高的高度发展，火山引擎正在全力以赴。

无论是虚拟陪伴，还是智能家居，各类AI应用的场景需求正日益增加，而火山引擎RTC技术的持续创新，为实现更自然的人机对话奠定了基础。未来，火山引擎将持续致力于促进AI与人之间的真实沟通，推动技术向前发展，引领更加流畅、高效、亲近的对话体验。