OpenAI新研究：推理时计算可显著提升大语言模型对抗稳健性

随着大语言模型在现实世界中被赋能各类Agent，OpenAI日前发布的新研究引发了广泛关注。该研究提出了一种新的Scaling Law，通过在推理过程中增加计算量，可以显著提高大语言模型的对抗稳健性。这一发现为当前主流的对抗性训练方法提供了新的思路和方向。

当前的对抗性训练方法及其不足

在当前的AI研究中，对抗性训练方法被广泛应用于提高模型的鲁棒性。这些方法往往存在几个缺点。它强烈依赖于先验知识，要求研究人员在训练模型前就了解潜在攻击者的攻击策略。由于加入了额外的防御机制，模型通常需要在稳健性和整体能力之间进行权衡，这被称为“安全税”。这意味着提高稳健性可能会导致模型在其他任务上的性能下降。

OpenAI的创新性研究

OpenAI的团队通过实验证明，即便不进行对抗性训练，只要在推理过程中增加计算，这些模型的对抗稳健性也能得到显著提升。研究表明，增加推理时计算可以有效降低攻击成功率，且在多个不同任务上均得到验证。

在这个研究中，几位联合作者表达了他们的看法，其中一位提到：“虽然我们没有完全‘解决’对抗稳健性的问题，但对未来的研究方向我们感到非常兴奋。”这说明研究团队对于推理模型在对抗性方面有着更为长远的规划。

针对推理模型的新攻防战

研究团队针对推理模型的特性，设计了多种攻击策略。攻击者可以在提示中提供大量上下文来进行攻击，攻击资源的量通过提供的tokens数量来衡量。攻击者也可以通过图梯度下降的方式操控embedding向量，这是一种强有力但不太现实的白盒攻击。还有一种新型攻击方式旨在降低模型的推理时计算量，从而增加出错的概率。

实验结果表明，随着推理时计算的增加，模型抵御攻击的成功率普遍提升。例如，研究中展示了几个图表，Y轴表示攻击者的资源量，X轴为推理时计算量。随着攻击者资源的增加，成功攻击模型的概率也在上升。但如果模型在推理时花费了更多的计算，成功的概率却显著下降。这一发现强调了推理时间与攻击成功率之间的负相关关系。

多种攻击方式的分析

为了更深入了解推理模型的弱点和防御能力，论文中还对几种新颖的攻击方式进行了详尽分析。例如，o1-mini模型在面对复杂攻击时比较脆弱，而o1-preview模型的防御能力则要强一些。同时，研究团队也注意到，当模型在某些情况下过度思考时，反而可能导致攻击成功率更高。这表明推理时计算的增加并非总是有利，模型有可能会陷入无效的思考循环。

研究局限性与未来方向

尽管本项研究的发现给AI对抗训练带来了新的视角，但研究者也坦言当前方法在多个方面仍存在局限性。主要局限在于研究的任务和计算缩放范围有限，而应对模糊性和攻击漏洞等问题时，增加计算量并不一定有效。"think less"和"nerd sniping"攻击也揭示了推理计算的双面性，攻击者能够设计激励模型想太多或想太少的情况。

对未来研究的启示

这项研究为大语言模型的对抗防御提供了一种前景广阔的新思路。随着技术的发展，如何将这一理念应用于实际的系统和产品中，将成为未来研究的重要课题。一些创业者甚至提出，DeepSeek-R1系列也可能从这种新发现中获得启发。

OpenAI的这一研究为我们在提升AI系统的对抗稳健性方面开辟了新的道路。尽管研究仍在不断深入，我们期待未来的成果能够进一步推动安全且智能的AI技术向前发展。随着对抗性挑战日益严峻，这种研究将成为未来AI发展的重要组成部分。