OpenAI员工指责xAI Grok 3基准测试结果误导，xAI创始人坚称无不当

本周，人工智能行业又掀起了一场激烈的争论，焦点是埃隆·马斯克所创立的xAI公司与OpenAI之间的竞争。OpenAI的一位员工在社交媒体上指责xAI的最新AI模型Grok 3在基准测试中的结果存在误导性。对此，xAI的联合创始人伊戈尔·巴布什金（Igor Babushkin）坚称，公司的测试结果没有任何不当之处。

这场争议的起因是xAI在其官方博客上发布的一张图表，该图表展示了Grok 3在AIME 2025（一个近期邀请制的数学考试，内容涉及高难度的数学问题）中的表现。尽管有专家质疑AIME作为AI评估基准的有效性，但该考试及其早期版本仍然被广泛使用，用于评估AI模型在数学能力上的表现。

根据xAI的展示，Grok 3的两个版本——Grok 3 Reasoning Beta和Grok 3 mini Reasoning——在AIME 2025的表现超越了OpenAI当前最强的可用模型o3-mini-high。OpenAI的员工很快在X个上指出，这样的比较存在问题。

员工指出，Grok 3的测试中涉及了“cons@64”这一参数，即在基准测试中，模型允许对每个问题进行64次尝试，并将出现频率最高的答案作为最终结果。可以想象，这种方法会显著提高模型的基准测试得分。如果xAI发布的图表中省略了这一部分数据，可能会使得观众误以为Grok 3的表现优于OpenAI的模型，而实际上，这一结果的准确性值得怀疑。

进一步分析AIME 2025的“@1”条件（即模型首次尝试的得分），Grok 3 Reasoning Beta和Grok 3 mini Reasoning的得分显示，它们都低于OpenAI的o3-mini-high。Grok 3 Reasoning Beta的表现甚至略低于OpenAI的o1模型在“中等计算”条件下的得分。这样的数据对比让人更加质疑xAI发布结果的准确性和透明度。

对此，巴布什金在X上积极辩驳，试图为Grok 3的表现辩护。而在争论过程中，有第三方重新绘制了相关图表，试图展现更为“准确”的数据表现。但正如AI研究员内森·兰伯特（Nathan Lambert）在其文章中指出，更重要的指标依然未公开：各个模型达到其最佳分数所需的计算资源和经济投入。这表明，当前大多数AI基准测试在传达模型局限性和优势方面依旧存在显著不足。

这场争论引发了对AI模型评估透明性和准确性的更广泛讨论。随着AI技术的不断发展，越来越多的企业和研究机构正致力于开发新模型，不同模型间的竞争也愈加激烈。对于消费者和行业了解模型的真实性能以及各项指标背后所反映的含义显得尤为重要。基准测试的结果往往被视为评估AI技术实力的重要工具，但其具体实施方式和统计方法，会对最终结果产生重大影响。

基准测试的数据如何被呈现，也在商界和学术界引发了诸多争议。不少专家认为，这一过程需要更加透明化，以便公众可以清楚理解不同模型的实际表现。企业在发布相关成果时，应秉持诚信原则，尽可能提供完整的信息，避免因断章取义而引发误解甚至是信任危机。

OpenAI与xAI之间的这场较量，为AI行业提供了反思的契机。随着技术的不断进步，以及社会对AI透明度和可解释性的需求上升，如何在技术创新与诚信之间找到平衡，将成为业界需要共同面临的挑战。无论是企业还是研究者，在推进AI技术的同时，都不能忽视对数据的解释和表达，唯有如此，才能推进整个行业的健康发展。