消息称OpenAI采用智谱标准评测最新模型

36氪获悉，有消息称，OpenAI在刚刚发布的GPT-4.1系列模型中评测其函数调用能力时采用了ComplexFuncBench，这是由智谱团队提出的专用于评估大模型复杂函数调用能力的测试基准。ComplexFuncBench主要评测大模型在128K的长上下文下进行多步带约束的函数调用的能力。相比于现有函数调用测试基准，ComplexFuncBench要求大模型对真实场景下的用户需求进行细粒度理解，并在此基础上进行多步带推理的函数调用，这对模型的函数调用能力提出了更高的挑战。