ZONE.CI 全球网

快手联合中科院软件所等提出业界首个隐喻视频理解基准MetaphorVU-Bench，系统评测11个多模态大模型发现其与人类差距近20分，80%失败源于跨域映射缺陷。团队提出基于隐喻知识图谱的推理增强框架MetaphorBoost，无需重训即可稳定提升模型表现，在Gemini-3-Pro等模型上平均提升2.3-4.1分。该工作推动多模态理解从感知智能迈向认知智能。

该文档介绍了PHPBench技术，用于自动化合成高质量Web漏洞基准数据集，以解决现有评测设施滞后、难度分布失衡、漏洞标签不可验证等问题。PHPBench通过提取真实漏洞根因、生成层级化变体、植入真实应用并自动合成PoC，构建了包含375个漏洞实例的WebVulnBench数据集。实验评估显示现有工具检测能力有限，最高发现率仅28.45%，且漏洞判定机制显著影响结果。建议使用该数据集进行统一评测。

南开大学软件学院论文被CCFA类期刊TOSEM2026录用，提出Build-bench基准，基于268个真实跨架构构建失败软件包评估大语言模型系统级构建能力。实验显示GPT-5最高成功率达63.19%，迭代反馈和工具使用是关键。研究将LLM评测从代码生成推进到真实系统构建，揭示了当前模型在复杂任务中的能力边界。

本周AI安全研究聚焦智能体权限失控、供应链可验证性缺口和实时对抗评测范式转换，发现模型越狱攻防进入长程化+内生化阶段，供应链存在可验证性缺口，评测范式转向实时对抗与防御闭环。

DeepSeekV4.1-Flash-1017在代码Agent基准上多项提升，Terminal-Bench、DeepSWE、ProgramBench、Automation-Bench等分数均高于前版，API单价未上调。安全基准仍为前版数据，不能代表新版。建议安全团队在受控任务中试用，并记录版本、脚手架、任务类型和误报等细节，以区分代码基准提升与安全工作流实际收益。

上海算法创新研究院QCP团队发布程序验证基准PV-BENCH，收录233个C程序实例，覆盖算法、数据结构及Codeforces等题目，并设置规约生成、程序标注、证明补全三项独立任务，用于评测AI在C程序功能正确性验证方面的能力，推动全自动程序验证研究。

文档详细分析了Anthropic公司AI模型Mythos在漏洞挖掘领域的突破性表现，其在ExploitBench、ExploitGym等测试中显著超越其他模型，能自主构建漏洞利用链并生成PoC。通过ProjectGlasswing项目，Mythos一个月内发现超1万个高危漏洞，但修复率极低，揭示当前安全响应体系滞后问题。合作伙伴案例显示AI误报率低于人类，但存在安全护栏不稳定的风险。核心建议包括采用并行任务框架提升检测效率，并警示单纯追求修复速度可能引入新风险。

该文档为2026年AI指数报告第四部分，重点分析了AI模型在软件、数学、金融和法律等专业领域的基准测试表现。关键发现显示顶级模型在SWE-bench编码测试达76.8%准确率，数学推理在FrontierMath提升至31.3%，但金融和法律领域准确率普遍低于70%。报告指出模型在自主应用构建和严谨证明生成方面仍存挑战，建议需继续提升专业领域推理与多步骤任务执行能力。

快手联合中科院软件所等提出业界首个隐喻视频理解基准MetaphorVU-Bench，系统评测11个多模态大模型发现其与人类差距近20分，80%失败源于跨域映射缺陷。团队提出基于隐喻知识图谱的推理增强框架MetaphorBoost，无需重训即可稳定提升模型表现，在Gemini-3-Pro等模型上平均提升2.3-4.1分。该工作推动多模态理解从感知智能迈向认知智能。

该文档介绍了PHPBench技术，用于自动化合成高质量Web漏洞基准数据集，以解决现有评测设施滞后、难度分布失衡、漏洞标签不可验证等问题。PHPBench通过提取真实漏洞根因、生成层级化变体、植入真实应用并自动合成PoC，构建了包含375个漏洞实例的WebVulnBench数据集。实验评估显示现有工具检测能力有限，最高发现率仅28.45%，且漏洞判定机制显著影响结果。建议使用该数据集进行统一评测。

南开大学软件学院论文被CCFA类期刊TOSEM2026录用，提出Build-bench基准，基于268个真实跨架构构建失败软件包评估大语言模型系统级构建能力。实验显示GPT-5最高成功率达63.19%，迭代反馈和工具使用是关键。研究将LLM评测从代码生成推进到真实系统构建，揭示了当前模型在复杂任务中的能力边界。

DeepSeekV4.1-Flash-1017在代码Agent基准上多项提升，Terminal-Bench、DeepSWE、ProgramBench、Automation-Bench等分数均高于前版，API单价未上调。安全基准仍为前版数据，不能代表新版。建议安全团队在受控任务中试用，并记录版本、脚手架、任务类型和误报等细节，以区分代码基准提升与安全工作流实际收益。

上海算法创新研究院QCP团队发布程序验证基准PV-BENCH，收录233个C程序实例，覆盖算法、数据结构及Codeforces等题目，并设置规约生成、程序标注、证明补全三项独立任务，用于评测AI在C程序功能正确性验证方面的能力，推动全自动程序验证研究。

文档详细分析了Anthropic公司AI模型Mythos在漏洞挖掘领域的突破性表现，其在ExploitBench、ExploitGym等测试中显著超越其他模型，能自主构建漏洞利用链并生成PoC。通过ProjectGlasswing项目，Mythos一个月内发现超1万个高危漏洞，但修复率极低，揭示当前安全响应体系滞后问题。合作伙伴案例显示AI误报率低于人类，但存在安全护栏不稳定的风险。核心建议包括采用并行任务框架提升检测效率，并警示单纯追求修复速度可能引入新风险。

该文档为2026年AI指数报告第四部分，重点分析了AI模型在软件、数学、金融和法律等专业领域的基准测试表现。关键发现显示顶级模型在SWE-bench编码测试达76.8%准确率，数学推理在FrontierMath提升至31.3%，但金融和法律领域准确率普遍低于70%。报告指出模型在自主应用构建和严谨证明生成方面仍存挑战，建议需继续提升专业领域推理与多步骤任务执行能力。

快手联合中科院软件所等提出业界首个隐喻视频理解基准MetaphorVU-Bench，系统评测11个多模态大模型发现其与人类差距近20分，80%失败源于跨域映射缺陷。团队提出基于隐喻知识图谱的推理增强框架MetaphorBoost，无需重训即可稳定提升模型表现，在Gemini-3-Pro等模型上平均提升2.3-4.1分。该工作推动多模态理解从感知智能迈向认知智能。

该文档介绍了PHPBench技术，用于自动化合成高质量Web漏洞基准数据集，以解决现有评测设施滞后、难度分布失衡、漏洞标签不可验证等问题。PHPBench通过提取真实漏洞根因、生成层级化变体、植入真实应用并自动合成PoC，构建了包含375个漏洞实例的WebVulnBench数据集。实验评估显示现有工具检测能力有限，最高发现率仅28.45%，且漏洞判定机制显著影响结果。建议使用该数据集进行统一评测。

南开大学软件学院论文被CCFA类期刊TOSEM2026录用，提出Build-bench基准，基于268个真实跨架构构建失败软件包评估大语言模型系统级构建能力。实验显示GPT-5最高成功率达63.19%，迭代反馈和工具使用是关键。研究将LLM评测从代码生成推进到真实系统构建，揭示了当前模型在复杂任务中的能力边界。

文档详细分析了Anthropic公司AI模型Mythos在漏洞挖掘领域的突破性表现，其在ExploitBench、ExploitGym等测试中显著超越其他模型，能自主构建漏洞利用链并生成PoC。通过ProjectGlasswing项目，Mythos一个月内发现超1万个高危漏洞，但修复率极低，揭示当前安全响应体系滞后问题。合作伙伴案例显示AI误报率低于人类，但存在安全护栏不稳定的风险。核心建议包括采用并行任务框架提升检测效率，并警示单纯追求修复速度可能引入新风险。

该文档为2026年AI指数报告第四部分，重点分析了AI模型在软件、数学、金融和法律等专业领域的基准测试表现。关键发现显示顶级模型在SWE-bench编码测试达76.8%准确率，数学推理在FrontierMath提升至31.3%，但金融和法律领域准确率普遍低于70%。报告指出模型在自主应用构建和严谨证明生成方面仍存挑战，建议需继续提升专业领域推理与多步骤任务执行能力。

快手联合中科院软件所等提出业界首个隐喻视频理解基准MetaphorVU-Bench，系统评测11个多模态大模型发现其与人类差距近20分，80%失败源于跨域映射缺陷。团队提出基于隐喻知识图谱的推理增强框架MetaphorBoost，无需重训即可稳定提升模型表现，在Gemini-3-Pro等模型上平均提升2.3-4.1分。该工作推动多模态理解从感知智能迈向认知智能。

该文档介绍了PHPBench技术，用于自动化合成高质量Web漏洞基准数据集，以解决现有评测设施滞后、难度分布失衡、漏洞标签不可验证等问题。PHPBench通过提取真实漏洞根因、生成层级化变体、植入真实应用并自动合成PoC，构建了包含375个漏洞实例的WebVulnBench数据集。实验评估显示现有工具检测能力有限，最高发现率仅28.45%，且漏洞判定机制显著影响结果。建议使用该数据集进行统一评测。

南开大学软件学院论文被CCFA类期刊TOSEM2026录用，提出Build-bench基准，基于268个真实跨架构构建失败软件包评估大语言模型系统级构建能力。实验显示GPT-5最高成功率达63.19%，迭代反馈和工具使用是关键。研究将LLM评测从代码生成推进到真实系统构建，揭示了当前模型在复杂任务中的能力边界。

快手联合中科院软件所等提出业界首个隐喻视频理解基准MetaphorVU-Bench，系统评测11个多模态大模型发现其与人类差距近20分，80%失败源于跨域映射缺陷。团队提出基于隐喻知识图谱的推理增强框架MetaphorBoost，无需重训即可稳定提升模型表现，在Gemini-3-Pro等模型上平均提升2.3-4.1分。该工作推动多模态理解从感知智能迈向认知智能。

该文档介绍了PHPBench技术，用于自动化合成高质量Web漏洞基准数据集，以解决现有评测设施滞后、难度分布失衡、漏洞标签不可验证等问题。PHPBench通过提取真实漏洞根因、生成层级化变体、植入真实应用并自动合成PoC，构建了包含375个漏洞实例的WebVulnBench数据集。实验评估显示现有工具检测能力有限，最高发现率仅28.45%，且漏洞判定机制显著影响结果。建议使用该数据集进行统一评测。