一、先看一组让人清醒的数据

2024 年，业界有个叫 OSWorld 的评测基准，用来测 AI 能不能像人一样操作电脑。当时头部模型的成绩一路刷到 85%～90%，看起来问题已经解决了。

2026 年 6 月，同一个团队发布了 OSWorld 2.0。任务换成了 108 个真实的长时程电脑操作工作流——单个任务，人类操作时间的中位数约 1.6 小时，平均需要 318 次工具调用（1.0 版本只有约 30 次）。

结果：Anthropic 的 Claude Opus 4.8，完成了 20.6% 的任务。

同一批世界顶尖的模型，任务链条一拉长，成功率从 86% 掉到 20%。

这不是模型退步了，是旧的考题太简单了。

而这个断崖，恰恰对应着财务工作的真实形态：你的活从来不是"帮我写一封邮件"，而是"把这个文件夹里的银行流水和发票明细核对一遍，列出差异，按客户汇总账龄，套上公司模板，导出成 Excel"。

判断一个 AI 办公工具好不好用，关键就看它在这种长链条任务上的表现。

二、模型能力到底差在哪：七个维度

我把差别拆成七项，按对财务场景的重要性排序。

2.1 幻觉控制（权重最高）

能不能忍住不编。

弱模型的典型表现：查不到数据时，给你一个看起来非常合理的数字；引用的政策文号是拼凑的；说的函数名不存在。

对财务人来说，编一个数字比答不出来严重一百倍。 答不出来你会去查，编出来的你可能直接写进底稿。

判断方法很简单：问它一个不存在的东西。比如"帮我查一下财税〔2026〕37 号文关于研发费用加计扣除的规定"——如果这个文号是假的，好模型会说没查到或者提示你核实，差模型会给你编一段像模像样的政策解读。

2.2 数值与表格推理

这是 Excel 类任务的地基，也是最容易被"演示视频"掩盖的短板。

具体差别在于：

  • 聚合运算的准确性：几十万行求和、分组统计，会不会算错
  • 勾稽关系的理解：能不能明白"资产＝负债＋所有者权益"“本期数＝上期数＋增加－减少"这类约束，并在数据不平时主动指出来
  • 公式语义的还原：给它一个嵌套了 VLOOKUP、IFERROR、SUMIFS 的单元格，能不能说清楚它在算什么
  • 浮点精度处理：金额加总会不会出现 42345.669999 这种分位误差

⚠️ 这一项各家差异很大，且很难从宣传材料看出来，只能实测。

2.3 长程规划与错误累积

能不能在第 200 步还记得第 3 步的目标。

这是 OSWorld 2.0 暴露出的核心短板。长链条任务里，每一步的小偏差会累积。弱模型的典型症状是：

  • 干到一半忘了原始需求，开始做无关的事
  • 同一个错误反复尝试，不知道换条路
  • 遇到工具报错就停住，或者假装成功继续往下走

强模型会自我检查：跑完一段回头核对，发现不对主动回滚重来。

对财务场景的意义是：批量处理类任务（几十个月报、上百份合同、多主体合并），这一项直接决定你是"点一下等结果”，还是"守着它一步步救火"。

2.4 长上下文的有效利用

注意：标称支持 100 万 token，不等于真能用好 100 万 token。

业界有个公认现象叫 “lost in the middle”（中间信息丢失）——把关键信息放在超长文本的开头或结尾，模型能准确找到；放在中间，就容易漏。

各家模型在这个问题上的严重程度差异明显。Artificial Analysis 专门做了一项长上下文推理评测，测的就是"模型能否在长输入中定位、关联并综合信息"，官方说明这项能力对金融分析、法律等场景尤为重要。

对财务的意义：读 200 页年报、几万行明细账、一整套凭证附件时，中间那段最容易被漏掉——而那往往正是你要找的关联交易披露。

判断方法：给它一份长文档，把一个不显眼的细节藏在正中间，问它相关问题。

2.5 工具调用稳定性

包括三层：

  • 参数正确率：会不会编造不存在的参数、把日期格式写错、路径拼错
  • 报错处理能力：工具返回错误时，能不能读懂错误信息并调整，而不是原样重试三遍
  • 工具选择判断：几十个工具摆在那，会不会挑错——比如该读文件时去搜网页

学术界为此专门做了 LongFuncEval 等评测，考察模型在"工具数量很多、说明很长"时的函数调用能力。这个场景恰好对应现在的办公 AI——动辄接入几十个连接器和技能。

2.6 指令遵循严格度

“只改 B 列，其他别动"“按这个模板排版"“金额保留两位小数"“不要用表情符号”。

弱模型会出现指令漂移：你说了五条要求，它记住三条。越到任务后期漂移越严重。

财务底稿的格式要求极严，这一项直接决定返工率。

2.7 GUI 与多模态理解

如果工具需要操作桌面软件（点财务软件的界面、看扫描件、理解 PPT 版式），那它得能"看懂"屏幕。

差别在于：识别界面元素的准确率、对表格截图的结构化理解、对手写批注的识别。

三、一个反直觉的事实：模型 ≠ Agent

同一个模型，装进不同的产品框架里，成绩能差好几个百分点。

这一点不是我推测的。OSWorld-Verified 榜单的官方说明里写得非常直白：

“成功率反映的是完整的模型-智能体系统，而不是基础模型本身。”

2026 年 5 月，PinchBench（一个覆盖 23 个真实工作场景、147 个任务的智能体评测基准，按成功率＋速度＋成本综合排名）上出现了一个典型案例：百度 DuMate 以 93.3% 和 93.2% 包揽前两名，而 Anthropic 和 OpenAI 在自家框架中跑同款模型的成绩是 89.0% 和 91.6%。

⚠️ 上述 PinchBench 数据来自单一媒体报道，建议以榜单原始页面为准。但它印证的方向与 OSWorld 官方的说明一致。

框架层面能改变结果的东西包括：

  • 上下文工程——怎么裁剪、压缩、组织喂给模型的信息。有研究专门探讨长时程工具调用场景下的上下文效率，结论是"更少的上下文，反而更好的表现”
  • 失败重试与回滚机制——出错时是死磕、换路，还是直接放弃
  • 任务分解策略——大任务怎么拆，拆多细
  • 记忆机制——跨步骤、跨会话的信息怎么保持
  • 工具编排——多个工具的调用顺序和依赖怎么管理

所以：当你看到"本产品采用 XX 大模型"时，这句话的信息量比你以为的少得多。 它只说明了发动机型号，没说明变速箱、悬挂和调校。

四、怎么读榜单才不会被带偏

榜单有参考价值，但用错方法会得出错误结论。以下是几条实操原则。

4.1 只在同一个榜单内部比较

不同榜单的分数绝对不能横向对比。

OSWorld-Verified 的官方说明里明确写了一条：

“OSWorld 2.0 的结果与 OSWorld-Verified 的结果不可互换。”

原因是两者的任务集、环境版本、观测方式（截图还是无障碍树）、动作接口、提示词、动作预算、重试策略全都不一样。86.1% 和 20.6% 之间，差的不是模型能力，是考题难度。

4.2 注意"榜单饱和”

OSWorld-Verified 目前收录了 34 个模型，头部三名分别是 86.1%、85%、85%——前三名差距在 1.1 个百分点以内。榜单方自己的判断是"该基准对前沿模型已接近饱和”。

这意味着：在这张榜单上，第一名和第三名你基本感觉不出差别。 但榜单尾部差距巨大，最低只有 39%。

饱和的榜单已经失去了区分度。真正有信息量的，是新的、更难的评测——比如 OSWorld 2.0，以及下面要说的办公专项基准。

4.3 找对口场景的专项基准

通用榜单分数再高，也不代表在你的场景里好用。财务人应该重点看这几个：

基准 测什么 为什么对财务人有用
OdysseyBench Word、Excel、PDF、邮件、日历五大办公应用上的长时程工作流 最对口。含 300 个源自真实用例的任务 + 302 个合成的复杂任务，要求模型从长交互历史中提取关键信息并跨应用多步推理
τ³-Banking 银行业务场景下的工具调用与多轮对话 金融业务专项，比通用榜单更贴近财务合规要求
OSWorld 2.0 108 个真实长时程电脑操作工作流 目前最能区分强弱的一档，头部模型也只有两成成功率

顺带说一个 OdysseyBench 论文里的观点，很值得财务人记住：

现有基准大多聚焦于"原子任务"——自成一体、相互独立的小任务，无法反映真实场景所需的长期上下文依赖和多轮交互协同。

翻译成大白话：以前的考题都是"算 1+1"，而你的工作是"做完整个月的账"。 挑工具的时候，别被它在原子任务上的漂亮表现骗了。

4.4 国内模型的参考信息

2026 年 5 月有一份覆盖国内主流大模型公有云 API 的实测报告，累计完成超 1900 次真实环境调用，从代码生成、数学推理、任务规划、幻觉控制四个场景打分，同时评估服务性能、输出质量和调用成本。

它的核心结论是：国内主流大模型无全能型选手，场景分化特征显著。

⚠️ 该结论转引自百科词条，具体各家得分建议查阅报告原文。但"没有全能选手"这个判断，与前述 OSWorld 官方"成绩反映整个系统而非基础模型"的说明是一致的——选型必须对着你自己的具体场景来，不能看综合排名。

五、财务场景的权重，要重新排一遍

通用评测的维度和权重，跟财务人的实际需求并不一致。我的建议是这样排：

优先级 维度 理由
⭐⭐⭐⭐⭐ 幻觉控制 编一个数字进底稿，后果不可逆
⭐⭐⭐⭐⭐ 数值与表格推理 Excel 类任务的地基，错一位小数就是事故
⭐⭐⭐⭐ 长上下文有效利用 年报、凭证、明细账动辄几百页
⭐⭐⭐⭐ 指令遵循 财务底稿格式要求极严，返工成本高
⭐⭐⭐ 长程规划稳定性 决定批量任务能不能跑完
⭐⭐⭐ 数据安全与合规 见下一节，这是红线不是加分项
⭐ 通用写作、创意能力 主流模型都够用，不构成差异

注意最后一条：写作能力在财务场景里的权重最低。 但很多产品的宣传重点恰恰放在这儿——因为写文案最容易做出惊艳的演示。

看到"AI 帮你写财务报告"这类宣传时，多问一句：那它算的数准不准？

六、四条不可让渡的红线

前面讲的都是"好不好用"。这一节讲的是"能不能用"。

6.1 数据出境与保密

财务数据是公司最敏感的信息之一。上传给云端模型，等于数据离开了你的控制范围。

必须问清楚：

  • 数据是否用于模型训练？（正规商用服务通常承诺不用，但要看合同条款）
  • 数据存储在哪个地域？
  • 是否支持私有化部署？
  • 传输和存储是否加密？
  • 有没有等保、SOC 2、ISO 27001 等合规认证？

涉及未公开的财务数据、并购信息、薪酬数据时，先过合规和 IT 部门，不要自己决定。 这不是谨慎，是职责。

6.2 权限与操作边界

一个能操作你电脑的 AI，理论上也能删你的文件、改你的账、发你不该发的邮件。

要确认：

  • 有没有沙箱隔离？能不能限制它只访问指定文件夹？
  • 破坏性操作（删除、覆盖、移动）是否强制二次确认？
  • 能否设置只读模式？
  • 有没有完整的操作日志可回溯？

我的建议：给 AI 的工作目录，永远单独建一个，不要直接指向你的账套所在文件夹。

6.3 人工复核不可省略

现阶段没有任何模型能保证财务数据 100% 准确。

凡是进入正式底稿、报表、申报表的数字，必须人工复核。 AI 可以把你的工作量从"手工算十小时"降到"复核一小时"，但不能降到零。

这一点写进制度里，比依赖工具的自觉可靠得多。

6.4 留痕与可追溯

如果 AI 参与了核算过程，将来审计问起来"这个数怎么来的"，你得答得上来。

建议保留：输入了什么、输出了什么、谁做的复核、复核依据是什么。

七、动手实测：一套可以自己跑的方法

别信榜单，也别信我的推荐。用你自己的真实任务测。

这是我建议的完整流程，一下午能做完。

第一步：选 5 个真实任务

从你每周都要干的活里挑，覆盖不同类型：

类型 任务示例
数据核对 把这个文件夹里的银行流水和发票明细核对，列出所有差异
批量处理 这 20 个 Excel 是各分公司的月报，按统一模板汇总成一张表
长文档理解 读这份 80 页的年报，提取关联交易、对外担保和期后事项
计算与分析 根据这份台账算账龄，按客户和区间汇总，导出 Excel
格式转换 把这 10 份 Word 报告合并，统一样式，生成目录

关键：一定要用真实数据，不要用干净的示例文件。 真实的表有合并单元格、有跨页表头、有"单位：元"这种抬头行、有手填的错别字——这些才是模型的真实考场。

第二步：每个任务跑三遍

稳定性比单次成功更重要。

同一个任务、同样的输入，跑三次，看结果是否一致。

三遍里有一次出错、一次成功、一次跑歪——说明它不可靠。不可靠的工具在财务场景里等于不能用，因为你无法预知哪一次会出错，而复核成本会吃掉所有效率收益。

第三步：按四个维度打分

准备一张表，每个任务记这四项：

维度 记录内容
完成度 跑完了吗？还是中途停下要你接管？接了几次？
准确性 抽 10% 人工复核。错了多少处？错的是数字还是格式？
一致性 三次结果一样吗？不一样的地方在哪？
成本 花了多长时间？消耗多少积分/费用？

第四步：设一票否决项

以下任何一条出现，直接淘汰，不用看总分：

  • ❌ 编造了不存在的数据、文号、政策条款
  • ❌ 算错了金额，且被指出后仍坚持错误结果
  • ❌ 未经确认执行了删除、覆盖类操作
  • ❌ 把你的文件上传到了未说明的第三方服务
  • ❌ 明确拒绝说明数据的存储和处理方式

为什么设一票否决？ 因为这些错误在财务场景里的后果是不可逆的，而且是低频的——你可能用一百次都没事，第一百零一次出事。低概率 × 高损失，期望值依然是负的。

第五步：算总账

别只看单次效率，算这个：

真实节省时间 = 原耗时 − (AI 执行时间 + 复核时间 + 返工时间)

复核时间和返工时间这两项，是很多人漏算的。

一个准确率 80% 的工具，可能让你复核得比自己重做还累。一个准确率 99% 的工具，才真的省时间。

八、几句实话

第一，现在没有"完美"的 AI 办公工具。

OSWorld 2.0 上头部模型 20.6% 的成功率已经说明：真实的长时程办公任务，目前的 AI 还远远谈不上能托付。它是强力助手，不是替代者。 谁要是跟你说"上线就能减一半人"，可以直接结束了。

第二，也别因此不用。

20.6% 是"完全自主跑完"的比例。而在有人在旁复核、允许中途接管的模式下，AI 能实实在在把很多任务的耗时压缩一个数量级。关键是把人的角色从"执行"换成"复核和判断"。

第三，选型的本质是选"犯错成本"。

同样能干活，A 工具出错时会停下来问你，B 工具出错时会自己猜一个继续跑。

在写文案的场景里，B 更省事。在财务场景里，A 才是能用的那个。

第四，工具会一直变，方法不会。

榜单三个月一换，模型半年一代。今天的第一名，明年可能就不在前五。

但"用真实任务、跑三遍、查准确率、设一票否决"这套方法，什么时候都管用。学会方法，比记住结论重要。

附：可打印的实测记录表

复制到 Excel 里就能用。

任务编号 任务类型 工具名称 跑第几遍 是否跑完 接管次数 抽检行数 错误数 错误类型 耗时 消耗 是否触发一票否决 备注
1 数据核对 1
1 数据核对 2
1 数据核对 3
2 批量处理 1
…

评分口径建议：

  • 准确率 = (抽检行数 − 错误数) ÷ 抽检行数
  • 错误类型分三档：致命（金额算错、数据编造）／重要（漏项、口径错）／轻微（格式、错别字）
  • 出现任何一次"致命"错误，该任务直接判定不通过，不论其他指标多好

参考资料

  • OSWorld 2.0 论文：https://arxiv.org/pdf/2606.29537.pdf
  • OSWorld-Verified 榜单与官方说明：https://benchlm.ai/benchmarks/osworld-verified
  • OdysseyBench（办公应用长时程工作流评测）：https://arxiv.org/abs/2508.09124
  • τ-bench 系列榜单（含 τ³-Banking）：http://taubench.com/leaderboard/
  • Artificial Analysis 长上下文推理评测：https://artificialanalysis.ai/evaluations/artificial-analysis-long-context-reasoning
  • LongFuncEval（长上下文函数调用评测）：https://arxiv.org/pdf/2505.10570.pdf

本文引用的评测数据来自公开榜单与论文，采集时间为 2026 年 9 月。AI 领域迭代极快，具体分数与排名请以查询时的最新版本为准。不同榜单之间因任务集、评测环境、提示词、动作预算等设置不同，分数不可直接横向比较。标注 ⚠️ 的内容为单一来源信息，建议核实原文后再作决策依据。本文不构成对任何具体产品的推荐或否定。