
误报警示——即系统将正常行为标记为可疑的事件——是多数反金融犯罪专业人士面临的重大难题。即便活动本身正常,反金融犯罪工作人员仍需逐一审查并记录其正常性质。这项工作不仅会增加预算,而且枯燥乏味。审查成千上万笔常规交易容易导致职业倦怠,进而引发人员流失,而这又需要重新培训新员工,如此循环往复。因此,减少误报成为首要任务,误报越少,便能腾出越多资源用于高效的调查。
尽管误报存在诸多弊端,却也有积极作用。例如,误报是自动化交易监控系统的必然副产品。若无计算机化系统,银行只能人工审查交易以排查可疑活动,这将是一项极其繁琐的工作。此外,误报还是绝佳的培训工具。高级调查员的能力并非与生俱来,正是通过分析真实与误报警报,学会区分正常交易和犯罪行为的。
当然,银行也不希望反金融犯罪专业人员深陷繁杂事务,但完全消除误报绝非正确的目标。相反,银行应专注于采取策略加以管理。
Popper 的天鹅
要讨论误报,我们先从它们的起源说起。自动化交易监控工具旨在识别可疑活动,但会不可避免地产生两类错误。第一种被称为“第一类错误”,即我们所熟悉的误报。这一术语源于统计学中的假设检验。假设检验的基本前提是观察并非证明。要仅凭观察来证实某事,就需要在所有情况下、所有场景中都观察到该现象,这对人类或计算机来说都是不可能的。然而,人类可以通过单一观察来证伪一件事。正如哲学家 Karl Popper所解释的,观察到白天鹅并不能证明“所有天鹅都是白色的”,但只需发现一只黑天鹅就可以推翻这个说法。1
假设检验始于一个关于总体特征的假设或理论。就像 Popper 的白天鹅一样,我们试图推翻这个理论。这个可证伪的假设被称为“零假设”。当我们在假设检验中成功地推翻了零假设,检验便是成功的,就像 Popper 的黑天鹅一样。
我们可以把交易监控规则视为一种假设检验。如果我想识别通过现金存款拆分交易以逃避现金交易报告的犯罪行为,我的零假设便是这些结构化交易并不可疑。我的样本基于试图进行拆分交易的客户典型行为。这种行为可能包括客户在一天内进行了多次现金交易,每笔金额都低于 10,000 美元,但总额超过 10,000 美元。当我的交易监控系统生成警报时,它实际上是通过声称“这笔交易可疑”来拒绝零假设。当调查员处理警报并认定交易“不可疑”时,我们得出的结论是:系统产生了第一类错误,即误报,因为它错误地拒绝了零假设。
逆向错误
假设检验的一大优势在于,它能够在不观察总体的情况下得出关于总体特征的结论。这一过程被称为“抽样”,尽管有用,却也伴随着风险。我们如何确保样本能够充分代表总体?假设检验通过评估样本出错的可能性来应对这一风险。检验的设计部分包括确定检验错误拒绝零假设(即产生第一类错误)的频率。第一类错误的发生率被称为检验的阿尔法值 (ɑ)。预期阿尔法值与实际阿尔法值之间的关系能够告知研究者样本是否可靠。如果误报的数量低于检验预期阿尔法值,研究者便可以认为检验所用的样本是可靠的,其结论可以合理地推广至整体。一般假设检验的默认阿尔法值为 5%。
大多数反金融犯罪专业人士都希望交易监控检验能达到这一水平,因为多数反洗钱模型的误报率通常高达 95%。2 为何如此?金融行业对误报的高容忍度,源于这些检验还存在另一种错误:第二类错误,即“漏报”。漏报是指系统本应发出警报的交易却未触发警报,也就是说,检验在本应拒绝零假设时未能拒绝。
第二类错误的发生率被称为检验的贝塔值 (β)。检验的阿尔法值与贝塔值之间呈反比关系。检验产生的误报越多,出现漏报的可能性就越低。因此,金融机构在实践中容忍较高的阿尔法值,因为我们无法接受较高的贝塔值——我们不愿遗漏任何可疑活动。
遗憾的是,遗漏可疑活动的情况很容易发生。事实是,大多数银行交易都是正常的——零假设是正确的。当某一事件的发生概率很低时,例如数十万客户中仅有一名是犯罪分子,要发现这种低概率事件就需要足够大的样本量,而这必然包含大量误报。
遗憾的是,遗漏可疑活动的情况很容易发生。事实是,大多数银行交易都是正常的——零假设是正确的。当某一事件的发生概率很低时,例如数十万客户中仅有一名是犯罪分子,要发现这种低概率事件就需要足够大的样本量,而这必然包含大量误报。3 美联储在其模型风险管理指导中表示:“所有模型都存在一定程度的不确定性和不准确性,因为它们本质上是对现实的简化和模拟。”4
监管机构并不要求完美,而是希望银行清楚交易监控系统生成误报和漏报的方式。因此,作为终端用户,您的目标不应是消除误报或漏报,这是不现实的。相反,您应该了解工具产生的误报和漏报数量,并确保监控系统的误报率和漏报率保持在可控水平。
金融犯罪中的人工智能现实——人类判断仍然重要
您是否熟悉人工智能的炒作周期?Gartner 将其描述为围绕使用人工智能工具所产生的进展与兴奋情绪。5 其特点是先经历一段乐观期,随后出现不切实际的期望,最终达到与现实相匹配的平衡阶段。6 随着人工智能继续占据新闻头条并融入我们的日常生活,我们可能正接近“期望膨胀的顶峰”,即期望超出现实。
金融机构也不例外。银行正在广泛采用人工智能工具以辅助交易监控、欺诈检测和警报分类,期望去除人工监控并大幅减少误报。然而,现实是,人工智能并非万能,它也带来了一些关键问题。人工智能工具和传统的基于规则和人工的方法一样,容易产生误报和漏报。当人工智能进入理想化阶段时,金融机构必须谨慎行事,并评估用人工智能替代人类监控的趋势。
人工智能在打击金融犯罪的持续战斗中确实能发挥重要作用,特别是在模式识别方面。然而,一个主要问题是,人工智能缺乏资深反金融犯罪调查人员所具备的理解复杂背景信息和作出细致判断的能力。人工智能工具根本无法匹敌人类分析全局的能力。
例如,假设一位客户 John Doe 正在拆分交易一系列低价值现金存款,每笔都略低于 10,000 美元的阈值,将其分散在看似属于不同企业的账户中,如“John 家电”和“Doe 电气”。乍一看,这些交易似乎合法,实体之间没有关联。然而,了解当地商业环境和客户行为的反金融犯罪调查人员很可能会提高警惕,意识到这两家企业有相同的老板,并且位置接近。人工智能会作何反应呢?它没有发出警报。为什么?因为人工智能仅依赖历史模式,没有考虑更深层次的背景信息,所以忽略了账户之间的关联。人类调查员得一分。
人工智能的另一个挑战是其缺乏可解释性。像神经网络7 这样的人工智能算法是“黑箱”,虽准确率高,但理解其得出最终决策的方式可能非常困难。8 神经网络旨在模仿人类大脑的功能,由许多相互连接的层和节点组成,每个节点都对数据进行计算。9 但问题是,这些计算结果并不是人类可理解的解释。
在交易监控中,神经网络可能会根据数据中的细微模式,比如大额交易、频繁活动或异常时间,将交易标记为可疑。问题在于:这些模式隐藏在网络的权重矩阵中,几乎不可能解释交易被标记的原因。这种缺乏透明度的特性难以赢得监管机构的青睐,尤其是在金融机构必须遵守不断演变的监管标准的背景下。相比之下,反金融犯罪调查员在分类警报时,可以解释影响其判断的具体因素,例如账户不一致、超过金额上限、交叉引用客户记录以及联系相关方。这还不够让人信服吗?人类调查员能够提供清晰的、基于背景的推理,这是监管机构可以信赖的。人类再得一分。
我们已经讨论了在用人工智能替代人类监控时可能失去的重要属性。这是否意味着金融机构应该放弃人工智能工具,转而完全依赖人类调查员进行警报分类?答案是否定的。相反,理想的解决方案是“人机协作”,让人工智能工具辅助人类调查员。这确保了人类判断和可解释性仍然是决策过程中不可或缺的一部分。增强而非替代,才是结合两者优势的理想策略。
Cara Wick,CAMS,FRM,全球金融犯罪执行总监,美国北卡罗来纳州夏洛特市, cjoany@gmail.com,
Cameron Taylor,SAS 人工智能和机器学习解决方案顾问,美国北卡罗来纳州,Cameron.Taylor@sas.com,
- “Karl Popper: Philosophy of Science”(Karl Popper:科学哲学),Internet Encyclopedia of Philosophy,https://iep.utm.edu/pop-sci/
- Jim Richards,“OCC Comptroller Talks About AML ‘False Negatives’ and Technology”(美国货币监理署署长谈论反洗钱“漏报”与技术),RegTech Consulting LLC,2020 年 2 月 5 日,https://regtechconsulting.net/aml-regulations-and-enforcement-actions/occ-comptroller-talks-about-aml-false-negatives-and-technology/
- 用于检测交易中可疑活动的规则通常符合监管机构对模型的定义,因为它们将输入(即数据)转化为用于做出决策(即提交可疑活动报告)的信息。欲了解更多信息,请访问:“Interagency Statement on Model Risk Management for Bank Systems Supporting BSA/AML Compliance and Request for Information”(关于银行保密法 / 反洗钱合规银行支持性系统的模型风险管理的机构间声明以及系统资讯需求书),美国货币监理署,2021 年 4 月 12 日
- “SR 11-7: Guidance on Model Risk Management”(SR 11-7:模型风险管理监管指引),美联储,https://www.federalreserve.gov/supervisionreg/srletters/sr1107.htm
- “Explore Beyond GenAI on the 2024 Hype Cycle for Artificial Intelligence”(超越生成式人工智能:探索 2024 年人工智能炒作周期),Gartner,https://www.gartner.com/en/articles/hype-cycle-for-artificial-intelligence
- 同上。
- “What is a neural network?”(什么是神经网络?)Elastic,https://www.elastic.co/what-is/neural-network
- 同上。
- 同上。