ISACA Journal|警惕聊天泄密:基于大语言模型的内部威胁检测
在银行业及其他领域,数据泄露始终是一大隐患。设想某银行客户经理频繁通过WhatsApp Business与中小企业客户沟通。某日,一名陌生人员通过WhatsApp Business联系该客户经理,提出可为银行信贷产品引荐潜在客户;作为交换,要求客户经理查询这些潜在客户是否曾申请贷款,并披露其信用状况(如获批授信额度、使用率等)。客户经理照做了,认为此举可带来新客户与更高绩效奖金,却未察觉对方实为贷款中介 —— 其收集信息后,会将客户转介至其他银行以获取佣金。至此,银行机密信息已遭泄露。
此类威胁并非新问题:在包括银行在内的金融服务行业中,内部人员导致的数据泄露事件占比达22%。美国联邦金融机构检查委员会(FFIEC)《IT检查手册》等监管指引建议,银行应实施网络隔离策略,将敏感客户数据环境与机构内信任度较低的环境隔离。尽管可限制面向外部的工具仅在与生产环境隔离的终端上使用,但同时拥有生产环境与外部工具访问权限的内部人员仍可绕过此类防护措施。
为防范恶意内部人员风险,众多企业依赖用户行为监控软件。然而,此类工具并非万无一失,且在客户交互记录(即聊天消息)中检测内部威胁存在特有难点:
-
长文本语境和非结构化数据格式(如对话)难以通过基于规则或机器学习的方法进行处理。
-
客户互动记录数量庞大,尤其是对于客户基数庞大的银行而言。如果没有针对性方法,可能会产生大量误报,浪费调查团队的时间。
要有效防范客户交互中的内部威胁,机构必须部署可处理海量聊天数据、理解对话语境、标记可疑模式并减少无效告警的检测机制。否则可能引发严重泄露,损害客户隐私并侵蚀企业公信力。
将大语言模型引入内部威胁检测
大语言模型(LLM)具备先进的自然语言处理(NLP)能力,可处理各类非结构化数据,在内部威胁检测领域极具应用价值。
但 LLM 同样存在所谓的“幻觉”问题:可能输出看似合理连贯、实则错误甚至完全虚构的内容。在银行等高监管行业应用 LLM 时,应遵循四大指导原则(见图 1):
-
可解释性:LLM检测到的异常趋势应能呈现清晰、有证据支撑的因果指标,将对话信号与潜在数据泄露关联。可引入基于多智能体的工作流框架,与现有调查流程融合,降低 LLM 幻觉现象。
-
准确性:应对LLM输出的异常(即潜在数据泄露的迹象)进行校验,避免浪费调查资源。可通过数据聚合与增强实施微隔离策略,聚焦高风险人群,为LLM提供最相关上下文信息。
-
适应性:威胁持续演进,检测方法需适配内外部新态势。利用通用大语言模型,结合有针对性的提示工程和少量精选示例,系统便能快速响应新的威胁手段,而无需重新训练模型。
-
人在回路:基于LLM的方案应辅助人工调查人员提升效率,并支持调查人员向LLM提供有效反馈,作为正例/反例用于后续提示词优化与模型调优。
图 1 应用基于 LLM 的内部威胁检测的指导原则

基于 LLM 的多智能体检测方案
基于LLM的多智能体方案由三个智能体组成,用于识别聊天消息中的内部威胁。此背景下 “智能体” 指承担特定任务的专业化系统组件,以LLM为核心分析工具并为其提供支撑。该流程从智能体1开始按序执行,各智能体分别负责威胁检测工作流的不同环节。图2概括三大智能体角色分工,图3展示多智能体整体框架。

FIGURE 3 — LLM-Based Multiagent Framework for Insider Threat Detection
图 3 基于 LLM 的内部威胁检测多智能体框架

智能体1 — 规划与准备
智能体1承担多智能体系统的基础环节,为LLM在聊天消息中检测内部威胁构建有效上下文。
步骤 1.1 微分段优先级划分
多智能体方案不是盲目全量扫描聊天消息,而是结合受影响的信息资产、风险影响程度、消息收发方身份特征实施精细化策略。其核心是微分段:识别更可能严重违反机构策略的消息群体,并针对这些群体构建专属 LLM 检测规则。策略制定依据包括:
-
重点关注哪些信息资产—通过审阅企业数据安全策略与标准,确定各业务单元最核心资产。
-
谁在暴露这些资产、暴露给谁—含敏感信息的聊天消息风险因收发方身份差异巨大。例如,银行服务人员向客户发送含客户手机号的消息,即便用于身份核验,也更易引发数据泄露。
-
资产为何被暴露—数据泄露可能源于恶意行为,但更多是流程疏忽或系统限制所致。例如,客户经理无法在办公场外访问银行客户关系管理(CRM)系统,可能将客户联系方式从企业WhatsApp转发至个人WhatsApp,以便外勤时查看,从而造成敏感数据暴露。理解行为动机有助于优化流程。
-
可访问数据量—不同员工群体可访问的数据量差异显著。可访问数据越多,泄露后潜在危害越大,因此必须优先开展定期访问权限审查。
以数字银行为例:其主要通过线上渠道服务客户,客户经理远程对接客户(尤其是小微企业主),通过电话或WhatsApp Business推广信贷等金融服务。对客户经理这一群体,内部威胁者有强烈动机将银行客户信息泄露给贷款中介,中介再将客户转介至其他银行获取佣金。
步骤 1.2 数据聚合与增强
威胁检测通常需要打通机构内不同部门的数据孤岛。例如,客户经理个人信息可用于判断其是否关联外部 WhatsApp 账号,但此类信息通常由人力资源部门而非销售部门管理。完成优先级划分、确定目标微分段后,从各数据源拉取并聚合所有相关数据,为输入LLM的数据集注入精准语境,包括:
-
数据过滤—部分消息过短,不包含目标数据。例如,目标数据为美国标准10位手机号,则长度不足10字符的消息可直接排除。
-
数据聚合—为每条消息的收发方建立更完整上下文,将收发方ID与银行数据库中的客户、员工档案匹配,明确聊天涉及的具体对象。
-
数据标注—基于收发方ID匹配结果,为每条消息添加客户/员工相关标签。例如,区分客户经理聊天对象是高价值客户、陌生非客户,还是员工个人WhatsApp账号。
增强环节将原始全量聊天消息,筛选为符合步骤1.1中4W1H框架的子集,重点聚焦企业WhatsApp与非客户个人WhatsApp之间的消息,包括贷款中介或客户经理本人账号。
智能体 2 — 基于LLM的数据发现与校验
为解决 LLM 幻觉问题,本智能体设置真实性校验与相关性校验双重防护机制,确保在强监管行业输出更可靠结果。这些核查需经过多个步骤。
步骤 2.1 识别并提取泄露信息
LLM可在设定规则下处理各类形态的敏感信息。例如,企业客户名称可能以全称(如 “ABC建筑有限公司”)或简称(“ABC建筑”)出现,通过提示词工程可让LLM统一识别为同一客户企业。
以下为提取客户名称的LLM提示词示例:
你需从给定聊天消息中识别企业客户名称。企业名称可完整出现(如ABC建筑有限公司)或简写(如ABC建筑),两种形式均视为有效企业客户。
说明:
• 若识别到企业客户名称,返回名称,多个以“|”分隔;
• 若未识别到,仅返回“None”;
• 企业客户名称可能以多种格式呈现,但通常为企业、机构或其他商业实体的名称。图4展示了该提示词对应的输入与输出示例。
图 4 客户名称提取提示词:输入与输出示例

步骤 2.2 真实性校验
LLM在步骤2.1中可能出现幻觉:输出输入文本未证实的信息(如基于预训练知识生成企业名,或将提示词示例中的企业名当作真实内容)。为此,需将LLM输出与原始输入比对,确保提取的企业名、联系方式等确实来自聊天原文,仅通过校验的结果进入后续环节。
步骤 2.3 相关性校验
本方案目标是识别内部人员泄露客户信息的行为,因此必须先确认泄露信息归属本行客户,否则事件不成立。需将步骤2.2输出的每一项(客户名/联系方式)与银行客户数据库交叉比对,仅匹配项进入下游任务。
实际部署:智能体2效果
在生产环境中,将智能体2的LLM检测与仅匹配常见企业后缀(如Co.,Ltd.)的基线方案对比:
• 初始检测提升—步骤2.1原始LLM输出比基线多标记78%的含潜在敏感客户信息消息,体现LLM语义理解优于关键词匹配。
• 幻觉与噪声—步骤2.1部分输出含幻觉或无关企业名(如仅出现在提示词示例中的名称、非客户机构)。
• 防护过滤—步骤2.2、2.3的真实性与相关性校验可剔除虚假信号。
• 最终结果—经双重防护后,智能体2仍比基线多识别56%有效消息,同时大幅降低幻觉、提升相关性。
智能体3 — 调查副驾
银行或大型机构通常设有成文的调查流程来应对内部威胁,包括由大型语言模型(LLMs)标记出的威胁。然而,许多此类机构并未意识到调查流程本身也能借助大型语言模型来辅助完成——这些模型能够汇总泄露信息、对事件进行风险评级并归纳警报内容。
步骤3.1汇总所有目标泄露事件
根据机构策略,重大数据泄露(如泄露敏感信息体量达到阈值)将触发根因调查。难点在于,泄露事件常涉及同一客户信息在多条消息中重复出现。LLM可识别同一客户信息的不同表述,统一为标准化格式。例如,将 “ABC建筑有限公司” 与 “ABC建筑” 统一为 “ABC建筑有限公司”。
步骤3.2泄露事件风险评级
依据监管与机构要求,数据泄露事件可按涉及数据体量与敏感程度分级。人工处理耗时费力,尤其在数据量大、敏感类别复杂时。LLM可结合安全策略文档与检测事件,自动完成初步分级,生成初始严重性评估供人工审核并最终批准。
以下为事件风险评级提示词示例:
你是专注于银行业数据泄露调查的合规分析师。依据给定策略与事件,按敏感程度与严重性对泄露客户信息分类。严格依据策略,无匹配项时使用 “Uncategorized” 与 “Low”。
输入材料:
• 策略文档:数据类别(如PII个人身份信息、财务信息、联系方式)定义与规则,说明需引用策略条款。
• 泄露事件列表:以“|”分隔的字符串(如姓名、手机号、授信额度)。
任务目标:
• 逐条审阅策略规则:
• 类别:从策略匹配 / 推导(如“客户联系方式”“财务风险敞口”“客户姓名”);
• 严重性:按策略敏感程度、数量(单条数据=低)、场景(外部数据=高,含PII组合)分为 “低”“中”“高”三档。
输出格式:
返回JSON数组,每条泄露信息为一个对象,包含:
• Leaked_item: 原始泄露数据项
• Sensitive_data_category: 分配的敏感类别
• Severity_level:严重等级(低/中/高)
• Justification: 基于策略的简要说明,含敏感程度、数量、场景
步骤 3.3 派遣调查
LLM输出与标签可导入安全事件管理系统(IMS)跟进,但调查人员逐一审阅系统细节效率极低。为简化流程,LLM可生成含事件关键要素的精简摘要,并附上完整报告链接供深度审查(见图 5)。
图5:大语言模型生成的警报摘要示例

调查结论可回传至IMS,迭代优化全流程LLM提示词。根据调查反馈,LLM标记的泄露事件可分为两类并采用不同迭代策略:
• 真阳性确认为数据泄露。可对案例脱敏后入库,作为后续提示词模板样本。
• 假阳性被误报的正常业务消息。例如含客户信息但用于合法业务,如 “新员工培训能否用XYZ公司举例?” 可能是CRM团队与已签订保密协议的第三方培训方沟通。提示词工程师需深入分析此类案例,为LLM补充更精细上下文(如排除与第三方供应商的少量客户名、无联系方式的聊天)。
结论
基于聊天的客户交互给银行及其他面向客户的机构带来持续且日益严峻的数据泄露风险。简短、非正式的消息可绕过传统安全管控。为此,应采用可落地方案,充分发挥LLM优势,从聊天记录中检测、校验并汇总潜在泄露。
虽然本方法为防范数据泄露提供新思路,但主要聚焦聊天文本分析。图片、语音、附件、视频等消息格式同样存在泄露风险;未来可通过多模态LLM将检测能力扩展至这些格式,实现超越纯文本的理解(如图文识别、语音转写与解析、附件与截图分析),从而检出纯文本方法无法发现的泄露风险。
作者:Terrence Cai
持有CISA, CIA, CISSP, FRM认证证书,现任中国某数字银行内部审计师,负责全行信贷业务(含个人与小微贷款)持续审计方案与审计数据分析工作。
翻译:王彪,COBIT2019、CISA、CDPSE、CDMP、CDSP、CISP-DSO、ISO27001LA、信息安全工程师(软考)、ISACA微信公众号特邀通信员、天融信数据安全治理专家
校对:王岩(Liam Wong),CISA、CIA、CDPSE、CISM、CISSP、CZTP、CISP-F、PMP、OCM 11g/12c、PGCA、OBCA、MCDBA、MCSE,ISACA微信公众号特邀通讯员
.png)







