ISACA Journal | 从神经科学视角看人工智能与网络安全

在过去的几十年里,随着人工智能(AI)领域的不断发展,技术发生了深刻变革。AI的广泛应用帮助医疗、金融、娱乐等多个行业解决了很多难题,但同时也带来了新的风险领域。这一全新技术格局意味着AI驱动的网络威胁变得更加复杂和先进。AI与网络安全的融合成为数字空间的新前沿,尤其是在利用机器学习(ML)算法、神经网络和高级数据处理技术来渗透系统方面,展现出前所未有的能力。

同时,由AI生成的网络攻击正变得越来越类似于人类的认知和神经系统。AI系统通过借鉴人类大脑学习、检索信息和适应的方式,现在具备自主决策和独立学习的能力,这使它们可能极具危险性。神经科学是理解这些AI系统及其在网络战中运作方式的重要组成部分。通过观察人类大脑结构和 AI 学习功能之间的相似性,可以获得有价值的见解。通过理解大脑通过经验进行学习和适应的能力,企业可以基于神经反馈机制优化AI模型,营造一个AI系统能够不断进化和改进的环境。使用反映人类决策模式的多样化数据集训练AI,可以提升其有效性,使组织能够模拟这些认知过程。

人工智能通过使用机器学习分析人类反应、学习认知的捷径和更有效地利用偏见,将这种操纵提升到了全新水平。

AI驱动的网络攻击简介

AI驱动的网络攻击利用机器学习和神经网络发现和分析系统的潜在漏洞,评估攻击结果,并利用发现的弱点,帮助黑客以前所未有的方式扩大活动。AI模型能够扫描大量数据,该数据量远远超过人类能够处理的量,因此可以轻松地识别系统结构、用户关系和流量中的可利用模式。一些关键的 AI 驱动网络攻击包括:

  • 自动化钓鱼攻击——攻击者利用AI,可以生成虚假电子邮件和消息,这些信息具有适当的语境,而且是个性化定制的自动化钓鱼攻击。传统的钓鱼方案通常涉及发送格式相似的虚假邮件,这些邮件容易被用户识别。相比之下,由AI生成的电子邮件精心制作,模仿了受害者的同事或管理者的消息,使欺诈行为几乎无法察觉。这是通过使用语言模式、上下文和有关目标的相关信息实现的。虽然传统的钓鱼电子邮件通常使用通用语言,如“尊敬的客户”,但自动化攻击使用员工的名字,并通过GPT模型制作动态的、针对特定客户的链接,更逼真地模仿他们的语言。

  • 深度伪造攻击——AI被用于协助深度伪造网络攻击,包括高度逼真的描绘真实人物肖像或声音的虚假视频和音频片段。在一个现实案例中,黑客模仿一位CEO的声音,指示一名员工转账,导致公司遭受重大损失。

  • AI驱动的恶意软件——AI恶意软件可以轻松避开安全软件的检测,因为它会分析和适应软件的行为。例如,人工智能加持的恶意软件可以融入系统,模仿正常进程,并在反恶意软件软件没有监测时发起恶意行为。

  • 僵尸网络攻击——这些攻击通过协调僵尸网络得到了增强,僵尸网络是一组被远程控制的受感染计算机。自我进化的智能僵尸网络,使用机器学习(ML),可以研究特定网络的正常流量,并发起分布式拒绝服务(DDoS)攻击,使网络泛洪并使其无法正常使用。

与神经科学的联系

先进的AI技术在解决问题和执行任务方面模仿了人脑的认知能力。这些技术在两个关键领域表现出色:学习和适应能力以及决策能力。神经科学启发了开发出模拟大脑处理信息、识别模式和解决问题的系统。这种能力使企业能够自动化其流程,但也为网络犯罪分子提供了强大的武器。

组织必须保持警惕,防止恶意行为者利用人工智能技术谋取私利。特别是类脑计算(Neuromorphic Computing)可能使人工智能系统执行更高效、动态和隐蔽的攻击。类脑计算试图通过在物理芯片上实现神经网络的结构和功能,从而模拟人脑的运作方式。传统计算机按顺序处理信息,而人脑可以同时处理多条信息,从而实现更快和更有效的决策。如果类脑计算成功创造出并行处理信息的硬件,模拟人脑,那么可能导致开发出能够实时处理大数据且比当前人工智能模型更快的AI系统。例如,类脑人工智能系统可以监测网络流量,识别弱点,并在正常安全措施发现之前发动攻击。这种攻击的速度将使其难以阻止。如果类脑AI系统发展出人脑的认知智能并能够实时学习的话就更是如此。

AI驱动的网络攻击与神经科学之间的另一个联系是行为生物识别技术(Behavioral Biometrics)的应用。这些行为特征包括打字节奏、鼠标动态和触摸屏设备上的滑动动作。这些行为由神经学决定,与指纹一样独特,有助于开发用户或客户档案。人工智能通过观察个人如何与他们的设备互动,可以预测用户的下一步行动,帮助黑客策划更复杂的攻击。例如,人工智能通过确定用户对电子邮件的反应速度、他们的浏览习惯或他们对特定类型信息的参与度,可以复制用户的行为,欺骗依赖于行为生物识别执行身份验证的安全控制措施。这些系统可能会根据个人的打字模式或鼠标动作识别个体。如果AI系统能够模仿这些模式,就可以在不使用协商传统密码安全系统的情况下获得访问权限。在行为生物识别的背景下,人工智能和神经科学密切相关,因为两者都依赖于对人类行为的理解。这一连接也引起了组织的担忧,因为人工智能可使用神经科学的知识模拟和预测人类行为,从而实现更复杂和有针对性的网络攻击。

多年来,神经科学研究人员一直在试图理解认知偏差的概念,这是一种可识别的人类特征,可以影响判断和决策。网络犯罪分子在社会工程方案中使用人类的偏见,利用目标的偏见鼓励用户做出不良的安全选择,例如点击钓鱼邮件中的链接或向黑客泄露个人信息。人工智能通过使用机器学习分析人类反应、学习认知捷径和更有效地利用偏差,将这种操纵提升到了新的水平。存在四种关键认知偏差:

  • 确认偏差(Confirmation Bias)导致个人倾向于支持他们已有的信念或假设的信息,忽视或最小化与之矛盾的证据。这种偏见通常影响人们收集、解释和记忆信息的方式,导致扭曲的感知和决策。分析用户在社交网络上分享的文本或通过电子邮件发送的文本,可以确定目标认为可信的信息类型。基于这些信息可以发起钓鱼攻击。例如,如果某人发布或转发讨论安全的文章,一封看似来自企业安全部门的由AI生成电子邮件将非常有效。

  • 个体表现出权威偏见(Authority Bias)时,往往不加质疑地接受感知到的权威人士的指示。人工智能可以生成涉及上级希望员工执行某些行动(如转账或披露某些信息)的虚假视频或电子邮件。

  • 近因效应(Recency Effect )导致个人更重视近期知识而非旧有信息。例如,一家组织最近发布了关于合并的信息,人工智能制作的钓鱼邮件可以利用这些信息,导致生成的消息看起来更可信。

  • 过度自信偏见(Overconfidence Bias)发生在个人错误地认为自己可以轻易识别虚假信息时。这种偏见尤其会发生在那些自认为在网络安全方面很精通的人士中。AI驱动的攻击可以通过制作难以与常规诈骗区分的钓鱼邮件或链接,利用用户的自信使那些认为自己足够聪明、不会上当的人更容易中招。

防御 AI 驱动的网络攻击:来自神经科学的启示

随着与人工智能相关的网络攻击变得更加高效和复杂,经典的防御技术正在逐渐失效。为了提高组织对基于人工智能的网络攻击的保护能力,审慎地研究可指导网络安全新方法的神经科学概念是明智的。

其中一个值得参考的概念是神经生理学(Neurophysiology),研究身体(尤其是大脑)如何应对各种攻击和威胁。这种机制可以为构建有效的反制措施提供宝贵的知识。

自适应防御机制:从神经可塑性中学习    

神经可塑性(Neuroplasticity)指大脑通过建立和增长新的神经元连接重新组织自己的能力。这种可塑性对于生物体从其周围环境中学习和应对不断变化的情况是必要的。网络安全研究人员通过了解人类大脑的特征,如可塑性和迭代学习,可以大大提高防御人工智能攻击的能力。组织为了在网络安全中利用神经可塑性的原则,可以考虑以下几种策略:

  • 基于行为的检测系统——网络安全系统必须超越使用静态签名和已知攻击模式,采用基于行为的检测系统,扫描与正常活动的偏差。正如大脑适应新情况一样,这种可塑性可以融入检测系统。

  • 自动响应系统——能够根据当前情况调整安全规则和策略的自动化方法,可以比作在确保用户静态位置安全后的用户移动控制。例如,在AI驱动的攻击期间,系统本身可以激活高级网络防御层,例如修改防火墙规则或更改入侵检测规定。

  • 迭代学习—通过攻击后的分析和从以往事件中学习,可以提高未来的防御能力。网络安全系统通过分析过去AI驱动攻击中使用的战术,可以完善自身策略,并开发更强大的保护措施,类似于大脑通过反复接触挑战加强神经通路的能力。

模拟大脑的免疫系统

大脑的胶质细胞至关重要,因为它们负责修复受损的神经元并维持整体大脑健康。大脑内的这个“免疫系统”使帮助大脑以最佳状态运行并从伤害中恢复。将这一概念应用于网络安全意味着开发出能够像大脑的免疫系统一样持续监测、发现并对威胁做出反应的系统。为了采用这种方法,组织可以关注以下方面:

  • 主动威胁监控——网络安全系统可以像大脑的免疫系统检查损伤或感染一样,实施持续监测方法以寻找系统中的异常行为。先进的AI系统可以检查数据包、用户行为和系统异常,用以检测恶意软件的痕迹。

  • 自愈系统——能够自我修复或隔离损坏组件的系统可以模仿大脑从损伤中恢复的过程。例如,如果一个网段遭受网络攻击,系统可以自动限制漏洞并恢复受影响的服务,而无需人工干预。

  • 分布式防御架构——与大脑的胶质细胞类似,分布式防御架构在安全方面发挥着至关重要的作用,保护网络各个区域免受潜在攻击。使用这种技术,即使存在单个故障点,整个系统仍能正常运行。

认知计算:在网络安全中模拟人类思维过程  

认知计算(Cognitive Computing)涉及在计算机上复制人类思维过程,帮助计算机像人类一样学习、理解和互动。这一概念借鉴了神经科学原理,特别是与学习和决策等认知功能相关的内容,反映了人脑处理信息的方式。 认知计算还加强了网络安全中的预测分析,帮助系统预测和避免威胁。其中一些预测分析包括:

  • 威胁预测模型——网络安全系统可以利用认知计算技术,基于以往经验和当前创建动态模型,预测新的攻击机制和攻击向量。特别是深度学习模型提供了一种机制,可以预测威胁的出现并防止遭到人工智能攻击者利用。这是通过模拟大脑的功能,通过其神经网络结构(由相互连接的节点组成)实现的,并根据数据调整连接,类似于大脑中的突触可塑性。

  • 上下文理解——认知系统可以增强上下文理解,从而区分正常与异常。这种多维度的信息可降低噪声水平,并使威胁检测更加有效。

  • 攻击模拟——由AI驱动的网络安全系统可以模拟各种攻击场景,确保从系统和网络到安全协议和响应机制都能按预期工作。这种方法反映了认知计算如何根据不同的变量模拟和预测结果,帮助企业为潜在威胁做好准备并完善其安全策略。

认知偏差与用户培训:利用神经科学洞察力提升网络安全意识和决策能力

组织若要保护敏感数据并抵御网络威胁,必须通过实施全面的员工培训和意识提升计划,从而超越纯粹的认知科学方法。组织可以采取的一些措施包括:

  • 教育项目—创建培训计划以解决认知偏差。如果用户了解这些偏差并理解人类认知过程可能遭到滥用,将更好地准备识别并避免成为高级AI驱动攻击的受害者。

  • 模拟钓鱼攻击——运行模拟钓鱼攻击以评估用户对不同类型钓鱼方案的反应。如果用户能在安全环境中练习识别和应对潜在威胁,在压力场景下做出理性决策的能力将得到加强。

  • 行为反馈—向用户提供关于其行为和决策的反馈,帮助他们从错误中学习并改进安全实践。这种方法反映了大脑的学习过程,强化积极行为并阻止导致安全漏洞的行为。

  • 记忆保留技巧——实施分块和助记法等技术有助于员工更有效地记住安全协议。分块将复杂信息分解为可管理的部分,而助记法则创建关联,增强回忆机制。

  • 认知负荷管理——通过识别超负荷的迹象,培训员工管理认知超负荷,有助于防止决策疲劳并提高在压力情况下的专注力和反应能力。

结论

要想在与日益复杂的对手较量中领先一步,组织必须像人脑一样具备持续学习和适应的能力。AI驱动的网络攻击给网络安全带来了严峻挑战,也促使我们重新思考防御机制。传统的安全措施已经不足以应对当前的威胁。要战胜这一复杂且不断演变的威胁,来自神经科学的洞察能为我们描绘下一代网络安全的蓝图提供参考。

大脑通过神经可塑性进行适应的能力,可以指导我们开发出能实时适应和应对新威胁的防御系统。日常的主动威胁监控机制,模仿大脑的免疫系统,可在造成不可逆损害之前发现并阻止威胁。认知计算和预测分析可以帮助预测威胁,而类脑计算则有潜力彻底改变安全格局。

未来,AI驱动的攻击者与防御者之间的较量,将取决于后者是否具备适应、创新和协作的能力。通过借鉴神经科学的经验并将之融入网络安全战略,我们可以构建一个更加安全的数字世界,更有效地抵御AI驱动的网络攻击所带来的不断演化的威胁。

编者注:本文出自ISACA Journal 2025年第1期。尾注略。文章内容仅代表作者本人观点。

作者:ER. KRITIKA | CC, CEH, DFE 一位擅长于网络安全与神经科学交叉领域的杰出研究员。

翻译:姚凯(Kevin Yao),CISA,CISM,CRISC,CGEIT,CDPSE,ISACA微信公众号特邀通讯员,拥有二十余年IT从业经验,近年来关注IT安全,隐私保护和数字化。

校对:杨皓然(AdySec),CISSP,CISM,CISA,CDPSE,CRISC,CGEIT,PMP,CCSK,CZTP,CDSP,CCSSP,RHCA,CCNP,ISO27001 Auditor,ISACA微信公众号特邀通讯员,ISACA中国特邀专家,CSA大中华区专家,ISC2北京分会会员,致力于云安全、零信任、数据安全、安全运营等方向。