AI相关安全风险或令企业难以招架

资讯

AI相关安全风险或令企业难以招架

发布时间 2023-08-19 23:42 华尔街日报阅读 3535次

基于生成式人工智能(AI)的工具将极大地提高员工的生产率，但企业里负责落实这些AI工具应用的技术管理者却在忙不迭地了解AI技术的潜在网络安全风险。

随着像微软(Microsoft, MSFT) Copilot这样的AI工具得到越来越广泛的应用，企业领导者现在有责任了解他们所获得的新功能里面到底包含了什么，以及这些AI应用是否通过了安全审查。Copilot是一种嵌入微软工作场所软件中的生成式AI工具。

为了加强供应链管理，很多公司长期以来一直依赖于从制造商那里获得的货物清单，其中详细列出了每个组件的来源。最近，软件供应商也面临着设计出类似的“软件物料清单”的挑战，这样的清单要列出软件代码中的内容，包括开源和专有组件。

制作此类详尽清单的初衷在于，公司由此可以更好地跟踪它们所用软件的细节（比如是否存在Log4j软件缺陷这样的安全漏洞），并且更快地对软件问题作出反应。

网络监控公司SolarWinds的软件被植入恶意代码的事件迫使许多公司重新评估与第三方软件供应商的关系。SolarWinds的被污染软件导致了众多企业和美国政府2020年遭遇的一场大规模黑客攻击。

咨询公司埃森哲(Accenture)网络韧性服务董事总经理Robert Boyce称，如今，随着AI模型使用公司数据进行训练，企业需要更加警惕这些数据在供应链中可能暴露之处。

生成式AI面临的挑战是，这项技术发展如此之快，以至于企业急于弄清楚它是否会带来新的网络安全挑战或放大现有的安全弱点。与此同时，技术供应商向企业提供了大量基于生成式AI的新功能和产品，但并非所有这些功能和产品都是企业所需要的，甚至不是企业已经付费购买的。

分析师表示，这造成了管理AI物料清单的难度要大得多。他们补充说，大语言模型非常复杂，几乎不可能对其进行深入审核。

Forrester Research的网络安全分析师Jeff Pollard称：“大多数安全领导者担心的是，其中一些功能缺乏能见度，无法进行监控，或不具有可解释性。”

人们对生成式AI的兴趣为Protect AI这样的初创企业创造了机会，该公司旨在通过一个其称之为“机器学习物料清单”的平台，帮助企业追踪各自自主研发的AI系统的组件。Protect AI表示，该公司平台还能识别违反安全策略的行为和恶意代码注入攻击。

Protect AI总部位于西雅图，联合创始人兼总裁Daryan "D" Dehghanpisheh表示，该公司近期在热门开源机器学习工具MLflow中发现了一个漏洞，攻击者可以利用这个漏洞控制公司的云账户凭据并访问训练数据。

Dehghanpisheh表示，这些类型攻击与“提示注入”等新攻击形式都是首席信息官需要考虑的基于AI的供应链所涉及的风险。“提示注入”攻击指黑客使用“提示”或基于文本的指令来操纵生成式AI系统以共享敏感信息。

Protect AI的联合创始人兼首席执行官Ian Swanson说，虽然生成式AI的快速发展已催生大量新工具和AI模型，但多数公司仍在试图把握自己的数据、代码和AI运营的全貌。

与此同时，一些科技公司领导人，比如总部位于旧金山的销售和营销软件公司6sense的首席信息官Bryan Wise，在签约新生成式AI功能之前，已经侧重于向供应商提出一些更尖锐的问题。

“如果有人提出关于生成式AI产品的请求，”Wise称，“我们就得越发打起点儿精神来，跟对方说，‘告诉我这些数据会如何被使用？你如何能确保我们的数据不会被用来改进你的模型？’”