天使还是恶魔?生成式人工智能路在何方?
据媒体报道:某跨国企业刚引入 ChatGPT 还不到 20 天,就发生了 3 起机密数据泄漏事件,其中涉及该企业半导体设备测量资料、产品良率等信息。媒体认为,这些机密资料已“完整地”传给了美国,被存入 ChatGPT 学习数据库中。
01 事件经过 3月11日,某跨国企业为提升员工办公效率,决定由半导体设备解决方案(DS)部门开始使用 ChatGPT。 到目前为止,该公司已经记录了三起导致数据泄露的ChatGPT使用事件。虽然三次似乎不多,但它们都发生在20天的时间里,所以情况相当令人不安。三个案例的故事如下: 案例一:一名该企业半导体员工向ChatGPT提交了一个专有程序的源代码,以修复错误,该程序本质上向外部公司运行的人工智能泄露了一个绝密应用程序的代码。 案例二:另一名员工输入了旨在识别缺陷芯片并要求优化的测试模式。旨在识别缺陷的测试序列是严格保密的。同时,优化这些测试序列并可能减少它们的数量可以加快硅测试和验证程序,从而显著降低成本。 案例三:一名员工使用Naver Clova应用程序将会议记录转换为文档,然后将其提交给ChatGPT以准备演示。 这些行为显然将机密信息置于危险之中。事后,该企业警告其员工使用ChatGPT的危险,并告知其高管和员工,输入ChatGPT的数据是在外部服务器上传输和存储的,这使得公司无法检索数据,并增加了机密信息泄露的风险。虽然ChatGPT是一个强大的工具,但其开放学习数据功能可能会将敏感信息暴露给第三方,这在竞争激烈的半导体行业是不可接受的。 02 分析 用户在与人工智能进行交互的过程中,信息在不断的交换。用户输入的信息会被人工智能学习,有可能呈现给第三方用户。就像该企业这次泄露事件所述,员工将源代码复制到了 ChatGPT 中寻找Bug的解决方法。据媒体报道,这个操作将使此企业半导体设备测量相关代码成为了 ChatGPT 的学习资料。 据Cyberhaven统计,不少企业员工都正在将公司数据直接传给ChatGPT,让它帮忙处理。仅一天之内,每10万名员工就平均给ChatGPT发送了5267次企业数据。 数据泄露风险如此之高,要拒绝人工智能技术吗?那无疑是自断经脉。如何兼顾业务和安全,使企业远离数据泄露的困扰?上述公司已对员工进行了相关的培训和教育,让员工了解新技术的使用方法和注意事项,但这是远远不够的。除了流程和制度之外,采用技术措施来构建数据防泄漏能力也是必要的。 03 应对方案 和通常的数据安全治理思路类似,针对企业使用人工智能技术所存在的数据泄露风险,可以从如下几个方面考虑: 对企业内部的数据进行分类分级。识别出敏感数据的位置、应用和流转路径。这是对重要数据进行保护的基础。 为敏感数据制定防护策略。对于不同级别的重要数据,制订不同的管控策略,例如将数据区分为“允许外发”、“脱敏后外发”,以及“禁止外发”等。 监控终端用户操作数据的行为。特别是终端用户对敏感数据的编辑、拷贝、粘贴和发送等行为,根据防护策略,对这些行为进行审计、告警,甚至拦截。 监控网络流量。关注企业网络的边界出口流量,检测流量中是否有敏感数据流出,依据防护策略,对流出敏感数据的会话进行审计、告警,甚至拦截。 当然,该跨国企业内部也采取了“紧急措施”,将每个提交给ChatGPT的话题内容限制在1024 字节以内,并且传出要开发公司内部AI的意向。1024字节的限制简单直接,但长远来看,为了更好的发挥ChatGPT的价值,采用更精准的防护更符合企业利益。 04 政府监督 4月11日,为促进生成式人工智能技术健康发展和规范应用,根据《中华人民共和国网络安全法》等法律法规,国家互联网信息办公室起草了《生成式人工智能服务管理办法(征求意见稿)》,侧面反映了人工智能技术在广泛使用的情况下普遍存在风险漏洞,已引起重点关注。 以ChatGPT为代表的生成式人工智能技术日益广泛的应用,带来了风险和挑战,也预示着数字时代进入了新的阶段,欢迎各位与闪捷信息一起,见证未来数据安全的发展与变革。 关于闪捷信息: 闪捷信息(Secsmart)是一家专注数据安全的高新技术企业,创新性提出“云·管·端”立体化动态数据安全理念,在业界率先将人工智能、前沿密码技术成功应用于数据安全领域,实现对结构化和非结构化数据资产的全面防护。产品范围涉及大数据安全、云数据安全、应用数据安全、数据防泄漏、工业互联网安全、数据安全治理以及数据安全治理服务等,已广泛应用于政府、电力、金融、运营商、医疗、教育等行业。