案例分享|某互联网公司大流量数据库审计实践
背景介绍
随着信息技术的飞速发展,数据呈现爆炸式的增长,海量数据的管理以及所带来的数据安全风险已经成为各个企业不容忽视的难题。为了应对这一挑战,超大规模数据库集群架构应运而生,它不仅可以实现海量数据的高速存储,还能够极大提升数据安全性。
A客户为国内大型互联网企业,目前业务涉及零售、科技、物流、健康、产发、工业、自有品牌、保险和国际等领域,目前已经是中国线上线下最大的零售集团。作为电商头部企业,为了满足平日大量的访问和交易以及“618”、“双11”等促销活动,其交易系统需要对性能、可用性、扩展性提出极高要求以处理大量的用户请求和交易数据。其业务平台架构中大量使用了容器化技术,并将其作为电商交易系统的核心基础设施。为了支撑其电商系统大量的商品信息和物流信息存储,用户常规、突发访问的数据交换,其业务系统部署数以万计的数据库,并搭建T级别的高性能网络,据统计其核心业务数据库实例数量达到10万+,平均访问流量达到5T,峰值访问总流量达到20T,在如此大的数据库实例规模和访问流量下,如何进行数据访问审计和风险识别将是巨大的挑战。
挑战1:数据库容器化部署,IP漂移时流量如何精准采集,数据库资产如何识别?
挑战2:上万插件部署和统一管理,插件流量高效转发调度,插件低负载、高性能、高稳定性如何保障?
挑战3:在突发流量情况下,如何避免插件流量采集与业务运行形成资源抢占,优先保证业务?
挑战4:数万个数据库上千G流量审计,业务高峰流量峰值甚至增加数倍,如何满足大流量下的数据访问流量采集和解析?
闪捷信息解决方案
闪捷信息大流量数据库审计解决方案使用“1+N”的产品架构:
“1”代表数据库审计管理平台,负责统一管理数据库审计系统管理节点,数据库审计系统管理节点与审计插件通信进行信息处理和管理,进行数审节点监控、插件统一管理和调度;
“N”代表数据库审计业务节点,主要负责流量分析以及日志记录。审计日志存储节点服务将审计日志记录分布式储存,支持横向拓展;另外,方案将日志记录发送给客户的安全大数据分析平台,对审计日志进行进一步分析和业务风险挖掘。
该解决方案通过提供以下4大特性,来满足客户的大流量审计需求:
特性1:数据库资产自动嗅探
可通过插件采样的流量进行解析,发现数据库资产IP地址和端口信息;展示采样流量中对应的语句样例,帮助用户甄别需要审计的业务数据库;添加资产时可快速绑定发现资产的插件,且数据库资产扩容、缩容、漂移场景插件和数据库资产自动变更绑定关系。
特性2:高性能流量采集和转发插件
单插件最大支持4Gb流量处理,且可对流量精细化采集,既可对容器宿主机上的流量进行完整采集,又能满足单节点最大流量要求;插件自身资源占用极低,还可以从插件自身CPU、内存、带宽、磁盘资源占用以及部署的主机整体CPU、内存和带宽资源占用多个维度设置阈值,超过阈值插件自动休眠并告警,避免插件过多的资源占用或在主机高负载情况下抢占资源,影响业务服务。
特性3:统一插件管理与调度平台
可对所有数据库审计上对接的插件进行统一展示、运行监控、流量排序等;提供插件自身和其所在服务器资源监控、阈值设置和告警;插件统一注册到安全管理中心,根据数据库审计各节点的负载进行插件指派和迁移。
特性4:全分布式弹性资源扩展
采用“1+N”架构形成数据库审计集群,可通过增加数据库审计节点进行审计性能横向扩展,数据库审计插件可根据数据库审计节点负载动态调整接收节点。
用户核心价值
价值1:通过插件采集流量进行数据库资产发现,降低产品部署难度,同时还可以帮助用户发现在野数据库和隐蔽访问;插件和被审计数据库资产自动绑定,保证业务流量精准识别和采集,降低了用户的网络带宽成本。
价值2:单插件性能强,稳定性高,兼容性好,容器化场景无需每个数据库容器搭配插件,只需要在容器宿主机部署一个插件即可,极大的减少插件部署的数量,降低部署和后续维护工作量,减少运维成本,同时可以将安装插件对业务的影响降到最低。
价值3:通过数据库审计管理平台对所有部署的插件进行统一管理,用户无需再登录单个节点进行插件的监控和配置修改,为用户运维提供了极大的便利;通过平台进行插件指派和迁移能够很好的平衡各数审节点的负载,同时也能在增减数审节点时能够快速进行部署调整。
价值4:通过增加数审节点方式对数审集群的性能进行扩展,方便用户根据其业务情况及时调整,同时也方便客户进行分批建设;插件根据节点负载动态转发流量,避免单节点负载过高影响集群处理能力,可以更好的应对流量洪峰。
方案应用场景
(1) 企业组织合规建设
国家机关、企业、事业单位在信息化建设时要求满足信息安全等级保护要求,数据库审计产品为等保三级必备产品,可以提供满足《网络安全法》、《网络安全等级保护基本要求》等法律法规要求的安全审计报表,协助用户快速通过相关测评。
(2) 数据资产攻击风险发现
企业或单位中最大安全风险的往往来自内部员工或离职人员,他们可以使用合法账号访问、操作数据库,一旦出现误操作甚至恶意攻击,后果将不堪设想。数据库审计系统记录了所有数据访问者对数据库的操作行为,通过内置的风险识别规则或模板,既能够识别出外部的SQL注入攻击、暴力破解等高危行为,也可以针对内部运维人员的未授权访问以及恶意操作提供实时的风险告警,为用户提供持续的数据库安全风险监测能力。
(3) 数据安全违规事件审计溯源
企业或单位一旦发生数据安全违规事件,造成一定后果并需要追溯风险来源时,数据库审计可以基于语句、客户端、IP、数据库用户、关联用户、时间、操作对象等多种维度的数据库操作记录和事后分析能力,通过全量的数据库行为记录、全局检索能力,根据访问来源实现数据库的关联查询和关联分析,使数据库的访问行为有效定位到具体涉事人员,从而为安全事件溯源定责。
(4) 历史业务数据分析
数据库审计可以记录数据库操作信息和访问数据类型,通过分析审计日志,可以获取数据库的使用情况、用户行为和数据变动等信息,为组织决策提供支撑和依据。例如,可以同故宫数据库审计记录的用户操作行为和数据情况,进行用户行为分析和个性化推荐。