随着直播和电商业务的高速发展,快手平台数据量也出现了井喷式的增长。目前,快手及旗下 APP 的数据量已达到 TB 级别秒峰出口带宽和亿级秒峰值信息量,数据维护需要上万台机器、数十个集群才能实现。
但近几年来,网络攻击手段也在层出不穷,快手旗下十余个产品都存在着账号破解、批量注册、撞库、刷人气等风险,整个平台都面临着如何提升安全对抗能力的挑战。
传统的关系型数据库在处理复杂数据关系运算上表现很差,随着数据量和深度的增加,关系型数据库无法在有效的时间内计算出结果。所以,为了更好的体现数据间的连接,企业需要一种将关系信息存储为实体、灵活拓展数据模型的数据库技术,这项技术就是图数据库(Graph Database)。
相比于传统关系型数据库,图数据库具有以下两个优点:第一,图数据库能很好地体现数据之间的关联关系,第二点,图数据库能很好地处理数据之间的关联关系。基于以上两个优点,图数据库在金融反欺诈、公安刑侦、社交网络、知识图谱、数据血缘、IT 资产及运维、威胁情报等领域有巨大需求。
此次选型的适用于大数据架构的图数据库主要需要提供 3 种基本能力:实时和离线数据写入、在线图数据基本查询、基于图数据库的 OLAP 分析,其对应定位是:在线、高并发、低时延 OLTP 类图查询服务及简单 OLAP 类图查询能力。
通过收集需求及前期调研,快手安全情报在图数据库上最终选择了悦数的图数据库作为生产环境的图数据库。主要考虑了以下几点:
异常的访问常常隐藏在多数的正常访问数据中,但这些关系呈现在图数据库中就非常明显,如果有大量设备通过同一个 IP 访问,基本就可以判断为是群控设备。
快手 App 上的视频在播放量、点赞量达到一定数量后就可以登上热门页,官方的推荐也会被更多人看到。有些人会针对这个规则作弊,而这种行为的特征也很明显——同一个设备切换IP、机型、账号给同一个视频点赞刷量,只需导入情报平台后就能一眼识别出来。
互联网公司不可避免地会面临一些网络攻击,而只需将攻击者的 IP 输入情报平台就能看到对应的设备和 UID、手机号,帮助技术人员快速定位攻击源头。
账号、设备、网络、行为风险都是单维度的识别,图技术能将这些风险行为和其他数据(如地理位置、经纬度信息)串联成网状结构,业务人员看起来就非常清晰。
在安全领域,攻击方和防守方从来都不是对等的,攻击方往往掌握更多的信息和时间。而大数据技术让防守方可以进行离线或实时分析,借助机器学习或者深度学习工具进行风险预警,第一次掌握了风控的优先权。
通过采用悦数图数据库,平台能更有效组织情报数据。自然存在的事物本身就是充满联系的,图技术天然拥抱联系,能对客观事物进行最为准确的抽象表达。相比于传统关系型数据库,图数据库性能更高、更灵活、更符合敏捷开发的需要。未来,图技术将会在安全情报中持续应用与落地。
用户评价
快手安全情报是通过整合移动端、PC、Web 端、云端、联盟及小程序等全链条的安全数据,最终形成统一的基础安全能力赋能公司业务。由于安全情报本身具有数据实体多样性、关联关系复杂性、数据标签丰富性等特点,因此采用图数据库来做是最为合适的。通过收集需求及前期调研,快手安全情报在图数据库上最终选择了悦数的图数据库作为生产环境的图数据库。
--- 快手安全-移动安全组
公司介绍
快手是国内知名的短视频及电商平台,2020 年上半年平均日活跃用户数突破 3 亿。截至 2022 年 12 月底,快手应用累计互关用户对数达 267 亿对,同比大幅增长 63.4%。目前,快手将悦数图数据库用于安全情报平台,并提供给多个业务部门使用。