悦数图数据库

快手:百亿级图数据在快手安全情报中的应用

帮助全平台更高效地组织情报数据,全面提升安全风控能力

业务挑战:平台图数据达到百亿规模,数据安全面临多重挑战

随着直播和电商业务的高速发展,快手平台数据量也出现了井喷式的增长。目前,快手及旗下 APP 的数据量已达到 TB 级别秒峰出口带宽和亿级秒峰值信息量,数据维护需要上万台机器、数十个集群才能实现。

但近几年来,网络攻击手段也在层出不穷,快手旗下十余个产品都存在着账号破解、批量注册、撞库、刷人气等风险,整个平台都面临着如何提升安全对抗能力的挑战。

快手-网络数据安全面临多重挑战

选择 悦数图数据库:用图的方式更有效地组织情报数据

为什么需要图数据库

传统的关系型数据库在处理复杂数据关系运算上表现很差,随着数据量和深度的增加,关系型数据库无法在有效的时间内计算出结果。所以,为了更好的体现数据间的连接,企业需要一种将关系信息存储为实体、灵活拓展数据模型的数据库技术,这项技术就是图数据库(Graph Database)。

为什么需要图数据库

相比于传统关系型数据库,图数据库具有以下两个优点:第一,图数据库能很好地体现数据之间的关联关系,第二点,图数据库能很好地处理数据之间的关联关系。基于以上两个优点,图数据库在金融反欺诈、公安刑侦、社交网络、知识图谱、数据血缘、IT 资产及运维、威胁情报等领域有巨大需求。

为什么选择「悦数图数据库」

此次选型的适用于大数据架构的图数据库主要需要提供 3 种基本能力:实时和离线数据写入、在线图数据基本查询、基于图数据库的 OLAP 分析,其对应定位是:在线、高并发、低时延 OLTP 类图查询服务及简单 OLAP 类图查询能力。

通过收集需求及前期调研,快手安全情报在图数据库上最终选择了悦数的图数据库作为生产环境的图数据库。主要考虑了以下几点:

  • 图数据库所能支持的数据量足够大,因为企业级的图数据经常会达到百亿甚至千亿级别
  • 集群可线性拓展,因为需要能够在生产环境不停服的情况下在线扩展机器
  • 查询性能达到毫秒级,因为需要满足在线服务的性能要求,且随着图数据量的增多,查询性能不受影响
  • 能够较方便地与 HDFS、Spark 等大数据平台打通,后期能够在此基础上搭建图计算平台

应用场景:

应用场景1:群控设备识别

异常的访问常常隐藏在多数的正常访问数据中,但这些关系呈现在图数据库中就非常明显,如果有大量设备通过同一个 IP 访问,基本就可以判断为是群控设备。

应用场景2:恶意流量识别

快手 App 上的视频在播放量、点赞量达到一定数量后就可以登上热门页,官方的推荐也会被更多人看到。有些人会针对这个规则作弊,而这种行为的特征也很明显——同一个设备切换IP、机型、账号给同一个视频点赞刷量,只需导入情报平台后就能一眼识别出来。

应用场景3:攻击发现与溯源

互联网公司不可避免地会面临一些网络攻击,而只需将攻击者的 IP 输入情报平台就能看到对应的设备和 UID、手机号,帮助技术人员快速定位攻击源头。

应用场景4:全方位风险识别

账号、设备、网络、行为风险都是单维度的识别,图技术能将这些风险行为和其他数据(如地理位置、经纬度信息)串联成网状结构,业务人员看起来就非常清晰。

使用收益:大数据使防守方第一次处于优势地位

在安全领域,攻击方和防守方从来都不是对等的,攻击方往往掌握更多的信息和时间。而大数据技术让防守方可以进行离线或实时分析,借助机器学习或者深度学习工具进行风险预警,第一次掌握了风控的优先权。

通过采用悦数图数据库,平台能更有效组织情报数据。自然存在的事物本身就是充满联系的,图技术天然拥抱联系,能对客观事物进行最为准确的抽象表达。相比于传统关系型数据库,图数据库性能更高、更灵活、更符合敏捷开发的需要。未来,图技术将会在安全情报中持续应用与落地。

用户评价

快手安全情报是通过整合移动端、PC、Web 端、云端、联盟及小程序等全链条的安全数据,最终形成统一的基础安全能力赋能公司业务。由于安全情报本身具有数据实体多样性、关联关系复杂性、数据标签丰富性等特点,因此采用图数据库来做是最为合适的。通过收集需求及前期调研,快手安全情报在图数据库上最终选择了悦数的图数据库作为生产环境的图数据库。

--- 快手安全-移动安全组

logo

公司介绍

快手是国内知名的短视频及电商平台,2020 年上半年平均日活跃用户数突破 3 亿。截至 2022 年 12 月底,快手应用累计互关用户对数达 267 亿对,同比大幅增长 63.4%。目前,快手将悦数图数据库用于安全情报平台,并提供给多个业务部门使用。