引言

威胁情报是提供强大网络安全服务的重要基石，这些服务可以保护各地的移动设备和互联网用户。但当今的互联网威胁是复杂且具有强适应性的，它们通过不断改变其面貌以逃避安全防御。这使得提供涵盖各种威胁形势的威胁情报变得日益困难，组织希望威胁情报足够精准、有更少的误报避免对业务产生影响，并且也需要具有阻止快速变化的攻击的敏捷性。

在这样的形势下，安全研究人员需要复杂的算法、基础设施和数据来快速发现和验证当今的漏洞利用情况。虽然创建算法可以被创建出来，基础设施能够被构建，但数据却是难以获得的。数据的可用性受到技术、法律、商业和隐私等因素的制约。

Alexa 前 100万

Alexa 排名前 100 万的热门网站列表被广泛认为是行业标准，并在大量互联网行业中使用，以帮助研究和开发产品和系统。 2021 年 12 月，当亚马逊宣布即将停止该服务时，Alexa 列表已经服务了 25 年多。 2022 年 5 月，该服务永久退役。

· 尽量减少误报的重要性

正如许多公司所做的那样，Alexa 排名服务停止的公告引起了我们的注意。 Akamai 安全研究人员依靠该列表来帮助识别我们用户中的热门域名，以便我们可以做出更好的决策，从阻止列表中删除误报。 同时我们也认识到了局限性。

受世界不同地区互联网用户欢迎的域名不一定会出现在受全球欢迎的列表中。 例如，偏向美国用户的数据不会反映日本用户的受欢迎程度。 此外，DNS 服务器的域不会出现在主要依赖基于 HTTP 事务的数据的流行列表中。 这导致了创建内部流行列表的举措，以最大限度地减少由于区域偏好而导致误报的可能性。

误报可能会极大地破坏用户体验，这对我们的 ISP 和 MNO 客户尤为重要。 无意中阻止合法的 Web 资源不会让订阅者或工作人员感到满意。

· Akamai：全球可见性和大规模

Akamai 是业内最大的内容交付、计算和安全服务提供商之一，并通过其庞大的全球网络提供服务。 因此，Akamai 对互联网活动具有独特的可见性，并且可以在其对流行域的分析中使用匿名 DNS 和其他数据。 来自服务提供商合作伙伴的额外匿名流量增加了数千亿个查询，为我们的分析工具提供动力。

大量数据以及来自 Akamai 来源的其他数据使我们能够对域名流行度做出明智的推断。我们的全球业务还允许我们在区域层面上进行分析，以将国家和语言之间的细微差异，以及住宅用户和企业用户之间的主要差异纳入域名白名单的流程中。

提升威胁列表的准确性

我们在威胁列表生成过程中设置了围栏，以确保热门域名不会出现在威胁列表中。在将所有威胁列表条目添加到我们的列表之前，会对它们进行大量的白名单检查。这些检查包括域名的流量排名、流行度排名、知名域名的静态白名单等等。 我们还对与所有主要互联网资产（例如 Google、Facebook 和 Twitter）相关的域名应用无条件白名单规则。

们的团队不断审查和增强这些白名单检查的源数据，虽然 Alexa 列表是一个重要来源，但我们也发现了其他排名系统的好处。 为了进一步提高白名单流程的准确性，几年前我们开始开发自己的排名系统。

· 恶意与合法信号

网络安全行业的常见研究做法是使用 VirusTotal（已被谷歌收购）作为分析的一部分，以确定网站是恶意网站还是良性网站。 这种做法是每项网络安全工作的一部分，因为验证和确认对于最终确定被阻止的资源是否实际上是恶意的至关重要。

除了恶意信号外，研究人员通常还会获得他们正在研究的所有文物的合法信号。VirusTotal 从 70 多家安全供应商收集恶意信号，并从一小部分来源收集合法信号，这些来源提供有关域名流行度的信号。 这很有用，因为一般来说，假设只有极小部分非常流行的域名是恶意的，所以从假设它们是合法的开始是安全的。

出现在 VirusTotal 上的合法信号是域名流行度排名产品观察到的最流行域名的每日列表：Alexa、Majestic、Statvoo 和 Umbrella（图 1）。

图 1：google.com 的 VirusTotal 人气排名产品结果 [注：Quantcast 自 2020 年 4 月 1 日起未发布新数据。]

不同的排名产品使用不同的方法收集数据：

• Alexa 根据工具栏用户输入网站域名的频率对网站进行排名。
• Majestic 根据结构属性而不是实际访问者的受欢迎程度对网站进行排名。
• Umbrella 包括在其公共 DNS 解析器中观察到的任何类型的域，包括内部、非 Web 域。
• Statvoo 不提供有关他们用于创建列表的指标的见解。

Tranco 是另一个流行列表提供商，它在数学上聚合了 Alexa、Majestic 和 Umbrella，但它目前没有出现在 VirusTotal 中。

评估流行度排名

最近的研究发现了来自 Alexa、Umbrella 和 Majestic 的流行排名表的缺点，包括缺乏可靠性以及包含恶意、无效、组织内部（例如 .local）或实际上并不流行的条目。

在 2019 年发表的一篇名为《聚类和周末效应：安全研究中使用顶级域名列表的建议》的研究文章中，作者提供了证据表明 Alexa 和 Umbrella 排名列表中强烈存在一种称为“周末效应”的现象。 周末效应现象表现为工作周和周末之间域内排名的变化，如图 2 所示。

图 2：Alexa 和 Umbrella 前 10 大最受欢迎域名的周末效应

研究人员分析了五项指标——列表稳定性、域扩展、无效域、网站类别和集群——并报告了有趣的结果。

• Alexa 中排名靠前的域名比 Umbrella 中排名靠前的域名更稳定，其中排名前 10 位的域名定期发生变化。
• 周末效应影响 Alexa 和 Umbrella 的地理多样性（例如，在周末 Alexa 列表中失去欧洲国家的域名，而获得俄罗斯和印度的域名）
• Alexa 和 Umbrella 流行度排名主要是工作日的办公流量和周末的休闲流量。
• Umbrella 还包含企业网络内部使用的域名。
• Alexa 和 Umbrella 按字母顺序对具有同等流量的域进行排名。

在 2019 年的另一篇研究文章《 Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation》 中，研究人员介绍了 Tranco 并评估了竞争产品中存在的问题。 他们阐述了一些发现，包括以下内容：

• 2018年1月起，Alexa流行度排名以一天数据为准，每天有一半排名会发生变化。
• Umbrella 包含无效域和子域——只有 49% 的条目是真实的。
• Majestic 包含 2,162 个恶意域名。
• Quantcast 自 2020 年 4 月 1 日起不可用。

AkaRank介绍

研究论文显示，如今的流行度排行榜并没有很好地反映地域差异。全球网络资产在任何地方都很流行，但当地语言、网站和偏好会影响当地的流行程度。 作为一家大型跨国公司，我们的安全研究团队了解到我们不能依赖具有地域偏见的流行度列表。

多年来，我们一直致力于提高流行度排名，以消除其他排行榜的偏见，现在我们正式推出 Akamai 人气排行榜 AkaRank。 在下一篇文章中，我们将讨论 AkaRank 与本博客中涵盖的替代方案的比较。

总结

威胁情报是提供强大网络安全服务的重要基石。 避免阻止合法 Web 资源的准确威胁情报对于积极和高效的用户体验至关重要。 安全研究人员需要数据来快速发现和验证当今的漏洞利用情况。 流行度排名是评估域名合法性的重要因素。

Alexa 的消亡迫使行业寻找和评估替代方案，而且越来越明显的是，所有替代方案都存在明显的局限性。 Akamai 的 AkaRank 排行榜列表注重人气排名，以消除其他列表的偏见，我们正不断完善它以确保用户始终可以访问合法资源。