Indicator of Benignity: An Industry View of False Positive in Malicious Domain Detection and Its Mitigation

论文重点

这篇论文首次从大规模真实生产环境出发，系统性地研究了恶意域名检测系统中误报（False Positive）的实际规模与特征。基于某全球头部安全厂商（文中称为SV）在2019至2024年间收集的123,491份用户误报报告，论文揭示了当前依赖流行度白名单的误报缓解策略存在根本性局限——即便合并所有公开顶级域名列表，最多也只能复盖约38%的误报域名，单纯扩大白名单规模将不可避免地引入大量漏报，得不偿失。

核心研究内容

问题定义

恶意域名检测是网络安全防御的核心技术之一，但误报问题长期被学术界忽视。现有研究几乎全部聚焦于如何提升检测率（True Positive Rate），而对误报在真实生产环境中的规模、分布特征和缓解策略缺乏深入理解。考虑到对误报的恐惧是阻碍安全系统投入生产运营的主要顾虑之一，这一研究空白亟需填补。

创新方法

论文的核心创新在于首次基于真实生产环境的误报报告数据开展大规模测量研究。数据来源是SV在全球65,000余家组织部署的防火墙产品——这些系统每日处理约70亿次DNS查询，日均检测约160万个新型恶意域名。用户（主要是企业安全运营中心的分析师）发现可疑误报后向SV提交报告，由安全研究员人工核查确认。这一机制使得误报数据具备合理的地面真实标签（ground truth）。研究团队分析了六年间积累的123,491份误报报告，从误报的时间分布、域名特征、检测来源等多个维度展开系统性的量化分析。

此外，论文还提出了误报归因方案（attribution scheme），将误报区分为由SV自研检测器产生（PD）和由第三方威胁情报源产生（PF）两类，以便进行更精细的对比分析。

研究成果

论文的核心发现包括以下几方面：

第一，误报具有长尾分布特征。97.7%的误报域名仅被单个用户报告过一次，且绝大多数误报域名托管在独特的根域名下。这意味着无法通过简单的“按根域名分组批量处理”来高效应对误报。

第二，流行度白名单的复盖能力极其有限。即便合并Alexa、Majestic Million、Cisco Umbrella、Quantcast等所有公开顶级域名列表，也只能复盖约38%的误报根域名。更值得注意的是，约49.2%的误报报告涉及的子域名，其根域名虽然出现在公开顶级列表中，但子域名本身被攻击者滥用。进一步分析发现，约50%的误报根域名在Chrome用户体验报告（CrUX）中的排名低于500万。若将白名单从100万扩展到500万甚至1000万，虽然能复盖更多误报，但必然引入大量恶意域名，导致不可接受的漏报率。

第三，误报报告的时效性存在显着滞后。约10%的误报在检测后一周内报告，约23%在30天内报告，而半数误报需要超过120天才被报告。这意味着评估检测器的误报率需要至少4个月的生产部署周期。此外，越早报告的误报越容易被接受为真实误报。

第四，恶意网站类检测器是误报的主要来源。在SV自研检测器中，恶意网站检测贡献了87,596份误报报告（占总数的绝大部分），而DGA检测器（日均检测约1,100万域名，仅1,130份误报）和域名影子检测器（零误报）则相对准确。进一步调查发现，大多数被报告的误报域名属于小型企业网站，这些网站通常缺乏强有力的安全防护措施，在被检测时确实遭到入侵，但在用户提交报告时已经完成清理。

实际落地应用的可能性

论文的研究成果具有直接的工程指导价值。首先，其提出的长尾分布特征和TODTOC（检测到投诉的时间间隔）分析框架，可作为安全厂商评估检测器质量和优化误报处理流程的量化工具。其次，论文对流行度白名单复盖能力的量化评估，为安全团队提供了避免“盲目扩大白名单”这一常见误区的实证依据。最后，论文发现误报主要集中在小企业网站被入侵后又清理的场景，这提示安全厂商可以探索基于网站历史安全状态的动态风险评估机制，而非仅仅依赖静态的流行度排名。

技术细节

误报归因方案

论文将误报报告（FP CR）归因到两类检测源：

• PD（由SV自研检测器产生）：域名被SV自研的检测系统标记为恶意
• PF（由第三方威胁情报源产生）：域名仅出现在第三方威胁情报源中

在此基础上，论文进一步按检测范围（detection scope）对误报进行分类，包括通用恶意域名检测、域名抢注检测、DGA检测、DNS重绑定检测、快速flux检测、DNS隧道检测和恶意网站检测等。

白名单复盖率计算

论文使用五类公开顶级域名列表进行复盖率分析：

1. Alexa top-1m（2022年5月停更）
2. Majestic Million
3. Cisco Umbrella 1 million
4. Quantcast top 490K
5. Chrome User Experience Report (CrUX)

对于每个列表，研究者从误报域名的FQDN中提取根域名进行匹配。复盖率计算方式为：在给定时间范围内至少出现在某个顶级列表中一次的误报根域名占比。

TODTOC指标

TODTOC（Time of Detection to Time of Complaint）定义为域名被检测为恶意到用户提交误报投诉之间的天数。该指标用于量化误报被发现的延迟程度，为检测器的部署评估周期提供依据。

研究设定

数据来源

• 时间跨度：2019年至2024年，共计6年
• 数据规模：123,491份误报报告，其中121,073份被接受（对应118,093个唯一FQDN），2,418份被驳回（对应2,022个唯一FQDN）
• 检测规模：SV部署了数十个恶意域名检测器，日均处理约70亿次DNS查询，日均检测约160万个新型恶意域名
• 复盖范围：全球超过65,000家组织的防火墙

地面真实标签的获取

误报报告由用户（主要是企业安全运营中心分析师）提交，经SV安全研究员人工核查后确认或驳回。用户的误报报告中通常包含“良性理由”（justification of benignity），结合研究人员的验证，使得数据集具备合理的地面真实标签。整体接受率超过98%，表明用户报告的误报具有很高的可信度。

硬件/软件配置

论文未披露具体的硬件配置细节，但从研究性质推断：

• 数据存储与处理需支持PB级DNS日志的长期存储和查询
• 检测系统为分布式部署，支持日均70亿次DNS查询的实时处理
• 分析工具可能包括大规模数据处理框架（如Spark类系统）和统计分析工具

综合分析

这篇论文的学术贡献和方法论价值值得深入探讨。

从研究范式角度看，这篇论文代表了网络安全研究中一个常被忽视但极为重要的方向——生产环境中的系统实证研究。学术界大量研究聚焦于提出新的检测算法并在实验室数据集上验证其效果，但这些算法在真实生产环境中的表现（尤其是误报率）往往与论文报告相去甚远。论文作者敏锐地指出了这一“学术-工业鸿沟”，并通过与工业界的深度合作获取了独一无二的真实数据，为后续研究提供了宝贵的第一手资料。这种研究范式值得更多安全领域的研究者借鉴。

从误报问题的本质看，论文揭示了一个深层次的矛盾：域名检测系统的误报缓解过度依赖“流行度”这一单一信号，但误报域名的分布恰恰是长尾的——绝大多数误报发生在不流行的域名上。这意味着基于流行度的白名单策略在数学上就不可能有效复盖大部分误报。这是一个结构性缺陷，而非参数调优可以解决的问题。论文通过CrUX排名数据清晰地证明了这一点：约50%的误报根域名排名低于500万，将其纳入白名单将导致白名单规模膨胀至原有规模的5倍以上，引入大量恶意域名。这个发现对业界“堆白名单”的惯常做法提出了有力的质疑。

从误报的时间维度看，TODTOC的分布特征揭示了一个容易被忽视的问题：误报的社会成本与检测系统的“即时性”之间存在张力。检测系统追求“零日检测”，但用户对误报的感知和反馈往往是滞后的。这意味着在评估检测器时，单纯依赖短期的误报率指标是不够的——一个在部署初期看似“零误报”的检测器，可能在数月后暴露出大量误报。论文建议至少需要4个月的部署周期来评估误报率，这一建议具有重要的工程指导意义。

从误报的来源看，恶意网站检测贡献了绝大多数误报，而这类误报的成因尤为复杂——被检测的网站在检测时确实被入侵了，但在用户投诉时已经清理干净。这说明误报不完全是“检测器犯错”，很多时候是检测目标的状态在时间维度上发生了变化。这提示我们可能需要重新思考误报的定义：当一个域名在T1时刻被入侵、在T2时刻被清理，检测器在T1时刻将其标记为恶意是否算“误报”？从纯粹的时间点判断来看不是，但从用户的体验来看是。这种“时间错配”带来的误报，可能需要通过更细粒度的域名状态追踪和信誉衰减机制来解决。

从方法论层面看，论文也存在一定的局限性。首先，数据来源于单一安全厂商，虽然该厂商规模很大，但不同厂商的检测器设计、用户群体和数据标注流程可能存在差异，研究结论的普适性有待进一步验证。其次，被驳回的误报报告仅占不到2%，这意味着几乎所有的用户投诉都被接受为真实误报——这可能反映了SV的审核流程倾向于相信用户，也可能暗示用户只有在相当确信的情况下才会提交报告。无论如何，这一高接受率本身就说明误报对用户造成的困扰是真实且严重的。

实践应用

对安全厂商的建议

1. 重新审视白名单策略。论文数据表明，单纯依赖流行度白名单最多只能复盖38%的误报。安全厂商应考虑引入多维度的“良性指标”（Indicator of Benignity），例如域名的历史安全状态、网站所有者的信誉、证书透明度日志记录、搜索引擎索引状态等，构建更全面的误报过滤机制。

2. 建立误报反馈的快速通道。TODTOC数据显示，越早报告的误报越容易被接受。安全厂商应优化误报提交流程，降低用户提交误报的门槛，并建立快速的误报确认和处置机制，以缩短误报对用户的影响时间。

3. 针对恶意网站检测器进行专项优化。恶意网站检测是误报的最大来源，且大量误报源于“检测时被入侵、投诉时已清理”的场景。可考虑引入网站安全状态的时效性因子，对已清理的网站自动解除告警，或对小型企业网站采用差异化的检测阈值。

4. 延长检测器的生产评估周期。论文建议至少需要4个月的部署才能收集到半数以上的误报。安全厂商在推出新检测器时，应设置足够长的观察期再评估其误报率，避免过早下结论。

对学术研究的启示

1. 重视生产环境数据。这篇论文展示了工业界真实数据对学术研究的独特价值。研究者应积极寻求与工业界的合作，获取真实世界的标注数据，而非仅依赖实验室构造的数据集。

2. 探索超越流行度的误报缓解方法。既然流行度白名单存在结构性局限，学术界应探索基于域名行为特征、注册信息、内容语义等多维度特征的误报识别方法。

3. 研究误报的时间动态性。“时间错配”型误报提出了一个有趣的研究问题：如何建模域名安全状态随时间演变的规律，并设计相应的检测置信度衰减机制？

对终端用户的建议

1. 及时反馈误报。数据显示越早报告越容易被确认和修复。企业用户在发现疑似误报时应尽快通过官方渠道提交，避免因延迟报告而导致问题持续存在。

2. 加强网站自身安全。大量误报源于网站被入侵后又清理的场景。企业应加强网站的安全防护措施（如定期漏洞扫描、WAF部署、及时打补丁等），从源头上减少被检测为恶意的可能性。

参考资料来源

• 原始论文: https://www.ndss-symposium.org/wp-content/uploads/2026-f1869-paper.pdf