Microsoft Sentinel 中的日志保留计划
日志收集和保留有两个相互竞争的方面,对于成功的威胁检测计划至关重要。 一方面,你希望最大限度地增加收集的日志源数,以便尽可能全面地实现安全覆盖。 另一方面,需要尽量减少引入所有数据所产生的成本。
这些竞争需求需要一个日志管理策略,用于平衡数据可访问性、查询性能和存储成本。
本单元讨论用于存储和访问数据的类别和保留状态。 它还介绍了 Microsoft Sentinel 提供的日志计划,以帮助您制定日志管理和保留策略。
重要
辅助日志类型目前处于预览阶段。 有关适用于 beta 版、预览版或尚未正式发布的 Azure 功能的其他法律条款,请参阅 Microsoft azure 预览版 补充使用条款。
Microsoft Sentinel 在 Microsoft Defender 门户中 Microsoft 的统一安全运营平台中正式发布。 对于预览版,Microsoft Sentinel 在 Defender 门户中提供,无需Microsoft Defender XDR 或 E5 许可证。 有关详细信息,请参阅 Microsoft Defender 门户 中的Microsoft Sentinel。
输入数据的类别
Microsoft建议将数据引入Microsoft Sentinel 分类为两个常规类别:
- 主要安全数据是包含关键安全值的数据。 此数据用于实时主动监视、计划警报和分析来检测安全威胁。 数据需要在近实时内能够随时供所有 Microsoft Sentinel 服务使用。
 - 辅助安全数据是补充数据,通常位于大量详细日志中。 此数据具有有限的安全价值,但它可以为检测和调查提供额外的丰富性和上下文,有助于全面了解安全事件。 但它不需要随时可用,而是应该根据需求按适当的量进行访问。
 
主要安全数据
此类别包含对您的组织具有重要安全价值的日志。 主要安全数据可以通过以下用于安全操作的用例来描述:
- 频繁监视。 威胁检测(分析)规则 频繁或近乎实时地在此数据上运行。
 - 按需搜寻。 在此数据上运行复杂查询,以执行高性能的交互式寻找安全威胁。
 - 相关性 来自这些源的数据与其他主要安全数据源中的数据相关联,以检测威胁并生成攻击案例。
 - 定期报告。 这些源中的数据随时可用于编译为组织的安全运行状况的常规报告,供安全和常规决策者使用。
 - 行为分析。 来自这些源的数据用于为用户和设备生成基线行为配置文件,使你能够将异常行为识别为可疑行为。
 
主要数据源的一些示例包括来自防病毒或企业检测和响应(EDR)系统的日志、身份验证日志、来自云平台的审核线索、威胁情报源以及来自外部系统的警报。
应使用本文后面所述的 Analytics 日志 计划存储包含主要安全数据的日志。
辅助安全数据
此类别包含其个人安全价值有限但对于提供安全事件或泄露的全面视图至关重要的日志。 通常,这些日志是大容量日志,并且可能很详细。 此数据的安全作用例包括:
- 威胁情报。 通过妥协指标(IoC)或攻击指标(IoA)列表检查原始数据,以便快速轻松地检测威胁。
 - 临时搜寻/调查。 可以通过交互方式查询数据 30 天,从而促进对威胁搜寻和调查的关键分析。
 - 大规模搜索。 可以在后台以 PB 级的速度引入和搜索数据,同时以最少的处理高效存储。
 - 通过摘要规则进行汇总。 将大量日志汇总到聚合信息中,并将结果存储为主要安全数据。 若要详细了解摘要规则,请参阅 使用摘要规则聚合Microsoft Sentinel 数据。
 
辅助数据源的一些示例包括云存储访问日志、NetFlow 日志、TLS/SSL 证书日志、防火墙日志、代理日志和 IoT 日志。 若要详细了解这些源如何为安全检测带来价值,而无需一直使用,请参阅 日志源用于辅助日志引入。
应使用本文后面所述的 辅助日志 计划(现在为预览版)存储包含辅助安全数据的日志。
对于不使用预览选项的情况,可以使用基本日志。
日志管理计划
Microsoft Sentinel 提供了两个不同的日志存储计划或类型,以适应这些引入的数据类别。
- Analytics 日志计划旨在存储主要安全数据,并使其能够在高效情况下便捷和持续地访问。
 - 辅助日志 计划旨在以极低的成本长期存储次级安全数据,同时仍允许有限的访问权限。
 - 第三个计划(基本日志)是辅助日志计划的前任,可以在辅助日志计划保持预览状态时将其用作替代计划。
 
每个计划都保留两种不同状态的数据:
- 交互式保留状态是将数据引入到的初始状态。 此状态允许不同级别的数据访问,具体取决于计划,此状态的成本因计划而异。
 - 无论计划如何,长期保留状态在其原始表中保留长达 12 年的旧数据,成本极低。
 
若要了解有关保留状态的详细信息,请参阅 管理 Log Analytics 工作区中的数据保留。
下图总结并比较了两个日志管理计划。
Microsoft Sentinel 中可用日志计划的图示。
分析日志计划
默认情况下,Analytics 日志计划将数据保留为交互式保留状态 90 天,可扩展长达两年。 这种交互式状态虽然昂贵,但允许你以无限的方式查询数据,并且性能高,每个查询都无需付费。
交互式保留期结束时,数据进入长期保留状态,同时保留在原始表中。 长期保留期默认未定义,但可以定义最长 12 年。 出于法规合规性或内部策略目的,此保留状态以极低的成本保留数据。 只能通过使用搜索作业或还原,将有限的数据集提取到交互式保留过程中的新表中,才能访问此状态下的数据,在此保留过程中,你可以充分利用完整的查询功能。
辅助性日志计划
辅助日志计划将数据保持为交互式保留状态 30 天。 在辅助计划中,与 Analytics 计划相比,此状态的保留成本非常低。 但是,查询功能有限:查询按每 GB 的数据扫描收费,限制为单个表,性能明显降低。 虽然此数据仍处于交互式保留状态,但可以对此数据运行 摘要规则 来创建聚合表、Analytics 日志计划中摘要数据,以便对此聚合数据具有完整的查询功能。
交互式保留期结束时,数据进入长期保留状态,保留在原始表中。 辅助日志计划中的长期保留与分析日志计划中的长期保留相似,只是访问数据的唯一方法是使用 搜索作业。 辅助日志计划不支持“恢复”功能。
基本日志计划
第三个计划(称为基本日志)提供与辅助日志计划相似的功能,但其交互保留成本更高(但不及分析日志计划高)。 虽然辅助日志计划仍处于预览状态,但如果组织不使用预览功能,则基本日志可以是长期低成本保留的选项。 若要详细了解基本日志计划,请参阅 Azure Monitor 文档中 表计划。