Snapshot 179138
Normalized text
Scripts and page chrome removed; this is what change detection compares.
Pipeline Data Processing Pipeline 数据处理 观测云 Pipeline 用于在数据进入分析前完成解析、字段提取、类型转换、过滤、脱敏和标准化处理，让日志、指标、链路、网络和对象数据更容易检索、聚合、关联和治理。 Pipeline 数据处理解决什么问题 用 Pipeline 把原始数据处理成可查询、可关联的字段 当原始日志字段混乱、格式不统一或含有敏感信息时，Pipeline 在数据进入平台前完成解析、字段提取、脱敏和标准化，让后续查询、告警和关联分析更可靠。 01 原始日志不好查？先把关键字段解析出来 Pipeline 支持在 DataKit 本地或中心侧对数据进行解析、提取、修改、过滤和聚合。 02 字段统一后，日志才能和指标、链路、网络关联 处理后的数据结构更清晰，可以按统一字段过滤、分组和聚合。 03 敏感信息不能入库？在处理链路前置脱敏 Pipeline 可以在数据存储前对手机号、身份证号、Token、账号、IP 或业务敏感字段做替换。 原始日志不好查？先把关键字段解析出来 Pipeline 支持在 DataKit 本地或中心侧对数据进行解析、提取、修改、过滤和聚合。团队可以把 message 中的 host、service、status、duration、trace_id 等信息转成字段或标签，让后续检索、告警和聚合分析更稳定。 查看文档 字段统一后，日志才能和指标、链路、网络关联 处理后的数据结构更清晰，可以按统一字段过滤、分组和聚合。例如把日志中的服务名、主机、状态码和请求路径标准化后，就能继续关联 APM Trace、基础设施指标、BPF 网络日志和告警事件。 查看文档 敏感信息不能入库？在处理链路前置脱敏 Pipeline 可以在数据存储前对手机号、身份证号、Token、账号、IP 或业务敏感字段做替换、删除或加密处理。对安全、合规和多团队协作场景来说，越早完成脱敏，后续检索和共享越可控。 查看文档 常见问题 Pipeline 数据处理主要解决什么问题？ Pipeline 用于在数据入库前解析原始日志和观测数据，完成字段提取、格式转换、过滤、脱敏和标准化，让后续检索、告警、聚合和关联分析更准确。 Pipeline 可以处理哪些数据？ Pipeline 可以处理日志、指标、对象、链路、网络等多类观测数据，常见场景包括解析 service、host、status、duration、trace_id 等字段，并统一字段命名和类型。 为什么要在入库前做数据脱敏？ 在入库前脱敏可以避免手机号、身份证号、Token、账号等敏感信息进入后续查询、共享和归档链路，从源头降低数据泄露和合规风险。 相关阅读 强大日志查看器，助力数据联动分析 观测云查看器强大的查询筛选和搜索功能，能够帮助用户快速、精准地检索数据，定位故障问题。日志查看器不仅可以帮助我们收集和管理各种日志文件，还可以与多方数据进行关联分析，为用户提供更全面和准确的数据信息，支持企业高效决策。 产品功能 利用观测云打造企业级的统一日志中心 观测云秉承“统一采集、统一处理、统一分析”的理念，构建了一套高效的观测数据分析平台。本文从日志采集、处理、存储、分析的各个过程，分别观测云如何帮助企业又快又好地建设统一日志中心。 最佳实践 Pipeline 助您轻松驾驭海量数据！ 数据治理在当今信息时代变得至关重要。随着数据量的不断增长和多样化，组织需要有效地管理和利用这些数据，以支持业务决策和创新发展。不论是做数据分析还是数据解析，利用 Pipeline 可以帮助组织实现数据治理的自动化和规范化；为组织提供更清晰、更可操作的数据视图，从而有力支持数据治理。 产品功能 观测云 VS ELK：谁是日志监控的王者？ 本文在数据采集、数据存储、数据查询、数据可视化以及使用成本等多个维度，对观测云和 ELK 进行了细致分析，为用户选择提供参考。 行业洞见 AI 原生可观测，始于此真正的 AIOps，统一监控观测与数据安全基础服务 开始使用免费版