黄泳：全链路监控在嘉银科技的落地实践

全链路监控告警在嘉银科技的落地实践分享人: 黄泳全面负责嘉银科技的SRE部门工作• 主导嘉银科技的AIOPS全链路可观测• 灰度发布CICD工具流程设计• CMDB&ITSM产品架构设计• 智能运维平台开发建设黄泳公司职位上海嘉银科技SRE负责人G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站目录G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银监控架构设计嘉银告警管理嘉银智能可观测实践未来展望嘉银监控架构设计01G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银科技基础设施概览物理服务器1100+虚拟机6000+Pod数量3000+微服务2000+G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银复杂业务下的监控告警挑战告警风暴控制容量增长无法预测监控工具压力较大先知,先决,先行监控告警的滞后性多地域多环境数据规模庞大故障根因定位困难指标管理难度大低效告警太多故障处理时效长G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站监控告警平台建设l全面进入Prometheus时代l建设统一监控告警平台l接入skywalking，日志，公有云等数据源2021智能监控告警实践2023海量告警数据管理l引入CMDB数据仓，对监控告警资源识别l告警数据清洗、降噪l监控订阅，阈值调整研发自助式服务2022大模型应用l 积极探索大模型生态在智能化运维的实践l 提高智能化监控告警的场景覆盖率l 进一步丰富知识库和优化故障诊断系统2024嘉银智能监控发展历程l指标中心建设l多场景的智能巡检建设l故障自愈部分场景落地l引入知识库和故障诊断系统，根因分析并给出解决方案G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站基于VictoriaMetrics的Prometheus集群架构A机房B机房公有云PrometheusNode1PrometheusNode2PrometheusNode3AlertmanagerAlertmanagerKylinLBGrafanaAPIVictoriaMetricsVmalertPrometheus东南亚Prometheus非洲Prometheus北美VmalertConsulClusterConsulClusterConsulClusterVictoriaMetricsVictoriaMetrics嘉银告警管理02G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银监控告警流程Prometheusskywalking公有云监控日志监控监控数据源监控工具Kylin告警事件加工CMDB告警丰富告警过滤对象识别告警合并告警数据加工清洗对象关联知识库告警模板告警抑制告警分派二郎神告警策略分派策略告警派发告警订阅阈值调整告警屏蔽告警渠道企业微信电话告警卡片认领屏蔽告警事件处理引擎工作流引擎故障告警处理知识库沉淀故障UIOC监控告警全生命周期管理安全态势感知业务指标事件关联G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银统一监控告警平台建设告警WEB平台告警发送告警数据处理数据来源告警规则增加，更新告警WEB平台告警阈值按需设定告警规则管理告警展示告警统计分析告警生命周期告警屏蔽/认领/忽略告警停留时长SLA告警处理流程告警模板管理企业微信电话短信告警终端排班管理告警渠道管理告警分派策略告警认领告警数据清洗告警聚合（合并）告警抑制告警静默（主动）告警降噪Prometheus监控SkyWalking业务指标日志监控系统外部云平台统一监控告警平台——告警事件中心ITSM运维工单CMDBCI/CD事件变更墙智能巡检趋势预测G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站嘉银四层监控体系建设业务异常定位应用异常定位资源异常定位硬件异常定位借款进件资金路由A资金机构交易节点B交易节点A进件服务A配置A进件服务B风控服务B配置B风控服务AK8SPod A主机AK8SPod B主机B计算A存储A网络A防火墙A核心交换机A接入交换机A防火墙B核心交换机B接入交换机B计算B存储B网络B客户信息风控资金路由B依赖关系G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站告警过多的问题怎么解?告警噪音告警发散阈值不当G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站联动CMDB识别告警资源告警卡片示例CMDB元数据基础应用redis集群apollo集群网站域名k8s实例PostgreSQLredisredisredis部署环境名称空间redisredis主机主机主机主机主机k8s_clusterG O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站告警降噪流程设计告警降噪利器: 过滤,抑制,关联,合并低效事件干扰告警风暴噪音事件异动告警痛点配置智能降噪事件相似聚类类指标相似关联类关联规则挖掘类告警降噪流程设计告警事件告警关联CMDB例行维护变更发布资源识别ITSM工单事件变更墙CICD否否否先知，先决，先行嘉银智能可观测实践03G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站全面的数据决定智能化的起点日志数据链路数据指标数据剖析数据G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站优质的数据决定智能化的高度二郎神风控业务监控红警监控嘉银AIOPSPrometheus变更事件墙白泽终端溯源观测听云移动端观测前端埋点数据蔷薇微隔离观测SQLBattle变更事件墙ITSM天路CICD自动化运维智能告警告警收敛告警生命周期管理人工智能协同端到端可观测会话追踪全局拓扑持续剖析异构可观测数据源一站式全栈覆盖基础设施监控应用监控容器监控数据库监控网站监控雍和业务监控大数据埋点日志trace多告警源