Grafana+钉钉告警之小细节

简述

依托于多数据源的特性,Grafana可以说是运维监控中不可缺少的一环,可以将运维过程中隔离的数据进行集中展示,如:Zabbix主机资源、ELK流量、MySQL运营数据、容器监控等等。

其中Grafana最新版本v8.0对告警系统的重构,也足以看出官方对Grafana在监控告警方面的重视。另外,阿里云云监控、蓝鲸监控等场景也都有Grafana的影子,也说明了用户对其不同程度的依赖。

言归正传,对于Grafana钉钉告警不是什么新鲜事,关键在于当grafana告警渠道配置”Include image”,而此时grafana又位于内网服务器无法上网,钉钉告警如何包含图片截图,就成了我们需要面对的问题。

告警渠道

1.钉钉添加机器人

新建“统一监控告警平台”,通过“智能群助手”添加钉钉机器人,一般选择 自定义(通过Webhook接入自定义服务)类型的机器人。

2.Grafana添加钉钉告警渠道

“Alerting”—“Notification channels”—“New channel”,新建告警渠道。

其中:

Url  为钉钉机器人的Webhook地址;

Message Type 为消息类型,我们选择AutoCard;

告警设置,我们选择”Include image”,告警包含截图并关闭问题解决信息;

图片渲染

当告警渠道开启”Include image”,意味着Grafana需要与警报规则关联dashboard呈现为 PNG 图像,并将其包含在通知中,此时就需要配置图片渲染功能。

图片渲染需要额外安装一个在后台运行的插件,将渲染面板和仪表板处理为 PNG 图像。

图片渲染服务的部署直接通过grafana-cli直接安装或Docker安装,部署位置可以是本机或者远程服务器,比较灵活。

1. 安装插件

2.图片渲染

在dashboard中”share”—“Direct link rendered image” 可渲染图片。

注意:默认配置下,Link URL的地址”http://localhost:3000″。若要更改其地址,需要修改相应的配置文件,请继续往下看。

上图是渲染生成的图片,默认存放位置为”/var/lib/grafana/png”。

如果图片的标题“流量测试”为乱码,则原因可能有以下两种:

时区及语言不对;

系统中没有中文字体;

注意: 一般情况下在修改时区及语言无效后,可考虑是缺少字体问题导致。

可通过以下方式解决:

3.配置文件

另外,渲染的图片每10分钟后自动清理,我们可以通过调整” temp-data-lifetime ” 参数来重新定义清理时间。

钉钉告警

钉钉告警关键在于,当grafana服务器在内网并且无法访问公网,此时钉钉就无法获取渲染的图片。而官网文档的解决方式是将渲染图片上传至可公网访问的外部图像存储,这样钉钉就可以直接访问外部图像存储来解决图片无法访问的问题。

Grafana支持的存储有s3、webdav、gcs、azure_blob、local,我们一般使用local本地存储,那么我们如何解决公网访问问题呢?

1.公网nginx代理

相信我们的生产环境肯定会有统一的公网nginx访问入口,我们只需要做一层代理即可。

vim grafana.test.com.confserver { listen 80;    listen 443 ssl;    server_name grafana.test.com;    underscores_in_headers on;    ssl_certificate ssl/server.crt;    ssl_certificate_key ssl/server.key;    location / {        proxy_pass http://10.16.202.250:3000;    }    }

2.grafana配置

vim /usr/share/grafana/defaults.ini[server]protocol = http

经以上配置,就能解决公网访问grafana问题。一旦触发告警阈值,钉钉就会报警。

此时由于钉钉没有访问到图片,因此是404。此时需要开启的local本地存储。

vim /usr/share/grafana/defaults.ini[external_image_storage]provider = local

总结

Grafana+钉钉只是告警渠道的其中之一,这种方式没有告警收敛、告警静默等功能,如果阈值设置不合适,很容易导致告警泛滥。因此我们还可以使用alertmanager告警渠道,具体配置请参看《grafana+alertmanager实现微信报警》。

另外,如果grafana的访问考虑到安全问题,不想完全对外开放,需要在nginx设置黑白名单,此时首先要允许钉钉公网IP可以访问,否则告警时图片不会正常显示。

事件推送网关:让cmdb告别“花瓶”

运维思索:cmdb打通zabbix、jumpserver探索

蓝鲸实现多环境vsphere虚拟机交付

ansible自动化:操作系统初始化具体实现

K8SEASY:一键安装K8S高可用集群

运维思索:如何纳管服务器实现统一登录

 

Grafana+钉钉告警之小细节》来自互联网,仅为收藏学习,如侵权请联系删除。本文URL:https://www.hashtobe.com/1005.html