使用Prometheus监控Cache集群
Executive Summary
生产级别的Cache集群往往由多个Cache实例组成，而Cache自带的管理界面不能满足对整个集群的监控，因此在实际使用中，往往需要投入人力对实例进行性能巡检。即便如此，这种巡检模式实时性低、告警的漏报错报率高、对既往数据追溯能力差。针对Cache/IRIS集群管理的这一缺憾，本文提出以Prometheus监控Cache集群的方案，最终实现了对集群全实例监控指标的自动化采集，以及准实时监控数据展示和告警提示。
Prometheus及Grafana简介
Prometheus是一个开源的监控收集框架。它内置了一个数据收集服务、一个时序数据库、和一个Web UI管理界面。
Prometheus采用PULL模式拉取监控数据，使得它在众多监控解决方案中脱颖而出。这种PULL模式只需被监控对象暴露出符合Prometheus要求的接口即可，而无需配置监控服务器地址，也无需管理定时任务，对应用程序的侵入性极小。
Prometheus也有一个健全的生态。它提供各种管理接口API，如自动服务发现、告警、查询等接口，和已有开源软件互操作性好，也方便接入机构内部系统。其中Grafana是最重要的生态伙伴，它是一个开源的数据可视化工具，支持动态的更改数据源、灵活地配置报表、编写Prometheus查询语句、定义告警等。因为这些特性，它常用于性能监控领域。
下图是Prometheus的典型架构，本文只关注其中红色部分。
Cache常用监控指标
本文总结了License使用量、Ensemble队列消息排队数量、事务持续时长、数据库可用空间，这4个常用的数值类型的监控指标，这四个指标直接影响或指示出系统的健康程度。以下是这四个指标的获取方法。
s LicenseUsed=##class(%SYSTEM.License).LUConsumed()
s LicenseAvailable=##class(%SYSTEM.License).LUAvailable()
s LicenseTotal=##class(%SYSTEM.License).GetUserLimit()
Set statement=##class(%SQL.Statement).%New(1)
Set sc=statement.%PrepareClassQuery("Ens.Queue","Enumerate")
Set rset=statement.%Execute()
set rs=##class(%ResultSet).%New()
set rs.ClassName="%SYS.Journal.Transaction"
set rs.QueryName="List"
set sc=rs.Execute(0)
Set statement=##class(%SQL.Statement).%New(1)
Set sc=statement.%PrepareClassQuery("%SYS.DatabaseQuery","FreeSpace")
Set rset=statement.%Execute()
Cache中Prometheus接口定义
本文实现了Prometheus接口。该接口中的jsonToPrometheus()方法将JSON转换为Prometheus需要的格式，为后期扩展出通用的Prometheus监控指标采集和埋点提供了基础。接口定义如下，
Class HospModule.HxeyPrometheusMetrics.RestController Extends %CSP.REST
{
XData UrlMap
{
<Routes>
<Route Url="/prometheus" Method="GET" Call="MetricsPrometheus" />
<Route Url="/json" Method="GET" Call="MetricsJson" />
</Routes>
}
ClassMethod MetricsPrometheus() As %Status
{
set %response.ContentType="text/plain;version=0.0.4;charset=utf-8"
s json=..getMetricsJson()
s iter=json.%GetIterator()
while iter.%GetNext(.key, .value) {
s promStr = ..jsonToPrometheus(value)
w promStr
}
return $$$OK
}
ClassMethod MetricsJson() As %Status
{
s json=..getMetricsJson()
w json.%ToJSON()
return $$$OK
}
/// Requires JSON format in this form: {"name":"hxey_ics_license_used","tags":[{"name","","value":""}],"desc":"已用License数","value":0}
ClassMethod jsonToPrometheus(json) As %String
{
s retStr = ""
s name=json.name
s desc=json.desc
s value=json.value
s tags=json.tags
s retStr = retStr_"# HELP "_name_" "_desc
s retStr = retStr_$CHAR(10)
s retStr = retStr_"# TYPE "_name_" gauge"
s retStr = retStr_$CHAR(10)
if (tags.%Size()=0) {
s retStr = retStr_name_" "_value
s retStr = retStr_$CHAR(10)
} else {
s retStr = retStr_name_"{"
s iter2=tags.%GetIterator()
while iter2.%GetNext(.key, .tag) {
s tagName=$REPLACE(tag.name,"""","")
s tagValue=$REPLACE(tag.value,"""","")
s retStr = retStr_tagName_"="""_tagValue_""","
}
s retStr = retStr_"} "_value
s retStr = retStr_$CHAR(10)
}
return retStr
}
ClassMethod getMetricsJson() As %DynamicAbstractObject
{
s json=[]
IF (##class(%Dictionary.CompiledClass).%ExistsId("%SYSTEM.License")) {
s LicenseUsed=##class(%SYSTEM.License).LUConsumed()
s item={"name":"hxey_ics_license_used","tags":"","desc":"已用License数","value":0}
s item.tags = []
s item.value = LicenseUsed
d json.%Push(item)
s LicenseAvailable=##class(%SYSTEM.License).LUAvailable()
s item={"name":"hxey_ics_license_avail","tags":"","desc":"可用License数","value":0}
s item.tags = []
s item.value = LicenseAvailable
d json.%Push(item)
s LicenseTotal=##class(%SYSTEM.License).GetUserLimit()
s item={"name":"hxey_ics_license_total","tags":"","desc":"License总量","value":0}
s item.tags = []
s item.value = LicenseTotal
d json.%Push(item)
s item={"name":"hxey_ics_license_load","tags":"","desc":"License占用率","value":0}
s item.tags = []
s item.value = (LicenseUsed/(LicenseAvailable+LicenseUsed))
d json.%Push(item)
}
s maxDuration=0
IF (##class(%Dictionary.CompiledClass).%ExistsId("%SYS.Journal.Transaction")) {
set rs=##class(%ResultSet).%New()
set rs.ClassName="%SYS.Journal.Transaction"
set rs.QueryName="List"
set sc=rs.Execute(0)
while (rs.%Next()) {
s pid = rs.Data("Pid")
s StartTime = rs.Data("StartTime")
s now=$H
s item={"name":"hxey_ics_transaction_duration","tags":"","desc":"事务持续时间","value":0}
s item.tags = []
s tag={}
s tag.name="pid"
s tag.value=pid
d item.tags.%Push(tag)
s tag={}
s tag.name="ip"
s tag.value=##class(%SYSTEM.Process).ClientIPAddress(pid)
d item.tags.%Push(tag)
s duration = (+now)*3600*24+$P(now,",",2)-((+StartTime)*3600*24+$P(StartTime,",",2))
s:duration>maxDuration maxDuration=duration
s item.value = duration
d json.%Push(item)
}
}
s item={"name":"hxey_ics_transaction_maxduration","tags":"","desc":"最长事务持续时间","value":0}
s item.tags = []
s item.value = maxDuration
d json.%Push(item)
IF (##class(%Dictionary.CompiledClass).%ExistsId("%SYS.DatabaseQuery")) {
Set statement=##class(%SQL.Statement).%New(1)
Set sc=statement.%PrepareClassQuery("%SYS.DatabaseQuery","FreeSpace")
Set rset=statement.%Execute()
while (rset.%Next()) {
s dbName = rset.%Get("DatabaseName")
s freeRate = rset.%GetData(7)
s dbAvailMB = rset.%Get("AvailableNum")
s diskAvailMB = rset.%Get("DiskFreeSpaceNum")
s item={"name":"hxey_ics_db_load","tags":"","desc":"数据库可用空间占用率","value":0}
s item.tags = []
s tag={}
s tag.name="name"
s tag.value=dbName
d item.tags.%Push(tag)
s item.value = (100-freeRate) / 100
d json.%Push(item)
}
}
IF (##class(%Dictionary.CompiledClass).%ExistsId("Ens.Queue")) {
Set statement=##class(%SQL.Statement).%New(1)
Set sc=statement.%PrepareClassQuery("Ens.Queue","Enumerate")
Set rset=statement.%Execute()
while (rset.%Next()) {
s name = rset.%Get("Name")
s count = rset.%Get("Count")
s item={"name":"hxey_ics_queue_load","tags":"","desc":"队列等待数量","value":0}
s item.tags = []
s tag={}
s tag.name="name"
s tag.value=name
d item.tags.%Push(tag)
s item.value = count
d json.%Push(item)
}
}
return json
}
}
接口服务配置如下，
安装并运行Prometheus
Prometheus下载地址为https://prometheus.io/download/。
安装过程如下，
安装并运行Grafana
Grafana下载地址为https://grafana.com/grafana/download?pg=oss-graf&plcmt=resources。
安装过程如下，
安装并运行Node Exporter
Prometheus生态中有一个Node Exporter，用于收集各操作系统的常用监控数据并暴露PULL接口。其下载地址和安装指南请参考https://grafana.com/oss/prometheus/exporters/node-exporter/
在实际应用时，Node Exporter提供的数据对不同操作系统略有差异，并且缺少必要的数据，例如与NTP时间服务器的时间偏置量。因此本文用Java实现了适合本机构的Node Exporter。为了实现稳定的跨操作系统的性能指标收集，使用 com.github.oshi:oshi-core:5.8.4库，示例代码如下，
public double getLoad() {
SystemInfo systemInfo = new SystemInfo();
double load1 = systemInfo.getHardware().getProcessor().getSystemCpuLoadBetweenTicks(ticks);
double load2 = systemInfo.getHardware().getProcessor().getSystemCpuLoadBetweenTicks(ticksLast);
return Math.max(load1, load2);
}
为了实现计算与NTP时间服务器的时间偏置量，使用commons-net:commons-net:3.8.0库，示例代码如下，
public long getOffset() {
NTPUDPClient ntpudpClient = new NTPUDPClient();
ntpudpClient.setDefaultTimeout(5000);
ntpudpClient.open();
System.out.println(System.currentTimeMillis());
InetAddress hostAddr = InetAddress.getByName(HOSTNAME);
final TimeInfo info = ntpudpClient.getTime(hostAddr);
ntpudpClient.close();
info.computeDetails();
return info.getOffset()
}
接口实现效果如下，
# HELP hxey_memory_load 内存负载率
# TYPE hxey_memory_load gauge
hxey_memory_load{application="sysmetrics",hxey="hxey",} 0.42
# HELP disk_total_bytes Total space for path
# TYPE disk_total_bytes gauge
disk_total_bytes{application="sysmetrics",hxey="hxey",path="C:\\Users\\Administrator\\Desktop\\servermetrics\\.",} 2.78802722816E11
# HELP hxey_memory_total 内存总大小
# TYPE hxey_memory_total gauge
hxey_memory_total{application="sysmetrics",hxey="hxey",} 4.0
# HELP system_cpu_count The number of processors available to the Java virtual machine
# TYPE system_cpu_count gauge
system_cpu_count{application="sysmetrics",hxey="hxey",} 2.0
# HELP hxey_timestamp 服务器时间戳
# TYPE hxey_timestamp gauge
hxey_timestamp{application="sysmetrics",hxey="hxey",} 1.664506300883E12
# HELP hxey_disk_used 硬盘使用大小
# TYPE hxey_disk_used gauge
hxey_disk_used{application="sysmetrics",disk_label="C:\\[]",hxey="hxey",} 27.38
hxey_disk_used{application="sysmetrics",disk_label="D:\\[]",hxey="hxey",} NaN
hxey_disk_used{application="sysmetrics",disk_label="A:\\[]",hxey="hxey",} NaN
# HELP hxey_disk_total 硬盘总大小
# TYPE hxey_disk_total gauge
hxey_disk_total{application="sysmetrics",disk_label="C:\\[]",hxey="hxey",} 259.66
hxey_disk_total{application="sysmetrics",disk_label="D:\\[]",hxey="hxey",} NaN
hxey_disk_total{application="sysmetrics",disk_label="A:\\[]",hxey="hxey",} NaN
结果
搭建完成的Prometheus监控框架，能够准实时的收集和展示Cache中事务、Lisence使用率、消息队列等待长度、数据库使用率，以及操作系统时间偏置量、磁盘使用率、CPU使用率、内存使用率等指标。
讨论
任何监控系统，都是定时采集的，采集得到的指标是对现实中的连续指标的一个抽样。管理人员不能通过监控指标定位到故障原因，甚至不能精确定位到故障的实际发生时间。
为了弥补监控指标的缺憾，后期应为Cache集群添加日志采集系统，如Loki日志采集工具，建立起监控指标的异常和日志输出的对应关系，让异常定位更准确。
.png)
.png)
.png)
它不会消失。它产生的子进程其实是可以使用$System.Process.Terminate(pid) 来结束，但是这样结束术后，它会有错误信息.png)
我的问题是如何正确的结束%SYSTEM.WorkMgr产生的子进程，如何避免服务器因此受到影响甚至宕机,为什么他会导致服务器出问题，有什么办法能再使用完成后，把 %SYSTEM.WorkMgr相关的进程正确的快速结束掉
.png)
,我不想让它访问这个 ensemble，请问我应该怎么配置权限资源
