모니터링 서버 구축해보기-4

alertmanager가 설정됐으면 이걸 이제 받는 쪽이 있어야 함
웹훅을 이용해 슬랙으로 메시지가 가게 할 수 있다 그래서 슬랙을 사용함

우선 새 작업공간을 만들어주고 웹훅도 활성화하고 새 웹훅 주소를 만들어준다

새 앱을 만들기

웹훅 오는 거 허용

새 웹훅 주소 만들기

웹훅 채널 만들어 지정해주기

웹훅 URL 생김

그러면 URL이 이렇게 뜨는데 /etc/alertmanger/alertmanager.yml에 웹훅 주소를 넣어주면 됨

alertmanager.yml파일 설정해주기

그리고 시스템 재시작해서 적용시켜주고

[root@monitoring ~]# systemctl restart alertmanager

프로메테우스 쪽에서도 맞춰줘야 함

prometheus.yml 얼러팅이랑 룰파일 맞춰주기

alert 보낼 규칙을 지정하고 prometheus.yml에도 지정해줌 아까 본 700MiB 기준 메모리 사용량을 임의로 지정해줌

[root@monitoring ~]# vi /etc/prometheus/alert-test.yml
groups:
- name: memory_alerts
  rules:
  - alert: HostMemoryUsageCritical
    expr: node_memory_Active_bytes{job="wordpress-lemp"} > 700000000
    for: 1m
    labels:
      severity: 'critical'
    annotations:
      summary: 'Host memory usage is critical on {{ $labels.instance }}'
      description: 'Active memory is {{ $value }}bytes. (Limit 700MB)'

그리고 이것도 재시작

[root@monitoring ~]# systemctl restart prometheus

다시 브라우저로 들어가 프로메테우스에서 alert 연결이 된지 확인, 사용한 쿼리문이 그대로 뜨고 초록색으로 ok임

얼러트 연결

이제 슬랙을 켜고 아까 만든 메모리 하마 스크립트를 실행시키고 기다리면?

[root@Alma ~]# python3 main.py

여기 메시지가 올 것

여기는 메모리 부하 유도할 때 프로메테우스에서 빨갛게 불타는 게 보임

불타는 알림

 

알림 성공적

최종적으로는 이렇게 알림이 보내진 게 확인이 된다!