Grafana 설정하고 Slack 연계하기

Z CARE 수정 날짜: 월, 1월 2, 2023 시간: 4:56 PM

Grafana 설정하기

Grafana 대쉬보드에서 Opsgenie를 Notification Channel로 설정합니다.
1. Type : Opsgenie
2. API Key : Opsgenie에서 생성한 Grafana Integration의 API Key
3. Alert API Url : https://api.opsgenie.com/v2/alerts (Opsgenie의 Integration 화면에 표시됩니다.)
4. Send Test 버튼을 클릭하여 설정이 제대로 되었는 지 확인합니다. 제대로 설정되었다면 Opsgenie에서 설정한 대로 알림이 작동합니다.
  Test Notification의 경우, 항상 Alias가 alertId-0 으로 등록되며, Alias가 같을 경우 Opsgenie에서는 같은 알림으로 간주하여 알림을 발생시키지 않고 Alert의 카운트만 올라가게 됩니다. 같은 Alias를 가지고 있더라도 이전 Alert가 Close되면 신규 Alert로 발생됩니다.
알림을 받을 Dashboard의 차트에서 Edit 메뉴를 선택하고, Alert 탭에서 Alert 조건을 설정합니다.
1. 차트는 Variable을 포함한 Query로는 알림을 받을 수 없습니다. 알림 별 Static query가 존재해야 하며, Metrics 탭에서 설정할 수 있습니다.
2. 차트 1개당 1개의 알림만 설정 가능합니다..
3. 각 알림의 Message에 알림을 구분할 수 있는 키워드를 넣어두어, 알림 메시지로 수신자를 구분할 수 있도록 합니다.

Slash Command로 Alert 현황, On-call 담당자 등을 조회할 수 있습니다.
(https://docs.opsgenie.com/docs/slack-app-integration#section-using-genie-command)
- Slack에서 /genie connect 를 입력하고 Opsgenie 계정을 확인하면 사용자 연결이 완료됩니다.
이미 설정된 Slack Channel의 이름이 변경되면, 해당 Slack integration을 resynchronize하여 채널을 다시 지정해주어야 합니다.

Opsgenie 내 Alert 세부 내용입니다.

다음과 같은 메세지를 받게 됩니다.

[Grafana]: Test notification https://opsg.i n/a/t/skcc/9336

통화 녹음 00612565686080_180828_134010.m4a
- 첫 멘트 완료 후, 1번을 눌러서 Description을 듣고, 0번을 눌러 종료하는 시나리오입니다.
아무 번호도 누르지 않으면, 첫 번째 멘트를 반복적으로 들려줍니다.

국제전화라 번호를 선택하면 2초 정도의 딜레이 후 적용됩니다.

1번을 누르면, Alert의 내용을 들을 수 있습니다.
2번을 누르면, Alert를 종료합니다.
3번을 누르면, Alert를 acknowledge합니다(아직 Alert가 acknowledge되지 않았을 경우).
4번을 누르면, Alert가 다음 수신자에게로 넘어갑니다(적어도 하나의 escalation이 있을 경우).
- 단 한개의 active escalation만 있다면,다음 수신자에게 바로 넘어갑니다.
- 여러개의 escalation이 있다면, active escalation의 이름을 나열해주고 하나를 선택하도록 합니다.
5번을 누르면, phone을 통해 실행할 수 있는 custom action의 목록을 나열해줍니다.
6번을 누르면, Alert에 대한 모든 action을 acknowledge하기 시작합니다.
7번을 누르면, Alert에 대한 소유권을 가집니다(다른 누군가에 의해 Alert가 acknowledge되었을 경우만).
*를 누르면, option을 다시 들려줍니다.
0번을 누르면, 통화를 종료합니다.

Slack 채널에 표시되는 Opsgenie notification 예시입니다.