Monitoring/Prometheus-Grafana13 로그(Log)모니터링 - Grafana Loki 란? Grafana Loki란 Grafana Loki는 로그 데이터를 수집, 저장 및 쿼리할 수 있는 오픈소스 로그 집계 시스템입니다. Grafana Labs에서 개발했으며, Prometheus의 원칙을 따르는 로그 시스템으로 설계되었습니다. Loki는 지표(metric) 중심의 Prometheus와 함께 사용되도록 설계되었으며, 주요 특징은 다음과 같습니다.인덱싱 최소화Elasticsearch와 같은 기존 로그 관리 시스템은 로그를 색인(index)하여 빠르게 검색할 수 있도록 합니다.Loki는 색인 정보를 최소화하고, 대신 로그를 Label(레이블) 기반으로 분류하여 저장합니다.로그 데이터 자체를 색인하지 않기 때문에 저장 비용이 적고, 성능이 우수합니다.Prometheus와 유사한 구조Promethe.. 2025. 4. 19. 프로메테우스(Prometheus) 의 고 가용성 - Thanos Prometheus 의 한계Prometheus는 단일 노드 시스템으로 설계되어 있어 클러스터링 구조를 직접 지원하지 않아서,다음과 같은 문제가 있습니다.확장성 문제단일 노드에서 모든 메트릭을 처리하려 할 때 노드의 자원이 고갈되어 성능 저하를 초래할 수 있다.대규모 인프라에서 많은 수의 메트릭을 수집하고 처리하는 데 있어 성능 저하와 저장소 부족 문제가 발생할 수 있다. 외부 스토리지 연결이 필요하다.고가용성 문제단일 노드에서 발생하는 장애나 다운타임이 생겨 프로메테우스 서버가 내려가면 그 시간 동안에는 메트릭을 수집할 수 없다.볼륨이 AWS EBS 를 사용해도 단일 노드에서만 연결이 가능하다. 연결 노드에 다운 타임이 발생하면 메트릭을 가져올 수 없다.즉 대규모 인프라를 감당하지못함+ 다운될 경우 그 .. 2025. 4. 19. [Prometheus - Grafana] - 11 BlackBox-exporter URL모니터링 실습 Blackbox-exporter란?Blackbox Exporter는 Prometheus에서 외부 시스템의 가용성과 응답성을 테스트(Probe) 하기 위한 오픈소스 Exporter입니다. 즉, 내부 메트릭을 보는 게 아니라, 외부에서 시스템을 ‘블랙박스’처럼 테스트해서 "잘 응답하는가?"를 확인하는 용도입니다.내부 상태(CPU, 메모리 등)를 수집하는 Exporter들과 달리,Blackbox Exporter는 HTTP, TCP, ICMP(Ping), DNS 요청을 외부에서 직접 보내보고 반응을 측정합니다. Blackbox-exporter 설치1)설정 파일 생성(Blackbox.yml) modules: http_2xx: prober: http timeout: 5s http: va.. 2025. 4. 19. [Prometheus - Grafana] - 10 cAdvisor-도커모니터링 실습 cAdvisor 설치cAdvisor은 Docker를 포함한 컨테이너의 리소스 사용량(CPU, 메모리, 디스크 I/O, 네트워크 등)**을 실시간으로 수집하고,웹 UI 또는 외부 시스템(Prometheus 등)에 제공하는 오픈소스 모니터링 도구입니다.Google에서 개발했고, Kubernetes 내부에 기본 내장되어 사용되기도 합니다. docker-compose.yml 파일 생성version: '3.8'services: cadvisor: image: gcr.io/cadvisor/cadvisor:latest hostname: cadvisor container_name: cadvisor ports: - 83:8080 #외부 포트설정은 자유 volumes: - /:.. 2025. 4. 19. [Prometheus - Grafana] - 9 Postgresql-exporter 실습 Docker-compose 구성이 글은 이미 postgresql및 prometheus가 설치가 되어있다는 가정하에 진행합니다.postgres exporter는 DB안정성을 위해 외부에 설치하여 메트릭데이터를 스크랩하도록 구성합니다.이를 위해 db접속정보를 입력합니다. (Postgres에서는 따로 설정 필요 X)version: "3.8"services: pgexporter: container_name: pgexporter image: prometheuscommunity/postgres-exporter ports: - "9187:9187" environment: - DATA_SOURCE_NAME=postgresql://[pg계정]:[pg계정 패스워드]@[pg접속 주소.. 2025. 4. 19. [Prometheus - Grafana] - 8 jmx-exporter(tomcat) 실습 JMX Exporter란Java 애플리케이션이 노출하는 JMX(Java Management Extensions) 메트릭을 Prometheus 형식으로 변환해주는 Exporter입니다. tomcat은 JAVA기반 어플리캐이션이므로 JMX를 지원합니다. JMX-exporter 설치 - tomcat서버 1) jmx-expoter 다운로드host서버에서 jmx-exporter를 다운로드합니다.wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.18.0/jmx_prometheus_javaagent-0.18.0.jar 2) config.yml파일을 작성합니다. ssl: falserules:- pattern: ".*" 해당.. 2025. 4. 19. [Prometheus - Grafana] - 6 그라파나 설치 (docker) Docker-compose YAML파일 작성version: "3.8"services: grafana: container_name: grafana image: grafana/grafana #docker hub에서 그라파나 이미지를 가져옵니다 ports: - "3000:3000" #외부포트는 서버 포트 상황에따라 변경합니다. 저장 후 docker-compose up -d 명령을 통해 빌드 및 실행합니다. Prometheus-Grafana 연동앞선 글에서 설치한 Prometheus와 Grafana를 연동합니다. 1)http://서버주소:3000 으로 그라파나에 접속합니다. ※ Grafana 관리자계정의 초기 ID와 PW는 admin입니다. 2) 메뉴를 열어서 Data sour.. 2025. 4. 19. [Prometheus - Grafana] - 5 그라파나(Grafana)란? 그라파나(Grafana)란?Grafana는 다양한 데이터 소스로부터 데이터를 추출해서 시각화하고 모니터링하는 오픈소스 대시보드 도구입니다. 주로 시계열 데이터와 로그 데이터를 다루는데, 데이터 소스로는 Prometheus, Elasticsearch, InfluxDB, Graphite 등이 있습니다. 그라파나(Grafana)의 특징1) 대시보드의 유연성그라파나는 대시보드 구성 옵션을 제공하여 사용자가 원하는 형태의 대시보드를 구성할 수 있습니다. 대시보드 내의 각 패널에 대해서도 많은 조정 옵션이 있어 사용자가 원하는 시각화 방식으로 데이터를 표현할 수 있습니다. 2) 시계열 데이터 처리 능력그라파나는 주로 시계열 데이터를 다루는데 특화되어 있습니다. 이를 위해 시계열 데이터에 대한 다양한 처리 기능을 제.. 2025. 4. 19. 이전 1 2 다음
