공부방/Elasticsearch (30) 썸네일형 리스트형 ghj 참고문서 https://www.elastic.co/guide/en/observability/7.9/metrics-connect-to-stack.html kibana - devtools 접속 210.122.44.71:5601 metricbeat index가 없는 상태 1. MetricBeat 설치 개발서버에는 7.9.1로 설치하였음 2. metricbeat 설정 변경 metricbeat.yml 파일 수정 output.elasticsearch: # elasticsearch hosts: ["localhost:9200"] #username: "metricbeat_internal" #password: "YOUR_PASSWORD" setup.kibana: host: "localhost:5601" #username:.. Prometheus + Grafana 1. 적용 방향 프로메테우스 - 메트릭을 수집하고 보관하는 DB 그라파나 - 프로메테우스를 통해서 데이터를 조회하고 보여주는 역할 프로메테우스가 어플리케이션의 메트릭을 가져갈 수 있도록, 애플리케이션에서 프로메테우스 포맷에 맞추어 메트릭 생성. 프로메테우스가 어플리케이션의 메트릭을 주기적으로 수집하도록 설정. 2. application.yaml 설정 변경 management: endpoints: web: exposure: include: "prometheus" 3. 프로메테우스 설치 2023.05.02 최신버전 프로메테우스를 다운 받습니다. 윈도우 운영체제를 이용하기 때문에 윈도우.zip 파일을 다운로드 받았습니다. 프로메테우스의 기본 포트는 9090이기 때문에 9090으로 접속해봅니다. localhos.. test BoolQueryBuilder builder = boolQuery(); if (StringUtils.isNotEmpty(coolineSubscriberVM.getReceiverSubServiceType())) { builder.must(matchQuery(CoolineStreamSubscriberForSearchField.SUB_SERVICE_TYPE, coolineSubscriberVM.getReceiverSubServiceType())); } query.filter(hasChildQuery(CoolineStreamForSearchField.COOLRECEIVER, builder, ScoreMode.None ).innerHit(innerHit)); elastic search manual elastic search setting 이 후, kibana setting 이 후 manual에서 제공하고 있는 데이터를 다운 받아서 실습해 보도록 하겠습니다. https://github.com/elastic/elasticsearch/blob/7.5/docs/src/test/resources/accounts.json [저장] 파일을 다운받고, bank index에 저장해 보겠습니다. curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk?pretty&refresh" --data-binary "@accounts.json" [인덱스 확인] bank라는 index가 생성이 되었는지 확인해 봅시다. curl "localhost:92.. elasticsearch - 질의(QueryDSL) term: 특정 필드에 특정 값을 가져오고 싶을 때 사용. terms: 특정 필드에 여러 값들 중 한개라도 존재하는 값을 가져고오 싶을 때 사용. match: 특정 필드에 여러 값들을 and 또는 or 조건을 이용하고 이에 만족하는 결과들만 가져올 때 사용. multi_match: 여러 필드에 여러 값들을 조합을 이용해서 가져오고 싶을 때 사용. match_phrase: 일치하는 문장이 속한 결과값을 가져오고 싶을 때 사용. 0. 연습 data 받아오기 검색 실습을 하기 위해 데이터를 입력하겠다. 입력할 데이터 예제 파일은 깃허브에서 내려받았다. https://github.com/wikibook/elasticsearch/blob/master/05.%EA%B2%80%EC%83%89/5_1_books.jso.. elastic search - 검색 검색 명령어에 대해 알아보기 전에 이전에 나왔던 elastic search 용어에 대해서 다시 한번 더 보고 넘어가도록 하자. 검색 방법에는 두가지가 존재한다. 1. URI를 이용한 검색 - q(query) - df(default field) - default_operator - _source - fields - sort - from 2. 리퀘스트 바디 검색 - size, from, fields - sort - partial_fields, fielddata_fields - highlight 자 이제 하나하나를 알아보고, 돌아와서 목차를 보면서 정리해보도록 하자. 0. 연습 data 받아오기 검색 실습을 하기 위해 데이터를 입력하겠다. 입력할 데이터 예제 파일은 깃허브에서 내려받았다. https://git.. elasticsearch - bucket 자료는 아래에서 확인할 수 있습니다. https://github.com/minsuk-heo/BigData/tree/master/ch04 group by 라고 보면 된다. 농구팀을 볼 때 A팀, B팀이 존재하는데 팀별로 값을 도출해 내고 싶을 대 사용하는 것이다. basketball_mappin.json 파일을 살펴보자. string -> text로 타입을 변경해 주었으며 https://stackoverflow.com/questions/47452770/no-handler-for-type-string-declared-on-field-name submit_date -> date로 변경을 해주었다. https://www.elastic.co/guide/en/elasticsearch/reference/current.. elasticsearch - metric aggregation 조합을 통해서 어떠한 값을 도출해낼때 metric aggregation을 사용합니다. 실습 자료 https://github.com/minsuk-heo/BigData/blob/master/ch03/simple_basketball.json 아래의 커맨드를 이용하여 데이터를 저장하고, 저장한 데이터를 조회합니다. curl -XPOST 'localhost:9200/_bulk?pretty' --header 'content-type:application/json' --data-binary @simple_basketball.json 데이터 조회 curl -XGET 'localhost:9200/basketball/record/_search?pretty' aggregation 파일의 내용은 아래와 같다. aggregat.. 이전 1 2 3 4 다음