전체 글 썸네일형 리스트형 [ElasticSearch] ElasticSearch 설계 (2023.03.28) 0. Table Of Contents 0. Table Of Contents 1. 설계에 반영되어야 하는 내용 2. Shard 및 Index 설계 3. Indice (ElasticSearch Data Modeling) 4. 데이터 시각화 1. 설계에 반영되어야 하는 내용 하나의 솔루션 데이터 뿐만 아니라 여러가지 솔루션의 데이터를 핸들링 할 수 있어야 한다. 불필요한 색인을 줄여 자원 사용량을 줄일 수 있어야 한다. 형태소 분석을 어떻게 할 것인지에 대한 전략을 작성할 수 있어야 한다. 2. Shard 및 Index 설계 설계시 생각해야 할 조건을 나열하면 아래와 같다.\ 이종간의 솔루션의 로그에 대해서 분석을 할 수 있어야 한다. ElasticSearch에서 권장하는 수준의 Shard 크기를 유지할 수 .. 더보기 [ElasticSearch] ElasticSearch Indice에 대해 실수한 기록(2023.03.16) 0. Table Of Contents 0. Table Of Contents 1. 하고자 하였던 내용 2. 문제 분석 3. 문제 해결 4. 결론 1. 하고자 하였던 내용 ElasticSearch에 test라는 index를 생성 후, kafka consumer eachBatch 기능을 이용하여 주기적으로 document를 insert하고 있다. 이 데이터들을 이용하여 아래와 같은 효과를 내고자 한다. 실시간 데이터 모니터링 데이터 통계 ML 분석 연계 (연구가 더 필요함) 그러나 데이터를 insert 하여 모니터링 그래프를 그리는데 아래와 같은 문제가 생겼다. 2. 문제 분석 일반적인 데이터베이스의 경우, 코드 상에서 schema를 선언하거나 사전에 schema를 fix하고 작업하기 때문에 data type.. 더보기 [Apache Kafka] Kafka 튜닝 기록 아카이빙 (2023.05.01) 0. Table Of Content 0. Table Of Content 1. Kafka Batch data produce 도중 발생 한 문제 2. 문제를 해결하기 위해 튜닝 해야 할 파라미터에 대한 추측 3. 조치 사항 1. Kafka Batch data produce 도중 발생 한 문제 {"level":"ERROR","timestamp":"2023-04-24T08:40:10.368Z","logger":"kafkajs","message":"[Connection] Response Produce(key: 0, version: 7)","broker":"211.49.126.109:9092","clientId":"rmkr","error":"The request included a message larger tha.. 더보기 이전 1 2 3 4 5 ··· 15 다음
