OpenSource3 Kafka없이 Logstash만 써도 될까? 안녕하세요, 기린입니다. 이번에 간단하게 시스템 로그를 수집 후 모니터링하는 시스템을 구축해보았는데요. 조사한 내용 중에 좋은 글이 있어 공유하고자 합니다. 0. 모니터링 시스템 구조 대부분의 기업에서 많이 쓰는 모니터링 시스템 구조입니다. Beats로 로그를 수집해 Kafka로 보내고 Logstash가 Kafka의 로그를 가져가 Elasticsearch에 저장. Kibana로 저장된 데이터를 시각화 해주는 구조입니다. 저도 이게 당연한 구조인 줄 알았는데요. Logstash를 알아보다 보니 굳이 Kafka를 써야할까? 라는 의문이 들었습니다. Logstash가 Kafka가 수행하는 메시지 브로커의 역할을 수행할 수 있게 하는 옵션을 가지고 있기 때문이었습니다. (참고) Kafka는 대용량의 실시간 로그.. 2022. 12. 5. WEB - WAS를 연동해서 쓰는 이유 안녕하세요! 오늘은 WEB/WAS에 관련된 내용입니다. 대부분의 회사에서 Web 서비스를 운영할 때 보통 WEB-WAS 구조로 많이 설계합니다. WEB-WAS 연동의 이유를 구글에 검색하면 “정적(html) 컨텐츠의 처리는 web이 더 빠르고 동적(DB 요청 등) 컨텐츠의 처리는 WAS가 빠르기 때문입니다.” 라는 내용이 대부분입니다. 절대 틀린 내용은 아닙니다. WAS 입장에서 모든 일을 혼자 처리하지 않고 Web에서 정적인 컨텐츠를 처리하는 것은 꼭 필요한 로직일 수 있습니다. 하지만 이 구조는 보는 관점에 따라서는 비효율적일 수 있겠습니다. WAS만으로 할 수 있는 일을 Web 서버까지 두어 자원의 손해 발생 외부에서의 Timeout 이외에 Web/WAS 사이에서 발생하는 내부 Timeout에 대한.. 2022. 3. 18. Elasticsearch가 왜 느려졌을까? 지난 XX월 저희 모니터링 서버가 느려지는 현상이 있었습니다. XX월 중순부터 진행한 “TMS기능” PoC로 Elasticsearch성능 저하 유발되었습니다. TMS는 네트워크 장비에서 각 포트별 Flow 정보를 분석하여 트래픽을 상세히 분석할 수 있는 기능인데, 해당 기능이 과도한 데이터 발생으로 성능통계(Elasticsearch)부분에 많은 부하를 발생하였습니다. XX 연구소와 같이 원인 분석하였지만 원인 파악은 안되었고, 해당 기능은 disable 되었습니다. ※ 해당 TMS기능은 ‘PRTG’ 등 대체 솔루션이 있으며, 이를 대신하여 검토 중입니다. 위 내용은 모니터링 서버 담당자의 원인 분석 메일입니다. Elasticsearch를 공부하고 있던 입자에서 해당 현상이 왜 생겼는지 궁금했습니다. 그래.. 2022. 2. 18. 이전 1 다음
