팀 프로젝트/PC 로그 이상탐지(2023한이음) 2

[한이음 23_HI041] PC로그 이상탐지 KPT 회고

*KEEP 실시간 데이터 처리를 위해 Kafka를 사용하여 동시다발적으로 여러 프로세스를 처리해 본 점이 좋았다. 이번에 익힌 Kafka를 사용하여 다양한 프로젝트를 경험해 보고 최적화까지 도전해 봐야겠다. DynamoDB를 사용하여 NoSQL에 대해서 경험해 본 것도 나에게 좋았던 것 같다. 이번 프로젝트를 진행하면서 다른 한이음 프로젝트들과 동일하게 문서 작업의 중요성을 알게 되었다. 특히 일정 관리와 추구하는 목표 역할 나눔에 있어서 잘 만들어진 문서 작업은 큰 도움을 줄 수 있다는 것을 알 수 있었다. 학교에서 했던 팀 프로젝트를 제외하고 처음으로 팀 프로젝트를 진행했는데 긴 호흡의 프로젝트여서 그런지 정리해야 할 것들도 많았고 서로 소통해야 했던 부분들도 많았다. 이번 프로젝트를 하면서 좀 더 ..

[한이음23_HI041] 프로젝트 요약

GitHub 링크: https://github.com/kyounghunJang/23_HI041 1. 프로젝트 소개 IT기술이 발전함에 따라 pc 내에서 관리해야 할 자원들이 많아지고 복잡해지고 있다. 이에 따라 pc에 이상이 발생할 경우 문제의 원인을 파악하기 어려운 현상이 발생한다. 사용자 pc를 안정적으로 운용하기 위해 pc에서 발생하는 성능 및 이벤트 로그 데이터를 수집 후 저장 및 시각화하는 서비스를 제작하려고 한다. 2. 적용기술 및 아키텍처 Isolation Forest: 이상치 탐지(anomaly detection)를 위한 기계 학습 알고리즘 모델이다. 이 알고리즘은 특히 대규모 데이터 세트에 효과적이며, 이상치가 상대적으로 적은 경우에 특히 유용하다. 지표 모니터링: kibana를 사용하여..