728x90 반응형 비지도학습 AI & Data Science 2023. 1. 29. Isolation Forest 현재 연구실 프로젝트로 cilium hubble을 이용해서 네트워크 플로우 데이터를 수집하고 해당 데이터를 사용해서 Anomaly Detection을 수행하는 모델을 만들고 있다. Anomaly detection은 대다수의 정상 데이터들과 다른 양상을 보이는 희귀한 케이스를 탐지하는 걸 목표로 하는 Machine Learning의 연구분야 중 하나이다. Anomaly Detection은 데이터 자체가 굉장히 imbalanced 하다. 이상 신호가 빈번하게 발생하면 그것은 이상 신호가 아니다. 또한 데이터의 양이 굉장히 많기 때문에 지도학습이 아닌 비지도 학습으로 접근하는 경우가 많다. Isolation Forest 모델은 computational cost가 linear 하다고 한다. 즉 데이터의 양에 비.. DevOps & Cloud 2023. 1. 21. 9. 인공지능 모델 학습 연구실 프로젝트 Season1 Ep9 모델을 선정하고 학습한다. 이상감지 모델에는 Isolation Forest라는 머신러닝 알고리즘이 많이 활용된다고 한다. 따라서 해당 알고리즘을 사용해서 모델을 만들고자 한다. 기본적으로 해당 알고리즘은 노드 구조를 굉장히 많이 반복해서 트리를 여러개 이어 붙인 것과 같다. 해당 알고리즘을 고른 이유는 feature가 많더라도 성능이 좋기 때문이다. 또한 비지도학습 이기 때문에 별도의 라벨링이 필요 없다. 참고: https://velog.io/@vvakki_/Isolation-Forest-미완성 Isolation Forest [Post No.002] Isolation Forest 개념 velog.io # 학습코드 import tensorflow as tf from s.. 이전 1 다음 728x90 반응형
