728x90 반응형 머신러닝 AI & Data Science 2023. 4. 1. CNN CNN) CNN은 Convolutional Neural Network의 약자로, 이미지, 비디오, 음성 등과 같은 다양한 유형의 데이터를 처리하고 분류하는 데 사용되는 딥러닝 모델입니다. CNN은 이미지 분류, 객체 감지 및 분할, 얼굴 인식, 자율 주행 등 다양한 분야에서 활용됩니다. CNN은 주로 Convolutional Layer, Pooling Layer, Fully Connected Layer로 구성됩니다. CNN은 기본적으로 Convolution layer -> Pooling layer-> FC layer 순서로 진행이 된다. Convolutional Layer: Convolutional Layer는 이미지의 특징을 추출하는 데 가장 중요한 역할을 한다. 각각의 Convolutional Lay.. AI & Data Science 2023. 1. 29. Isolation Forest 현재 연구실 프로젝트로 cilium hubble을 이용해서 네트워크 플로우 데이터를 수집하고 해당 데이터를 사용해서 Anomaly Detection을 수행하는 모델을 만들고 있다. Anomaly detection은 대다수의 정상 데이터들과 다른 양상을 보이는 희귀한 케이스를 탐지하는 걸 목표로 하는 Machine Learning의 연구분야 중 하나이다. Anomaly Detection은 데이터 자체가 굉장히 imbalanced 하다. 이상 신호가 빈번하게 발생하면 그것은 이상 신호가 아니다. 또한 데이터의 양이 굉장히 많기 때문에 지도학습이 아닌 비지도 학습으로 접근하는 경우가 많다. Isolation Forest 모델은 computational cost가 linear 하다고 한다. 즉 데이터의 양에 비.. DevOps & Cloud 2023. 1. 21. 9. 인공지능 모델 학습 연구실 프로젝트 Season1 Ep9 모델을 선정하고 학습한다. 이상감지 모델에는 Isolation Forest라는 머신러닝 알고리즘이 많이 활용된다고 한다. 따라서 해당 알고리즘을 사용해서 모델을 만들고자 한다. 기본적으로 해당 알고리즘은 노드 구조를 굉장히 많이 반복해서 트리를 여러개 이어 붙인 것과 같다. 해당 알고리즘을 고른 이유는 feature가 많더라도 성능이 좋기 때문이다. 또한 비지도학습 이기 때문에 별도의 라벨링이 필요 없다. 참고: https://velog.io/@vvakki_/Isolation-Forest-미완성 Isolation Forest [Post No.002] Isolation Forest 개념 velog.io # 학습코드 import tensorflow as tf from s.. DevOps & Cloud 2023. 1. 20. 8. 데이터 파이프라인 연구실 프로젝트 Season1 Ep8 Change Stream은 MongoDB의 변경을 애플리케이션에 실시간으로 전달해 주는 기능으로, MongoDB v3.6에 추가되었다. MongoDB가 Publisher, 애플리케이션이 Subscriber가 되는 형태이다. 애플리케이션은 데이터의 변경을 전달받아서, 목적에 따라 여러 가지 작업을 수행할 수 있다. 예를 들면, 데이터 변경에 대한 알림 메일을 전송한다거나, 데이터 분석을 위해 별도 시스템으로 데이터를 전송하는 것이다. while 1 안에서 collection.watch() 함수에 새로운 데이터가 추가된 것이 포착되면 해당 데이터를 change_stream에 반환한다.이렇게 하면 실시간으로 데이터 파이프라인 처럼 구현이 가능하다. 또한 해당 스트림을 사용.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 4. Least-Squares, Normal Equation 최소제곱해(Least-Squares)와 정규방정식(Normal Equation)을 정리한다. 선형대수 수업에서 공부했던 내용이지만 많이 까먹어서 다시 공부해서 정리해 본다. 우선 The Best Approximation Theorem 이란 것이 있다. 우리는 어떠한 벡터를 찾고자 할 때, 낮은 차원에서 찾고자 하는 벡터와 가장 가까운 벡터를 찾는 것에 관심이 있다. 위와 같은 정리를 통해서 실수 공간에서 벡터와 해당 차원보다 낮은 차원에서 가장 가까운 벡터를 찾기 위해서는 Orthogonal Projection(정사영)을 이용하면 된다는 것이다. 위는 주어진 식을 행렬로 표현한 것이다. Ax는 A의 Column Space에 속하는 것이 확실하다. 그러나 b가 그렇다는 보장은 없다. 만약에 b가 A의 열공.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 3. Optimization(최적화) GD,Adam 머신러닝, 딥러닝에서 굉장히 중요한 역할을 하는 optimizer가 있다. 머신러닝 모델은 굉장히 복잡하기 때문에 앞서 언급한 loss function 혹은 cost function이 최소가 되는 지점을 찾는 것이 쉽지 않다. 최솟값을 찾아가는 과정을 최적화(Optimization)라고 부른다. 이를 수행하는 알고리즘을 학습 알고리즘이라고 한다. 이러한 이유로 학습 알고리즘(Optimizer)을 사용한다. 대부분의 학습 알고리즘의 방법은 미분을 통해서 gradient를 구한 후 해당 방향의 반대 방향(음수)으로 점진적으로 나아가 최적확사 되는 값을 찾는 형태이다. 대표적으로 경사하강법(Gradient Descent)과 역전파(Backpropgation) 알고리즘이 존재한다. 옵티마이저는 굉장히 많다. 요.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 2. Hypothesis, Cost Function 비용함수(cost function)는 손실함수(loss function), 목적함수(objective function)이라고 부른다. 비용함수란 최적화 이론에 기반을 둔 함수이다. 신경망의 지도학습에 사용된다. 지도학습은 오차가 최소인 가중치를 구하는 것을 목적으로 한다. 이때 신경망의 오차를 측정하는 척도가 바로 비용함수다. 신경망의 오차가 크면 비용함수의 값도 크고 신경망의 오차가 작으면 비용함수도 작은 값을 갖는다. 즉 비용함수는 신경망의 오차에 비례한다. 학습 알고리즘에 Training Set을 넣게 되면 알고리즘은 해당 데이터를 바탕으로 가설함수(Hypothesis) h를 제시한다. 알고리즘이 잘 만들어졌다면 새로운 데이터에 대해서 적절한 price 값을 도출해 줄 것이다. 가설 함수를 위처럼 .. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 1. linear Regression, Bias, Variance, Drop out 머신러닝은 크게 3가지로 구분 가능하다. 1. 지도 학습 2. 비지도 학습 3. 강화 학습 지도학습이란 정답을 알려주고 학습시키는 머신러닝 학습 방법이다. 입, 출력 데이터를 포함한 훈련데이터가 존재하고 새로운 데이터에 대한 출력을 예측한다. 이때 여러 데이터에 대해 여러 개의 값 중 하나를 도출해 내는 분류와 데이터 분석을 특징을 통해 답을 찾아내는 회귀가 있다. 분류는 데이터 군집화를 통해서 데이터가 속해있는 군집을 찾고 분류하고, 회귀는 통계적 방법으로 찾는다. 분류는 이중 분류와 다중 분류 문제가 있다. 이중 분류 문제는 보통 참/거짓으로 생각하면 되고 다중분류는 여러 개의 분류 중 하나를 고르는 것이다. 결론적으로 분류 문제는 예측 결과 값이 연속적이지 않고 이산값(discrete)이다. 회귀는.. 이전 1 다음 728x90 반응형
