728x90 반응형 인공지능 AI & Data Science 2023. 6. 24. 2023 스마트 빌딩 빅데이터 분석 경진대회 후기 (최우수상 수상) 교내 게시판을 보고 대회에 참가하게 됐다. 주어진 데이터로 인공지능 모델을 제작하는 대회였다. 주제는 IoT 센서를 통해서 수집된 실내 데이터(Co2, 온도, 미세먼지 농도 등등 대략 10개 이상의 특성들)를 바탕으로 실내 재실인원을 예측하는 모델을 제작하는 대회였다. 데이터셋을 받기 전 까지는 라벨링 된 인원수 숫자가 커서 회귀 문제라고 예측했으나 실제로는 0~6 사이의 정수 라벨링이라서 분류 문제로 진행했다. https://github.com/BanApp/SmartBuilding-BigData-Competition GitHub - BanApp/SmartBuilding-BigData-Competition: 2023년 스마트빌딩 빅데이터 분석 경진대회(최우수상):1st_pl 2023년 스마트빌딩 빅데이터.. AI & Data Science 2023. 4. 1. CNN CNN) CNN은 Convolutional Neural Network의 약자로, 이미지, 비디오, 음성 등과 같은 다양한 유형의 데이터를 처리하고 분류하는 데 사용되는 딥러닝 모델입니다. CNN은 이미지 분류, 객체 감지 및 분할, 얼굴 인식, 자율 주행 등 다양한 분야에서 활용됩니다. CNN은 주로 Convolutional Layer, Pooling Layer, Fully Connected Layer로 구성됩니다. CNN은 기본적으로 Convolution layer -> Pooling layer-> FC layer 순서로 진행이 된다. Convolutional Layer: Convolutional Layer는 이미지의 특징을 추출하는 데 가장 중요한 역할을 한다. 각각의 Convolutional Lay.. AI & Data Science 2023. 1. 29. Isolation Forest 현재 연구실 프로젝트로 cilium hubble을 이용해서 네트워크 플로우 데이터를 수집하고 해당 데이터를 사용해서 Anomaly Detection을 수행하는 모델을 만들고 있다. Anomaly detection은 대다수의 정상 데이터들과 다른 양상을 보이는 희귀한 케이스를 탐지하는 걸 목표로 하는 Machine Learning의 연구분야 중 하나이다. Anomaly Detection은 데이터 자체가 굉장히 imbalanced 하다. 이상 신호가 빈번하게 발생하면 그것은 이상 신호가 아니다. 또한 데이터의 양이 굉장히 많기 때문에 지도학습이 아닌 비지도 학습으로 접근하는 경우가 많다. Isolation Forest 모델은 computational cost가 linear 하다고 한다. 즉 데이터의 양에 비.. DevOps & Cloud 2023. 1. 21. 9. 인공지능 모델 학습 연구실 프로젝트 Season1 Ep9 모델을 선정하고 학습한다. 이상감지 모델에는 Isolation Forest라는 머신러닝 알고리즘이 많이 활용된다고 한다. 따라서 해당 알고리즘을 사용해서 모델을 만들고자 한다. 기본적으로 해당 알고리즘은 노드 구조를 굉장히 많이 반복해서 트리를 여러개 이어 붙인 것과 같다. 해당 알고리즘을 고른 이유는 feature가 많더라도 성능이 좋기 때문이다. 또한 비지도학습 이기 때문에 별도의 라벨링이 필요 없다. 참고: https://velog.io/@vvakki_/Isolation-Forest-미완성 Isolation Forest [Post No.002] Isolation Forest 개념 velog.io # 학습코드 import tensorflow as tf from s.. DevOps & Cloud 2023. 1. 20. 8. 데이터 파이프라인 연구실 프로젝트 Season1 Ep8 Change Stream은 MongoDB의 변경을 애플리케이션에 실시간으로 전달해 주는 기능으로, MongoDB v3.6에 추가되었다. MongoDB가 Publisher, 애플리케이션이 Subscriber가 되는 형태이다. 애플리케이션은 데이터의 변경을 전달받아서, 목적에 따라 여러 가지 작업을 수행할 수 있다. 예를 들면, 데이터 변경에 대한 알림 메일을 전송한다거나, 데이터 분석을 위해 별도 시스템으로 데이터를 전송하는 것이다. while 1 안에서 collection.watch() 함수에 새로운 데이터가 추가된 것이 포착되면 해당 데이터를 change_stream에 반환한다.이렇게 하면 실시간으로 데이터 파이프라인 처럼 구현이 가능하다. 또한 해당 스트림을 사용.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 3. Optimization(최적화) GD,Adam 머신러닝, 딥러닝에서 굉장히 중요한 역할을 하는 optimizer가 있다. 머신러닝 모델은 굉장히 복잡하기 때문에 앞서 언급한 loss function 혹은 cost function이 최소가 되는 지점을 찾는 것이 쉽지 않다. 최솟값을 찾아가는 과정을 최적화(Optimization)라고 부른다. 이를 수행하는 알고리즘을 학습 알고리즘이라고 한다. 이러한 이유로 학습 알고리즘(Optimizer)을 사용한다. 대부분의 학습 알고리즘의 방법은 미분을 통해서 gradient를 구한 후 해당 방향의 반대 방향(음수)으로 점진적으로 나아가 최적확사 되는 값을 찾는 형태이다. 대표적으로 경사하강법(Gradient Descent)과 역전파(Backpropgation) 알고리즘이 존재한다. 옵티마이저는 굉장히 많다. 요.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 2. Hypothesis, Cost Function 비용함수(cost function)는 손실함수(loss function), 목적함수(objective function)이라고 부른다. 비용함수란 최적화 이론에 기반을 둔 함수이다. 신경망의 지도학습에 사용된다. 지도학습은 오차가 최소인 가중치를 구하는 것을 목적으로 한다. 이때 신경망의 오차를 측정하는 척도가 바로 비용함수다. 신경망의 오차가 크면 비용함수의 값도 크고 신경망의 오차가 작으면 비용함수도 작은 값을 갖는다. 즉 비용함수는 신경망의 오차에 비례한다. 학습 알고리즘에 Training Set을 넣게 되면 알고리즘은 해당 데이터를 바탕으로 가설함수(Hypothesis) h를 제시한다. 알고리즘이 잘 만들어졌다면 새로운 데이터에 대해서 적절한 price 값을 도출해 줄 것이다. 가설 함수를 위처럼 .. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 1. linear Regression, Bias, Variance, Drop out 머신러닝은 크게 3가지로 구분 가능하다. 1. 지도 학습 2. 비지도 학습 3. 강화 학습 지도학습이란 정답을 알려주고 학습시키는 머신러닝 학습 방법이다. 입, 출력 데이터를 포함한 훈련데이터가 존재하고 새로운 데이터에 대한 출력을 예측한다. 이때 여러 데이터에 대해 여러 개의 값 중 하나를 도출해 내는 분류와 데이터 분석을 특징을 통해 답을 찾아내는 회귀가 있다. 분류는 데이터 군집화를 통해서 데이터가 속해있는 군집을 찾고 분류하고, 회귀는 통계적 방법으로 찾는다. 분류는 이중 분류와 다중 분류 문제가 있다. 이중 분류 문제는 보통 참/거짓으로 생각하면 되고 다중분류는 여러 개의 분류 중 하나를 고르는 것이다. 결론적으로 분류 문제는 예측 결과 값이 연속적이지 않고 이산값(discrete)이다. 회귀는.. AI & Data Science 2022. 12. 26. 2022 제4회 매치업 스마트시티 아이디어톤(AI 서비스 부문) 후기 (장려상 수상) 단국대에서 주최, 주관하는 스마티시티 아이디어톤에 참가했다. AI를 활용해서 도시 문제를 해결할 수 있는 아이디어에 대해서 제시하는 대회였다. 생각보다 가벼운 마음으로 참여했었는데 본선까지 진출해버려서 좀 당황했다.. 결정적으로 결선은 발표영상만 내고 직접 발표하는 건 아닌 줄 알았다.. 결선이 아니라 그냥 시상식인 줄.. 결론적으로 상장 하나 더 받을 수 있어서 좋았다. 스마티시티에 대해서 생각해볼 수 있는 좋은 경험이었다..! 그러나 요즘 마음은 AI가 아닌 데이터사이언스 쪽으로 기울고 있다.. 인턴 하면서 hadoop, spark, AWS를 깊이 있게 공부해보고자 한다. https://github.com/BanApp/DKU_SmartCity_Ideathon GitHub - BanApp/DKU_Sma.. 이전 1 2 다음 728x90 반응형
