728x90 반응형 AI & Data Science AI & DS 기술 면접 - ML 보호되어 있는 글입니다. 데이터 분석 과제 정리 보호되어 있는 글입니다. AI & Data Science 2023. 6. 24. 2023 스마트 빌딩 빅데이터 분석 경진대회 후기 (최우수상 수상) 교내 게시판을 보고 대회에 참가하게 됐다. 주어진 데이터로 인공지능 모델을 제작하는 대회였다. 주제는 IoT 센서를 통해서 수집된 실내 데이터(Co2, 온도, 미세먼지 농도 등등 대략 10개 이상의 특성들)를 바탕으로 실내 재실인원을 예측하는 모델을 제작하는 대회였다. 데이터셋을 받기 전 까지는 라벨링 된 인원수 숫자가 커서 회귀 문제라고 예측했으나 실제로는 0~6 사이의 정수 라벨링이라서 분류 문제로 진행했다. https://github.com/BanApp/SmartBuilding-BigData-Competition GitHub - BanApp/SmartBuilding-BigData-Competition: 2023년 스마트빌딩 빅데이터 분석 경진대회(최우수상):1st_pl 2023년 스마트빌딩 빅데이터.. AI & Data Science 2023. 4. 18. IoT 중간고사 정리 뉴럴 네트워크는 인간의 시냅스를 본떠서 만든 인공 신경망이다. 가중치: 입력값에 따른 중요도를 의미한다. 손실함수가 최소가 되는 방향으로 값을 수정해 간다. 가중합: sum(입력값 * 가중치) 를 의미한다. 편향(bias): 가중합에 더해주는 상수이다. 초기에는 랜덤값으로 주어진다. 학습을 하면서 역전파를 통해서 bias 값을 수정해 간다. 이는 loss function이 최소가 되는 방향으로 진행된다. 활성화 함수를 좌우로 움직여서 다양한 학습을 가능하도록 한다. 활성화 함수: 활성화 함수는 비선형성을 추가하여 복잡한 문제를 다룰 수 있도록 한다. 뉴럴 네트워크의 출력값을 제한해서 모델의 안정성을 높인다. 역전파 알고리즘: 편미분을 사용한다. loss function의 기울기를 계산하고 각 가중치와 편.. AI & Data Science 2023. 4. 1. CNN CNN) CNN은 Convolutional Neural Network의 약자로, 이미지, 비디오, 음성 등과 같은 다양한 유형의 데이터를 처리하고 분류하는 데 사용되는 딥러닝 모델입니다. CNN은 이미지 분류, 객체 감지 및 분할, 얼굴 인식, 자율 주행 등 다양한 분야에서 활용됩니다. CNN은 주로 Convolutional Layer, Pooling Layer, Fully Connected Layer로 구성됩니다. CNN은 기본적으로 Convolution layer -> Pooling layer-> FC layer 순서로 진행이 된다. Convolutional Layer: Convolutional Layer는 이미지의 특징을 추출하는 데 가장 중요한 역할을 한다. 각각의 Convolutional Lay.. AI & Data Science 2023. 1. 29. Isolation Forest 현재 연구실 프로젝트로 cilium hubble을 이용해서 네트워크 플로우 데이터를 수집하고 해당 데이터를 사용해서 Anomaly Detection을 수행하는 모델을 만들고 있다. Anomaly detection은 대다수의 정상 데이터들과 다른 양상을 보이는 희귀한 케이스를 탐지하는 걸 목표로 하는 Machine Learning의 연구분야 중 하나이다. Anomaly Detection은 데이터 자체가 굉장히 imbalanced 하다. 이상 신호가 빈번하게 발생하면 그것은 이상 신호가 아니다. 또한 데이터의 양이 굉장히 많기 때문에 지도학습이 아닌 비지도 학습으로 접근하는 경우가 많다. Isolation Forest 모델은 computational cost가 linear 하다고 한다. 즉 데이터의 양에 비.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 4. Least-Squares, Normal Equation 최소제곱해(Least-Squares)와 정규방정식(Normal Equation)을 정리한다. 선형대수 수업에서 공부했던 내용이지만 많이 까먹어서 다시 공부해서 정리해 본다. 우선 The Best Approximation Theorem 이란 것이 있다. 우리는 어떠한 벡터를 찾고자 할 때, 낮은 차원에서 찾고자 하는 벡터와 가장 가까운 벡터를 찾는 것에 관심이 있다. 위와 같은 정리를 통해서 실수 공간에서 벡터와 해당 차원보다 낮은 차원에서 가장 가까운 벡터를 찾기 위해서는 Orthogonal Projection(정사영)을 이용하면 된다는 것이다. 위는 주어진 식을 행렬로 표현한 것이다. Ax는 A의 Column Space에 속하는 것이 확실하다. 그러나 b가 그렇다는 보장은 없다. 만약에 b가 A의 열공.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 3. Optimization(최적화) GD,Adam 머신러닝, 딥러닝에서 굉장히 중요한 역할을 하는 optimizer가 있다. 머신러닝 모델은 굉장히 복잡하기 때문에 앞서 언급한 loss function 혹은 cost function이 최소가 되는 지점을 찾는 것이 쉽지 않다. 최솟값을 찾아가는 과정을 최적화(Optimization)라고 부른다. 이를 수행하는 알고리즘을 학습 알고리즘이라고 한다. 이러한 이유로 학습 알고리즘(Optimizer)을 사용한다. 대부분의 학습 알고리즘의 방법은 미분을 통해서 gradient를 구한 후 해당 방향의 반대 방향(음수)으로 점진적으로 나아가 최적확사 되는 값을 찾는 형태이다. 대표적으로 경사하강법(Gradient Descent)과 역전파(Backpropgation) 알고리즘이 존재한다. 옵티마이저는 굉장히 많다. 요.. AI & Data Science/LG Aimers 2023. 1. 14. 3. 지도학습(회귀,분류) - 2. Hypothesis, Cost Function 비용함수(cost function)는 손실함수(loss function), 목적함수(objective function)이라고 부른다. 비용함수란 최적화 이론에 기반을 둔 함수이다. 신경망의 지도학습에 사용된다. 지도학습은 오차가 최소인 가중치를 구하는 것을 목적으로 한다. 이때 신경망의 오차를 측정하는 척도가 바로 비용함수다. 신경망의 오차가 크면 비용함수의 값도 크고 신경망의 오차가 작으면 비용함수도 작은 값을 갖는다. 즉 비용함수는 신경망의 오차에 비례한다. 학습 알고리즘에 Training Set을 넣게 되면 알고리즘은 해당 데이터를 바탕으로 가설함수(Hypothesis) h를 제시한다. 알고리즘이 잘 만들어졌다면 새로운 데이터에 대해서 적절한 price 값을 도출해 줄 것이다. 가설 함수를 위처럼 .. 이전 1 2 3 4 다음 728x90 반응형
