본문 바로가기
728x90
반응형

DevOps & Cloud

DevOps & Cloud 2023. 8. 10. 라즈베리파이에 몽고DB 설치 sudo apt update && sudo apt upgrade -y wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add - echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/4.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list #오류발생시 sudo killall apt apt-get sudo rm /var/lib/apt/lists/lock sudo rm /var/cache/apt/archives/lock sudo rm /var/lib/dp..
클라우드 컴퓨팅 정리
DevOps & Cloud 2023. 4. 13. 클라우드 컴퓨팅 정리 1장) 클라우드 컴퓨팅: 네트워크 상에서 서버 리소스를 사용자가 필요한 만큼 사용할 수 있도록 한다. 클라우트 컴퓨팅의 인기: 접근성, 확장성, 유연성, 비용 절감 특히 온프레미스보다 도입 비용, 운용 비용이 낮다. 데이터 센터(데이터 호텔): 기업 내 서버, 네트워크, 스토리지 및 비즈니스 운영을 지원하는 IT장비가 위치하는 물리시설 수평적 확장: IT 자원의 할당이나 배포 수직적 확장: IT 자원이 더 높거나 낮은 사양의 자원으로 교체(일반적 X) 클라우드 컴퓨팅의 유리한 점: 경제성, 유연성, 가용성, 구축속도 IaaS: Infra as a Service(가상화된 컴퓨팅 리소스, 네트워크 등등 제공) - AWS, Azure, Google Cloud PaaS: Platform as a Service(..
DevOps & Cloud 2023. 1. 21. 9. 인공지능 모델 학습 연구실 프로젝트 Season1 Ep9 모델을 선정하고 학습한다. 이상감지 모델에는 Isolation Forest라는 머신러닝 알고리즘이 많이 활용된다고 한다. 따라서 해당 알고리즘을 사용해서 모델을 만들고자 한다. 기본적으로 해당 알고리즘은 노드 구조를 굉장히 많이 반복해서 트리를 여러개 이어 붙인 것과 같다. 해당 알고리즘을 고른 이유는 feature가 많더라도 성능이 좋기 때문이다. 또한 비지도학습 이기 때문에 별도의 라벨링이 필요 없다. 참고: https://velog.io/@vvakki_/Isolation-Forest-미완성 Isolation Forest [Post No.002] Isolation Forest 개념 velog.io # 학습코드 import tensorflow as tf from s..
DevOps & Cloud 2023. 1. 20. 8. 데이터 파이프라인 연구실 프로젝트 Season1 Ep8 Change Stream은 MongoDB의 변경을 애플리케이션에 실시간으로 전달해 주는 기능으로, MongoDB v3.6에 추가되었다. MongoDB가 Publisher, 애플리케이션이 Subscriber가 되는 형태이다. 애플리케이션은 데이터의 변경을 전달받아서, 목적에 따라 여러 가지 작업을 수행할 수 있다. 예를 들면, 데이터 변경에 대한 알림 메일을 전송한다거나, 데이터 분석을 위해 별도 시스템으로 데이터를 전송하는 것이다. while 1 안에서 collection.watch() 함수에 새로운 데이터가 추가된 것이 포착되면 해당 데이터를 change_stream에 반환한다.이렇게 하면 실시간으로 데이터 파이프라인 처럼 구현이 가능하다. 또한 해당 스트림을 사용..
DevOps & Cloud 2023. 1. 18. 추천 프로젝트 By Chat GPT Chat GPT에게 내가 수집중인 데이터를 인공지능에 접목시켜서 사용할 수 있을지 물어봤다. 네트워크 이상 탐지: 네트워크 흐름 데이터는 네트워크 트래픽의 이상을 감지하기 위해 인공지능 모델을 훈련하는 데 사용될 수 있다. 네트워크에서 잠재적인 보안 위협 또는 성능 문제를 식별하는 데 사용할 수 있습니다. 트래픽 분류: 흐름 데이터는 HTTP, DNS 및 스트리밍 트래픽과 같은 다양한 유형의 네트워크 트래픽을 분류하기 위해 인공지능 모델을 훈련하는 데 사용될 수 있다. 이를 사용하여 네트워크 성능을 최적화하고 다양한 유형의 트래픽에 우선 순위를 지정할 수 있습니다. 엔드포인트 동작 분석: 흐름 데이터는 네트워크에서 포드 또는 서비스와 같은 개별 엔드포인트의 동작을 분석하는 데 사용할 수 있습니다. 이를 ..
7. 네트워크 로그 수집 자동화(Protobuf, gRPC)
DevOps & Cloud 2023. 1. 13. 7. 네트워크 로그 수집 자동화(Protobuf, gRPC) 연구실 프로젝트 Season1 Ep7 원래는 gRPC와 protobuf를 사용해서 cilium hubble과 통신해서 로그를 DB에 넣어주는 프로그램을 작성하려 했다. 아직 gRPC와 protobuf 및 네트워크에 대한 개념이 명확하지 않아서 어려운 부분이 좀 있다. 해당 부분은 공부가 더 필요하다. hubble_pb2_grpc.py 를 생성하는 명령어 $ python3 -m grpc_tools.protoc --proto_path=/home/ubuntu/pyproject --grpc_python_out=. hubble.proto hubble_pb2.py를 생성하는 명령어 $ python3 -m grpc_tools.protoc --proto_path=/home/ubuntu/pyproject --python..
DevOps & Cloud 2023. 1. 13. 6. Go & Mongo DB 연구실 프로젝트 Season1 Ep6 오늘은 프로그래밍 언어 중 Go와 MongoDB에 대해서 다뤄보고자 한다. Go와 MongoDB를 사용하는 이유는 다음과 같다. Step1의 전체적인 로드맵이다. 쿠버네티스 환경 구성 => Cilium CNI 설정 및 Hubble 설정 => Micro Service Demo Deploy(나는 sock shop 사용) => Hubble을 사용해서 sock-shop의 네트워크 로그 수집 => 수집된 네트워크 로그를 Recording 해서 Mongo DB에 저장하기(Go& MongoDB) 이번 게시글과 다음 게시글의 목표는 "수집된 네트워크 로그를 Recording 하는 프로그램을 제작하고 해당 프로그램을 사용해서 로그를 Mongo DB에 저장하기"다. 먼저 Go라는 언어..
5. sock-shop 과 XQuartz
DevOps & Cloud 2023. 1. 12. 5. sock-shop 과 XQuartz 연구실 프로젝트 Season1 Ep5 sock-shop이 뭔지는 chat-gpt에 물어봤다. "Sock-shop 은 오픈소스이며, Microservices 아키텍처를 구축하는 데 사용되는 샘플 애플리케이션입니다. 이 애플리케이션은 서비스들을 구성하는 데 사용되는 다양한 기술들을 보여주는 데 사용되고 있습니다. 이러한 서비스들은 온라인 쇼핑몰 구축에 필요한 서비스들로 구성되어 있으며, 예를 들면 카탈로그, 주문, 장바구니, 결제 등의 기능을 제공한다. Sock-shop 은 이러한 기능들을 제공하는 서비스들을 구성하는 동시에, 클라우드 인프라와 컨테이너 기반 애플리케이션을 쉽게 구축, 배포, 관리하는데 필요한 기술들을 보여주는 데 사용됩니다. 예를 들어, Kubernetes, Docker, Prometheu..
DevOps & Cloud 2023. 1. 12. 4. Hubble 연구실 프로젝트 Season1 Ep4 https://docs.cilium.io/en/v1.10/gettingstarted/hubble_setup/ Setting up Hubble Observability — Cilium 1.10.18 documentation In order to access the Hubble API, create a port forward to the Hubble service from your local machine. This will allow you to connect the Hubble client to the local port 4245 and access the Hubble Relay service in your Kubernetes cluster. For more info..
728x90
반응형

티스토리툴바