본문 바로가기
728x90
반응형

쿠버네티스

DevOps & Cloud 2023. 1. 21. 9. 인공지능 모델 학습 연구실 프로젝트 Season1 Ep9 모델을 선정하고 학습한다. 이상감지 모델에는 Isolation Forest라는 머신러닝 알고리즘이 많이 활용된다고 한다. 따라서 해당 알고리즘을 사용해서 모델을 만들고자 한다. 기본적으로 해당 알고리즘은 노드 구조를 굉장히 많이 반복해서 트리를 여러개 이어 붙인 것과 같다. 해당 알고리즘을 고른 이유는 feature가 많더라도 성능이 좋기 때문이다. 또한 비지도학습 이기 때문에 별도의 라벨링이 필요 없다. 참고: https://velog.io/@vvakki_/Isolation-Forest-미완성 Isolation Forest [Post No.002] Isolation Forest 개념 velog.io # 학습코드 import tensorflow as tf from s..
DevOps & Cloud 2023. 1. 20. 8. 데이터 파이프라인 연구실 프로젝트 Season1 Ep8 Change Stream은 MongoDB의 변경을 애플리케이션에 실시간으로 전달해 주는 기능으로, MongoDB v3.6에 추가되었다. MongoDB가 Publisher, 애플리케이션이 Subscriber가 되는 형태이다. 애플리케이션은 데이터의 변경을 전달받아서, 목적에 따라 여러 가지 작업을 수행할 수 있다. 예를 들면, 데이터 변경에 대한 알림 메일을 전송한다거나, 데이터 분석을 위해 별도 시스템으로 데이터를 전송하는 것이다. while 1 안에서 collection.watch() 함수에 새로운 데이터가 추가된 것이 포착되면 해당 데이터를 change_stream에 반환한다.이렇게 하면 실시간으로 데이터 파이프라인 처럼 구현이 가능하다. 또한 해당 스트림을 사용..
7. 네트워크 로그 수집 자동화(Protobuf, gRPC)
DevOps & Cloud 2023. 1. 13. 7. 네트워크 로그 수집 자동화(Protobuf, gRPC) 연구실 프로젝트 Season1 Ep7 원래는 gRPC와 protobuf를 사용해서 cilium hubble과 통신해서 로그를 DB에 넣어주는 프로그램을 작성하려 했다. 아직 gRPC와 protobuf 및 네트워크에 대한 개념이 명확하지 않아서 어려운 부분이 좀 있다. 해당 부분은 공부가 더 필요하다. hubble_pb2_grpc.py 를 생성하는 명령어 $ python3 -m grpc_tools.protoc --proto_path=/home/ubuntu/pyproject --grpc_python_out=. hubble.proto hubble_pb2.py를 생성하는 명령어 $ python3 -m grpc_tools.protoc --proto_path=/home/ubuntu/pyproject --python..
DevOps & Cloud 2023. 1. 13. 6. Go & Mongo DB 연구실 프로젝트 Season1 Ep6 오늘은 프로그래밍 언어 중 Go와 MongoDB에 대해서 다뤄보고자 한다. Go와 MongoDB를 사용하는 이유는 다음과 같다. Step1의 전체적인 로드맵이다. 쿠버네티스 환경 구성 => Cilium CNI 설정 및 Hubble 설정 => Micro Service Demo Deploy(나는 sock shop 사용) => Hubble을 사용해서 sock-shop의 네트워크 로그 수집 => 수집된 네트워크 로그를 Recording 해서 Mongo DB에 저장하기(Go& MongoDB) 이번 게시글과 다음 게시글의 목표는 "수집된 네트워크 로그를 Recording 하는 프로그램을 제작하고 해당 프로그램을 사용해서 로그를 Mongo DB에 저장하기"다. 먼저 Go라는 언어..
5. sock-shop 과 XQuartz
DevOps & Cloud 2023. 1. 12. 5. sock-shop 과 XQuartz 연구실 프로젝트 Season1 Ep5 sock-shop이 뭔지는 chat-gpt에 물어봤다. "Sock-shop 은 오픈소스이며, Microservices 아키텍처를 구축하는 데 사용되는 샘플 애플리케이션입니다. 이 애플리케이션은 서비스들을 구성하는 데 사용되는 다양한 기술들을 보여주는 데 사용되고 있습니다. 이러한 서비스들은 온라인 쇼핑몰 구축에 필요한 서비스들로 구성되어 있으며, 예를 들면 카탈로그, 주문, 장바구니, 결제 등의 기능을 제공한다. Sock-shop 은 이러한 기능들을 제공하는 서비스들을 구성하는 동시에, 클라우드 인프라와 컨테이너 기반 애플리케이션을 쉽게 구축, 배포, 관리하는데 필요한 기술들을 보여주는 데 사용됩니다. 예를 들어, Kubernetes, Docker, Prometheu..
DevOps & Cloud 2023. 1. 12. 4. Hubble 연구실 프로젝트 Season1 Ep4 https://docs.cilium.io/en/v1.10/gettingstarted/hubble_setup/ Setting up Hubble Observability — Cilium 1.10.18 documentation In order to access the Hubble API, create a port forward to the Hubble service from your local machine. This will allow you to connect the Hubble client to the local port 4245 and access the Hubble Relay service in your Kubernetes cluster. For more info..
2. 쿠버네티스 설치 및 설정
DevOps & Cloud 2023. 1. 10. 2. 쿠버네티스 설치 및 설정 연구실 프로젝트 Season1 Ep2 출처: https://andrewpage.tistory.com/234 Ubuntu 22.04 에 쿠버네티스 설치하기 (Install Kubernetes) 참고: Kubernetes Cluster를 설치한 날짜는 2022년 12월 21일. Kubernetes cluster(쿠버네티스 클러스터) 구축을 도와주는 여러 도구(kubeadm, kubespray, kops)가 있다. 이 문서에는 그런 kubernetes cluster 구축 도구 중 andrewpage.tistory.com 출처: https://aoc55.tistory.com/54 쿠버네티스 :: GCP(VM)에 kubernetes Cluster 직접 구축하기 - 3 (23.01 수정) 목표 구글에서 제공하는 ..
728x90
반응형

티스토리툴바