Skip to content

태그: tools

총 36개의 글이 있습니다.

큐 메세지 갯수 등 지정한 메트릭에 따라 스케일링하기 위해 사용 SacaledObject apiVersion: keda.sh/v1alpha1kind: ScaledObjectmetadata: name: demo namespace: inflearnspec: scaleTargetRef: name: demo apiVersion: {api-version-of-target-resource} Optional. Default: apps/v1 kind: {kind-of-target-resource} Optional. Default: Deployment triggers:

Argo Workflow Priority

1. Controller에서 Priority 추출 (controller.go) func getWfPriority(obj interface{}) (int32, time.Time) { un, ok := obj.(*unstructured.Unstructured) if !ok { return 0, time.Now() } priority, hasPriority, err := unstructured.NestedInt64(un.Object, "spec", "priority") if err != nil { return 0, un.GetCreationTimestamp().Time } if !hasPriority { priority = 0 }

Terminal window 기본 kubeconfig 사용$ k9s 기본이 아닌 kubeconfig 사용$ k9s --kubeconfig /path/to/kubeconfig 기본이 아닌 context 사용$ k9s --context fooctx 읽기 전용 모드$ k9s --readonly 정보 확인 (설정, 로그, 화면 덤프 위치)$ k9s info 리소스 목록 조회 특정 리소스 목록 조회: :&x3C;resource>: 리소스 목록 조회, 예: 모든 Pod 목록 조회하려면 :pod :&x3C;resource&x3C;namespace>: 특정 네임스페이스의 리소스 목록 조회: 리소스 목록 조회, 예: 모든 Pod 목록 조회하려면 :pod : : 특정 네임스페이스의 리소스 목록 조회">

ApplicationSets

Applications deployed and managed using the GitOps philosophy are often made of many files. There’s Kubernetes manifests for Deployments, Services, Secrets, ConfigMaps, and many more which all go into a Git repository to be revision controlled. Argo CD, the engine behind the OpenShift GitOps Operator, then uses that Git repository as the source for the application. So, how do we define all that to

ArgoCD application을 모아서 관리하는 패턴을 App of Apps 패턴이라고 한다. app of app 패턴으로 구성된 application을 sync하면 여러 argoCD application을 생성하고, 생성된 application은 바라보는 git에 저장된 쿠버네티스 리소스를 배포한다. 상위 앱이 하위 앱을 여러개 정의하는 구조라고 보면 된다. 공식 레포에 있는 예제를 살펴보자. ( ├── Chart.yaml├── templates│ ├── guestbook.yaml│ ├── helm-dependency.yaml│ ├── helm-guestbook.yaml│

출처: ArhoCD, ArgCD CLI 설치 Argo CD를 kubernetes cluster에 설치한다. $ kubectl create namespace argocd$ kubectl apply -n argocd -f Argo CD의 CLI를 설치한다. $ curl -sSL -o ~/bin/argocd chmod +

Argo Events is an event-driven workflow automation framework for Kubernetes which helps you trigger K8s objects, Argo Workflows, Serverless workloads, etc. on events from a variety of sources like webhooks, S3, schedules, messaging queues, gcp pubsub, sns, sqs, etc. Event Source An EventSource defines the configurations required to consume events from external sources like AWS SNS, SQS, GCP Pub

Config Management Plugins

Argo CD allows us to integrate more config management tools using config management plugins. Most prominent inbuilt tools are helm and kustomize. We have to option, when it comes to create our own Config Management Plugin (CMP): Add the plugin config to the main Argo CD ConfigMap. Our repo-server container will then run the plugin’s commands. There are two ways to install a Config Management Plu

Here are some common indicators and states you might encounter while working with ArgoCD: Application States: Healthy: The application is in the desired state and all resources are successfully deployed and reconciled. OutOfSync: The application’s current state does not match the desired state defined in the Git repository. This can happen if there are differences in resource definitions or con

Jenkins FileSystem .jenkins: The default Jenkins home directory (may be .hudson in older installations). fingerprints: This directory is used by Jenkins to keep track of artifact fingerprints. We look at how to track artifacts later on in the book. jobs: This directory contains configuration details about t

CUE는 논리 프로그래밍에 기반을 둔 오픈소스 데이터 검증 언어 및 추론 엔진이다. 이 언어는 데이터 검증, 템플릿 작성, 구성 관리, 쿼리 실행, 코드 생성, 스크립팅 등 다양한 용도로 사용될 수 있다. CUE의 추론 엔진은 코드 내에서 데이터를 검증하거나 코드 생성 파이프라인의 일부로 활용될 수 있어 유연성이 높다. JSON의 슈퍼셋이기 때문에 json과 비슷하게 사용할 수 있고, json이나 yaml로 export하는 것도 가능하다. // json.cueone: 1two: 2 // A field using quotes."two-and-a-half": 2.5 list: [ 1, 2, 3,] $ cue export json.cue{ "one": 1, "two": 2, "two-and-

GoCD는 CI/CD(지속적 배포-Continuous Delivery) 파이프라인을 쉽게 모델링 및 시각화할 수 있도록 해주는 툴이다. 젠킨스처럼 다양한 플러그인을 지원하지는 않지만, 파이프라인 요청에 따라 클러스터에서 적절한 리소스를 할당해 실해주는 Ad-Hoc 환경을 지원해주기 때문에 클라우드 환경에 좀더 적합할 수 있다. 실습 설치 helm으로 빠르게 깔아보자 helm repo add gocd repo updatehelm install gocd gocd/gocd --namespace gocd --create-namespace 파이프라인 수정 처음 들어가면 getting_started_pipeline이 보인다. GoCD의 파이프라인은

Metrics Server is a scalable, efficient source of container resource metrics for Kubernetes built-in autoscaling pipelines. K8s 메트릭 API(Metrics API) 는 자동 스케일링 및 비슷한 사용 사례를 지원하기 위한 기본적인 메트릭 집합을 제공한다. 이 API를 사용해 노드와 파드의 CPU 및 메모리 사용량을 쉽게 쿼리할 수 있다. (kubectl top HorizontalPodAutoscaler(HPA) 와 VerticalPodAutoscaler(

Let’s deploy Cilium for testing with our Golang web server in below example. We will need a Kubernetes cluster for deploying Cilium. One of the easiest ways we have found to deploy clusters for testing locally is KIND, which stands for Kubernetes in Docker. It will allow us to create a cluster with a YAML configuration file and then, using Helm, deploy Cilium to that cluster. KIND configuration fo

Karpenter의 스케줄링 우선순위 Karpenter는 pod를 스케줄링할 때 아래와 같은 순서로 조건을 체크하여 스케줄할 노드를 선택한다: 기존 노드 활용 시도 (addToExistingNode) 이미 존재하는 노드에 추가 가능한지 확인 단, toleration하지 않은 taint가 붙어있으면 불가 (PreferNoSchedule 포함) 생성 중인 노드 활용 (addToInflightNode) 현재 생성 중인 노드에 추가 가능한지 확인 새 노드 생성 (addToNewNodeClaim) 새로운 노드를 추가해서 스케줄링 가능한지 확인 제약 조건 완화 (Relax) Affinity, Topology 무시하고 재시도 PreferNoSchedule 무시하고 재시도 PreferNo

Karpenter best practices

Use Karpenter for workloads with changing capacity needs karpenter brings scailing management closer to Kubernetes native APIs than do Autoscaling Groups (ASGs) and Managed Node Groups (MNGs). ASGs and MNGs are AWS-native abstractions where scaling is triggered based on AWS level metrics, such as EC2 CPU load. Cluster Autoscaler bridges the Kubernetes abstractions into AWS abstractions, but loses

Kyverno(Greek for “govern”) is a policy engine designed for Kubernetes. It can validate, mutate, and generate configurations using admission controls and background scans, Kyverno policies are Kubernetes resources and do not require learning new language. Kyverno is designed to work nicely with tools you already use like kubectl, kustomize, and Git. Featchers Kyverno is a policy engine designed sp

Kyverno is a Kubernetes native policy engine that helps in enforcing custom policies on Kubernetes objects. It is a highly scalable and declarative tool that allows Kubernetes administrators to enforce security, compliance, and operational policies across their clusters. Kyverno policies are written in YAML format and can be defined as cluster-wide resources (using the kind ClusterPolicy) or names

K8s에서 LB를 사용하기 위해선 AWS, GCP, Azure 등 플랫폼에서 제공해주는 서비스를 사용해야하고, 온프레미스 클러스터에서는 추가 모듈 설치가 필요하다. MetalLB는 BareMetal Loadbalancer의 약자로, 베어메탈 환경에서 사용할 수 있는 로드밸런서를 제공하는 오픈소스 프로젝트이다. MetalLB의 동작에는 두가지 방식이 있다. 1. L2 Mode L2 모드는 2계층 통신을 이용한다. 각 노드마다 speaker라는 데몬셋이 생성되고, 호스트 네트워크를 사용한다. 리더 speaker pod를 선출한다. 리더는 ARP(GARP)로 해당 External IP에 대한 소유를 주장한다. arpping을 이용하여 어떤 Speaker pod가 external IP를 관리하는지 직접 찾을

Node Termination Handler

Node Termination Handler는 EC2 인스턴스가 EC2 maintenance events, EC2 Spot interruptions, ASG Scale-In, ASG AZ 재조정, and EC2 Instance Termination 등의 이유로 사용할 수 없는 상태가 되었을 때 대응하기 위한 tool이다. 그에 대한 핸들링을 제때 해줌으로써 Pod를 더 빠르게 회복시키고 availability를 높일 수 있다. modes The aws-node-termination-handler(NTH)에는 Instance Metadata Service (IMDS) 모드와 Queue Processor 모드 두가지가 있다. IMDS mode The aws-node-termination-handler Insta

The Open Policy Agent Gatekeeper project can be laveraged to help enforce policies and strengthen governence in your Kubernetes environment. If your organization has been operating Kubernetes, you probably have been looking for ways to control what end-users can do on the cluster and ways to ensure that clusters are in compliance with company policies. These policies may be there to meet governanc

Chart Development Tips

Template Functions Helm uses Go templates for templating your resource files. While Go ships several built-in functions, we have added many others. First, we added all of the functions in the Sprig library, except env and expandenv, for security reasons. We also added two special template functions: include and required. The include function allows you to bring in another template, and then pass t

Helm이란, kubernetes 패키지 관리를 도와주는 tool이다. Node.js의 npm, Python의 pip와 같은 역할이라고 볼 수 있다. Chart Helm은 차트라고 불리는 Package formet을 사용한다. 차트는 Kubernetes Resouce들의 내용을 나타내는 파일들의 집합이다. 예를 들어 Wordpress의 차트는 아래와 같은 구조를 가지고있다. Terminal windowwordpress/Chart.yaml chart에 대한 정보LICENSE (optional) chart의 license에 대한 정보README.md (optional) 사람이 읽을 수 있는 README 파일requirements.yaml (op

Values is One of the built-in objects. This object provides access to values passed into the chart. Its contents come from multiple sources: The values.yaml file in the chart If this is a subchart, the values.yaml file of a parent chart A values file if passed into helm install or helm upgrade with the -f flag (helm install -f myvals.yaml ./mychart) Individual parameters passed with --set (such a

kubernetes node에 쉽게 접속할 수 있도록 하는 kubectl 플러그인이다. 워커노드, 인그레스노드에 접근이 가능하고 root 권한으로 실행이 가능하다. krew 설치하기 node-shell는 krew를 통해 설치할 수 있다. Terminal window krew 설치하기$ brew install krew krew에 kvaps 추가$ kubectl krew index add kvaps node-shell 설치하기 Terminal window node-shell을 설치한다.$ kubectl krew install kvaps/node-shell export 추가하기 Terminal window vi 편집기 사용하여 ~/.zshrc or

Cilium is open source software for transparently securing the network connectivity between application services deployed using Linux container management platforms like Docker and Kubernetes. At the foundation of Cilium is a new Linux kernel technology called eBPF, which enables the dynamic insertion of powerful security visibility and control logic within Linux itself. Because eBPF runs ins

Dex is an identity service that uses OpenID Connect to drive authentication for other apps. Dex acts as a portal to other identity providers through “connectors.” This lets dex defer authentication to LDAP servers, SAML providers, or established identity providers like GitHub, Google, and Active Directory. Clients write their authentication logic once to talk to dex, then dex handles the protocols

Dex K8s Authenticator

Dex K8s Authenticator is a helper web-app which talks to one or more Dex Identity services to generate kubectl commands for creating and modifying a kubeconfig. The Web UI supports generating tokens against multiple cluster such as Dev / Staging / Production. Screen shots Running on AWS EKS Running dex-k8s-authenticator on AWS EKS is a bit tricky. The reason is, AWS EKS does not allow you to set

GPG(GNU Privacy Cuard)는 GNU에서 제공하는 OpenPGP(RFC4880)의 오픈소스 구현이다. PGP란? 메시지나 파일을 암호화하여 전송할 수 있는 툴이나 소스를 배포하는 각종 프로그램의 변조 유무를 검사할 수 있는 프로그램이다. 누군가 악의적인 목적으로 소스에 해킹툴이나 바이러스를 내포하여 원본과 다른 소스를 배포할 수 있는데, 배포자의 서명과 서명된 파일을 제공하여 소스에 대한 무결성 검사를 할 수 있도록 한다. 메일이나 중요한 데이터에 대해 서명과 함께 전송함으로써 허가된 사용자만 해당 데이터를 볼 수 있는 권한을 부여할 수 있다. 보안 메일, 전자 서명 시스템에서 응용 가능하다. 정리하자면 GPG(PGP)는 개인간, 머신간 또는 개인 머신간에 교환되는 메시지나 파일을 암호화 하

Keycloak은 ID 및 액세스 관리 솔루션을 제공하고, 인증(Authentication)과 인가(Authorization)을 쉽게 해주고 SSO(Single-Sign-On)을 가능하게 해주는 오픈소스이다. SSO란? SSO는 Single-Sign-On의 약자로 한번의 로그인을 통해 그와 연결된 여러가지 다른 사이트들을 자동으로 접속하여 이용할 수 있도록 하는 방법이다. 일반적으로는 여러 사이트를 사용할 떄 각각의 DB에 각각의 사용자 정보가 있고 그 정보를 통해서 관리를 하게 되는데, 필요에 따라서는 사용자 정보를 연동하여 사용해야 하는 경우가 발생한다. 이런 경우에 SSO 기능을 사용하게 되며 하나의 시스템에서 인증을 할 경우 그와 연결된 다른 시스템에서는 인증 정보가 있는지 없는지를 확인하여 이후 처

Mortar는 Linux의 물리적 보안 구성 요소들을 연결하는 프레임워크다. Mortar 모델을 통해 디스크에서 사용되는 모든 것이 암호화되거나, 서명되거나, 해시된다. 평문 시크릿이 저장되는 유일한 위치는 TPM 모듈이다. TPM은 특정 부팅 상태를 효과적으로 화이트리스트하는 데 사용되며, Mortar는 변조되지 않은 시스템이 감지될 때만 키를 해제하도록 구성한다. 이 검증 및 잠금 해제 프로세스가 완전히 자동화되어 있어서, 정상적인 시스템은 사용자 개입 없이 완전히 재시작된다. 덕분에 전체 디스크 암호화가 최종 사용자에게 훨씬 편리해지고, 서버에서도 실용적으로 사용할 수 있게 된다. 동작 방식 기본 디스크에서는 2개의 파

openHistorian is a back-office system developed by the GridProtectionAlliance that is designed to efficiently integrate and archive process control data, such as SCADA, synchrophasor, digital fault recorder, or any other time-series data used to support process operations. It is optimized to store and retrieve large volumes of time-series data quickly and efficiently, including high-resolutio

Packer ( 는 HashiCorp에서 개발한 가상 머신 이미지를 만들어주는 오픈소스이다. 예를 들어서, 아마존 클라우드 AMI이미지나, 구글 클라우드 이미지를 스크립트를 이용하여 생성이 가능하다. 하나의 스크립트를 이용하여, 구글 클라우드, VMWare, 아마존 클라우드 등 여러 클라우드 환경 (가상화 환경)과 컨테이너 엔진용 이미지를 생성할 수 있다. Chef, Puppet, Ansible과 같은 Configuration management 툴과 혼동이 될 수 있지만, Packer는 OS 이미지를 만들어주는 역할을 하고, Configuration management 툴들은 이렇게 만들어진 이미지 위에 소프트웨어를 설치하고, 이를 설정하는 상호 보완적인 역할을 하

HashiCorp Vault is an identity-based secrets and encryption management system. A secret is anything that you want to tightly control access to, such as API encryption keys, passwords, and certificates. Vault provides encryption services that are gated by authentication and authorization methods. Using Vault’s UI, CLI, or HTTP API, access to secrets and other sensitive data can be securely st

MinIO는 GNU Affero General Public License v3.0 하에 배포되는 고성능 객체 스토리지이다. Amazon S3 클라우드 스토리지 서비스와 API가 호환되며, 머신러닝, 분석, 애플리케이션 데이터 워크로드를 위한 고성능 인프라 구축에 사용된다. 아키텍처 각 MinIO Tenant는 Kubernetes 클러스터 내 독립적인 객체 스토어이다. 아래 다이어그램은 Kubernetes에 배포된 MinIO Tenant의 아키텍처다: MinIO는 Tenant 접근 및 관리를 위한 다양한 방법을 제공한다. MinIO Console MinIO Console은 MinIO Tenant와 상호작용하기 위한 그래픽 사용자 인터페이스(GUI)다. MinIO Operator는 기본적으로 각 Tenant

openssl로 pemKey 만들고 접속하기

1. openssl 설치 sudo apt install rpmrpm -qa openssl 2. rsa secret key text 파일 생성 그냥 vi로 파일 만들어서 넣어줘도 된다. vi (원하는 경로) 3. pem key 생성 아래 명령어로, 텍스트 파일 이름과 pem 키를 저장할 위치와 이름을 지정해준다. openssl rsa -in {key text 파일} -text > {pem key 저장할 경로} {pem key 저장할 경로}"> 4. ssh로 접속 ssh -i {pem key 경로} {username}@{url} -p {port}