Skip to content

김은빈

안녕하세요 :) 김은빈입니다.
대덕SW마이스터고등학교 3학년으로 재학하면서 데브옵스를 공부하고 있는 학생입니다.

저는 새로운 것을 알아가고 공부하는 것을 좋아합니다.
상황을 다양한 시각으로 바라보면서 오래 생각하려 노력합니다.
생각을 글로 (또는 코드로) 체계적으로 정리하는 데 재미를 느낍니다.
꾸밈없이 솔직하면서도 성숙한 사람이 되고 싶습니다.

잘 정리된 모습은 아니지만 제가 공부하고 생각한 내용을 기록하는 공간입니다.
들러주셔서 감사합니다. 좋은 하루 되세요!

최신글

Endpoints Service가 선택한 Pod들의 IP와 Port 정보를 저장하는 리소스. Service가 특정 Pod들을 대상으로 트래픽을 라우팅하기 위해 필요. selector가 있는 Service가 생성되면 자동으로 생성됨. kubectl get endpoints 명령어로 확인 가능. Endpoints 예제 (기본 구조): yaml apiVersion: v1 kind: Endpoints metadata: name: my-service subsets: addresses: ip: 10.0.0.1 ip: 10.0.0.2 ports: port: 80 위 예제에서 my-service는 10.0.0.1:80, `

CUDA Toolkit CUDA Toolkit은 NVIDIA에서 제공하는 GPU 가속 애플리케이션 개발을 위한 툴체인이다. 주로 다음과 같은 구성 요소를 포함한다. 구성 요소 nvcc (NVIDIA CUDA Compiler): .cu 확장자의 CUDA C/C++ 소스를 컴파일하여 실행 가능한 코드로 변환 라이브러리 cuBLAS: GPU 가속 BLAS 연산 cuDNN: 딥러닝 연산 최적화를 위한 라이브러리 Thrust: STL과 유사한 병렬 알고리즘 라이브러리 디버깅 및 프로파일링 도구 cuda-gdb, nsight 등의 디버깅 도구 nvprof, Nsight Compute, Nsight Systems 등의 성능 분석 도구

NVIDIA GPU는 Kepler 세대 이후부터 하드웨어 가속 인코딩(NVENC)을, Fermi 세대 이후부터 하드웨어 가속 디코딩(NVDEC)을 지원한다. NVENC: CUDA와 독립적으로 작동하며 GPU의 성능 저하 없이 동작 NVDEC: 여러 코덱을 지원하며 실시간 디코딩 가능 지원 여부는 GPU 세대에 따라 다르며, 최신 정보는 NVIDIA Video Encode and Decode Support Matrix에서 확인할 수 있다. --- FFmpeg 하드웨어 가속 설정 빌드 과정 1. FFmpeg 및 관련 라이브러리 설치: `git clone ht

Mise는 개발 환경을 손쉽게 관리할 수 있도록 도와주는 도구로, 다양한 프로그래밍 언어와 툴을 한 번에 관리할 수 있다. asdf, fnm, nvm 등의 버전 관리 도구와 유사하지만, 실행 속도가 더 빠르다. 기능 멀티 런타임 관리 mise는 하나의 도구로 여러 언어와 런타임을 관리할 수 있다. 예를 들어, Node.js, Python, Ruby 등의 버전을 동시에 설치하고 관리할 수 있다. sh mise use node@18 [email protected] 위 명령어를 실행하면 현재 프로젝트에서 Node.js 18 버전과 Python 3.10 버전을 사용할 수 있다. .tool-versions 파일을 통한 버전 고정 프로젝트별로 특정 버전을 고정하려면 `.t

buildx load 옵션

Docker의 고급 빌드 도구인 buildx는 멀티 플랫폼 지원과 빌드 캐시 최적화 기능 등 다양한 장점을 제공한다. 그러나 빌드 결과가 로컬에 저장되지 않거나 푸시되지 않는 문제가 발생할 수 있다. 이는 --load 또는 --push 옵션을 명시하지 않았기 때문이다. 예시 bash docker buildx build --platform linux/amd64 -t subtitle-generator . 빌드는 성공하지만 --load나 --push 옵션이 없어서 결과 이미지가 로컬에 존재하지 않는다 빌드 로그에는 다음과 같은 경고가 나타난다. WARNING: No output specified with docker-container driver. Build re

Intel Math Kernel Library (MKL)은 고성능 수학 연산을 위한 라이브러리로, 선형대수, 푸리에 변환, 벡터 수학 등 다양한 수학 계산에 최적화된 함수들을 제공한다. Intel CPU 아키텍처에 최적화되어 있으며, 과학, 공학, 머신러닝 분야에서 널리 사용된다. MKL은 다음과 같은 특징이 있다. Intel 하드웨어에 최적화된 고성능 연산 멀티스레딩과 벡터화를 활용한 성능 향상 BLAS, LAPACK, FFT 등 다양한 수학 연산 함수 포함 C, C++, Fortran 등의 언어와 호환 기능 1. BLAS (Basic Linear Algebra Subprograms) 기본 선형대수 연산을 위한 함수들을 제공한다. 벡터, 행렬 연산 등을 빠르게 수행할 수 있다. Le

OpenAI에서 공개한 Whisper는 다양한 언어를 인식할 수 있는 범용 음성 인식 모델이다. 입력으로 오디오 데이터를 받아 텍스트로 변환한다. 하지만 기본 Whisper 모델은 속도가 느리고 리소스를 많이 사용하는 단점이 있다. 이를 개선하기 위한 프로젝트들이 다음과 같다. ⸻ CTranslate2 CTranslate2는 Facebook의 fairseq에서 영감을 받아 만들어진 변환기(Transformer) 모델을 위한 고성능 추론 엔진이다. ONNX 모델을 최적화된 형식으로 변환한 후, CPU나 GPU에서 빠르게 실행할 수 있도록 설계되었다. Whisper의 디코더 부분이 Transformer 기반이기 때문에, Whi

QEMU는 다양한 아키텍처를 가상화하거나 에뮬레이션할 수 있는 오픈소스 도구이다. 리눅스 커널 기반 가상화(KVM)와 함께 사용할 수 있으며, ARM, x86, MIPS, PowerPC 등 여러 CPU 아키텍처를 지원한다. 에뮬레이션과 가상화를 모두 지원하기 때문에 테스트 환경 구축, 이종 플랫폼 디버깅, 운영체제 실습 등 다양한 목적으로 사용된다. docker에서 cross platform build를 할 때도 기본적으로 qemu가 사용된다. 주요 특징 오픈소스이며 GNU GPL 라이선스로 배포됨 다중 아키텍처 지원: x86, ARM, RISC-V, PowerPC 등 전체 시스템 에뮬레이션(full system emulation)과 유저 모드 에뮬레이션(user-mode e

Native messaging

브라우저 Native Messaging은 확장 프로그램(Extension)이 외부 네이티브 애플리케이션과 직접 통신할 수 있도록 하는 기술이다. 보통 웹 브라우저 내에서 실행되는 확장 프로그램은 보안상의 이유로 로컬 파일이나 시스템 리소스에 직접 접근할 수 없다. 하지만, Native Messaging을 사용하면 브라우저 확장이 특정한 네이티브 애플리케이션을 실행하고 JSON 메시지를 주고받을 수 있다. Native messaging을 사용하면 브라우저 확장 플러그인에 아래 같은 기능을 추가할 수 있다. 파일 시스템 접근: 확장 프로그램에서 로컬 파일을 읽거나 쓰는 작업 수행 네이티브 애플리케이션 제어: 특정 데스크톱 애플리케이션을 실행하고 상태를 확인 보안 관련 작업*

자연어처리

잠재 의미 분석(Latent Semantic Analysis, LSA) 잠재 의미 분석(Latent Semantic Analysis, LSA)은 자연어 처리 분야에서 문서와 단어 간의 숨겨진 의미 관계를 발견하기 위한 통계적 기법이다. 이는 주어진 문서 집합에서 단어들의 공동 발생 패턴을 분석하여, 단어와 문서 간의 잠재된 의미 구조를 파악하는 데 사용된다. LSA의 기본 개념 LSA는 다음과 같은 절차를 따른다: 1. 문서-단어 행렬(DTM) 생성: 문서 집합에서 각 문서와 단어의 발생 빈도를 나타내는 행렬을 만든다. 2. 특이값 분해(Singular Value Decomposition, SVD): DTM에 SVD를 적용하여 세 개의 행렬로 분해한다. 이를 통해 데이터의

검정 통계량 통계적 가설의 진위를 검정하기 위해 표본으로부터 계산하는 통계량이다. t-value, F-value, z-value 등이 바로 검정 통계량이다. 쉽게 말해, 표본 데이터를 이용해 세운 가설이 맞는지를 판단할 수 있는 도구라고 할 수 있다. t-value의 의미 t-value는 두 표본 집단의 차이를 평균을 중심으로 비교하며, 이를 불확실도로 나누어 계산한다. 이 값은 차이가 클수록, 불확실도가 작을수록 커지며, 통계적으로 유의미한 차이가 있음을 의미한다. t-value의 수학적 정의 두 집단의 평균 차이: \( \bar{X}_1 \bar{X}_2 \) 두 집단 평균 차이의 불확실도(표준 오차): \( s_{\bar{X}_1 \bar{X}_2} = \sqrt{s_1^2/n_1 +

윌콕슨 순위합 검정

Frank Wilcoxon에 의해 고안된 윌콕슨 순위합 검정은 두 그룹 사이의 중앙값 차이를 비교하는 비모수 검정이다. 데이터가 정규분포를 따르지 않거나 이상치의 영향을 많이 받을 때 적합하다. t-검정과 다르게 데이터 분포에 덜 민감하다. 간단하면서도 효과적으로 두 그룹 간의 차이를 확인할 수 있는 방법이지만, 패턴을 충분히 반영하지 못할 가능성도 있기 때문에 다른 검정과 함께 고려하는 것이 좋다. 비모수 검정 데이터 분석에서는 다양한 통계 기법이 사용되는데, 그 중에서도 비모수(non-parametric) 통계 기법은 유연함과 실용성 면에서 큰 장점을 지닌다. 비모수 검정에선 데이터를 다룰 때 평균이 아닌 중앙값에 초점을 맞춘다. 정규성 가정을 하지 않아 다양하고 복잡한 데이터에 적합하다. 비슷한

자신이 좋아하는 것에 시간을 많이 투자하여 깊은 지식을 가지고 있는 느껴지는 사람은 멋있는 것 같다. 동경이든, 경외심이든, 자극 또는 열등감이든 시간에 대한 격차를 느낄 때 모든 게 출발하는 것 같다. '저 사람은 내가 모르는 무언가를 익히기 위해 시간을 많이 투자했구나. 그래서 저만큼의 엄청난 지식을 가지고 있구나.' 그게 나와 거리가 먼 분야이면 새로운 자극으로 넘기게 되지만, 나도 흥미를 가지고 있는 분야라면 좀 더 복합적이고 강한 감정이 느껴진다. 우스갯소리로 남이 어떤 분야에서 성과를 낼 때 '나도 할 수 있을 것 같은데?'같은 질투가 느껴지면 적성에 딱 맞는거라 하듯이. 이 사실이 최근의 나를 힘들게 만드는 고민 중 하나이다. 학교에서는 내가 수용할 수 있는 정도의 자극만 받아들이는

상단 탭 목록 없애기 1. 아래 명령어 실행 ls ~/Library/Application\ Support/Firefox/Profiles/ 2. .default-release로 끝나는 경로 들어가서 mkdir chrome && vi chrome/userChrome.css 3. userChrome.css 파일에 아래 내용 삽입 css @namespace url("http://www.mozilla.org/keymaster/gatekeeper/there.is.only.xul"); tabbrowser-tabs { visibility: collapse ! } nav-bar {

rebase 쉽게 하는법

rebase via merge Let me share one possible way to resolve rebase conflicts. I call it rebase via merge. It can help if you want to rebase a branch with many commits and many conflicts are expected. First, let's create a temp branch and force all conflicts to show up with a regular merge git checkout -b temp git merge origin/master Resolve all the conflicts the regular way and finis

In a workflow employing relatively long lived topic branches, the developer sometimes needs to resolve the same conflicts over and over again until the topic branches are done (either merged to the "release" branch, or sent out and accepted upstream). This command assists the developer in this process by recording conflicted automerge results and corresponding hand resolve results on the initial

sh Use default kubeconfig $ k9s Use non-default kubeconfig $ k9s --kubeconfig /path/to/kubeconfig Use non-default context $ k9s --context fooctx Readonly $ k9s --readonly Check info (locations for configuration, logs, screen dumps) $ k9s info List Resources List a specific resource: :: list Resources, e.g. :pod to list all pods. : : list Resources in a given nam

ApplicationSets

Applications deployed and managed using the GitOps philosophy are often made of many files. There’s Kubernetes manifests for Deployments, Services, Secrets, ConfigMaps, and many more which all go into a Git repository to be revision controlled. Argo CD, the engine behind the OpenShift GitOps Operator, then uses that Git repository as the source for the application. So, how do we define all that t

ArgoCD application을 모아서 관리하는 패턴을 App of Apps 패턴이라고 한다. app of app 패턴으로 구성된 application을 sync하면 여러 argoCD application을 생성하고, 생성된 application은 바라보는 git에 저장된 쿠버네티스 리소스를 배포한다. 상위 앱이 하위 앱을 여러개 정의하는 구조라고 보면 된다. 공식 레포에 있는 예제를 살펴보자. ( yml ├── Chart.yaml ├── templates │ ├── guestbook.yaml │ ├── helm-dependency.yaml │ ├── helm

출처: ArhoCD, ArgCD CLI 설치 Argo CD를 kubernetes cluster에 설치한다. yml $ kubectl create namespace argocd $ kubectl apply -n argocd -f Argo CD의 CLI를 설치한다. yml $ curl -sSL -o ~/bin/argocd

Argo Events is an event-driven workflow automation framework for Kubernetes which helps you trigger K8s objects, Argo Workflows, Serverless workloads, etc. on events from a variety of sources like webhooks, S3, schedules, messaging queues, gcp pubsub, sns, sqs, etc. Event Source An EventSource defines the configurations required to consume events from external sources like AWS SNS, SQS, GCP P

Config Management Plugins

Argo CD allows us to integrate more config management tools using config management plugins. Most prominent inbuilt tools are helm and kustomize. We have to option, when it comes to create our own Config Management Plugin (CMP): Add the plugin config to the main Argo CD ConfigMap. Our repo-server container will then run the plugin's commands. There are two ways to install a Config Management P

Here are some common indicators and states you might encounter while working with ArgoCD: 1. Application States: Healthy: The application is in the desired state and all resources are successfully deployed and reconciled. OutOfSync: The application's current state does not match the desired state defined in the Git repository. This can happen if there are differences in resource

악마와 함께 춤을

속세적인 감정에서 벗어난 성인이 되어 금욕, 절제, 통제하는 것. 또는 부정적인 감정을 가능한 한 빨리 없애기 위해 자신을 질책하거나 주의를 돌리는 것. 위의 두 방식은 질투, 시기, 분노와 같은 부정적인 감정이 불러오는 나쁜 효과를 막기 위해 그 감정과 멀어지기 위한 대처이다. 하지만 이런 방식은 감정에 대한 부정적 선입견의 결과이고 자신의 불완전한 부분을 외면하려는 것일 수 있다. 그렇기에 이 책에선 부정적 감정을 회피하기 보단 있는 그대로 인식하고, 그 감정이 의미하고 말하고자 하는 것 또한 자신의 일부분임을 받아들이라고 제시한다. 세상에 대한 우리의 경험은 복잡하고 우리의 감정은 종종 한 가지 이상의 것에 민감하게 반응한다. 이에 대해 인상깊은 비유가 하나 있었다. 아이가 실수로 당

비트레이트

프레임 레이트 frame rate 프레임 레이트 단위는 fps(frame per second)이다. 30fps라면, 1초에 30장의 프레임이 재생된다. 초당 재생되는 이미지 수가 많아지면 동영상이 더 부드럽게 재생된다. 비트 레이트 bit rate 비트 레이트 단위는 bps(bits per second)이고, 초당 처리하는 데이터 크기를 의미한다. 동영상에서 화질은 해상도와 함께 비트레이트 크기가 중요한 역할을 한다. 해상도가 아무리 높아도 비트레이트가 낮으면 화면이 뭉개진다. 그렇다고 비트레이트를 무턱대고 높인다고 화질이 무조건 좋아지는 것도 아니라 해상도에 맞는 적당한 비트레이트를 선택해야 한다. 물론 비트레이트를 높이면 해상도에 따른 화질이 보장되기는 하는데, 비트레이트가 너무 높으면 쓸

ffmpeg [options] [[infile options] -i infile]... {[outfile options] outfile}... 파일 정보 확인 ffmpeg로 입력 파일 정보 확인 ffmpeg -i input.mp4 -hide_banner 옵션을 사용하면, FFmpeg의 로고와 불필요한 버전 정보 없이 파일 정보만을 출력한다. ffprobe ffprobe는 FFmpeg 패키지의 일부로, 미디어 파일의 스트림 정보를 보다 상세하게 분석할 수 있다. 해상도 확인 ffprobe -v error -select_streams v:0 -show_entries stream=width,height -of csv=s=x:p=0 input.mp4 너비,

자막 파일 포맷

자막 파일 포맷인 SRT, SBV, VTT, SMI에 대해 알아보자. SRT (SubRip Text) SRT는 가장 널리 사용되는 자막 파일 형식 중 하나이다. 단순하면서도 효과적인 구조로 많은 미디어 플레이어와 편집 소프트웨어에서 지원된다. 특징: 텍스트 기반으로 쉽게 편집 가능 대부분의 미디어 플레이어와 호환 자막 번호 정보가 있어 순서 파악이 용이 기본적인 서식 지정(볼드, 이탤릭, 색상) 지원 (일부 플레이어에서만 인식) 구조: 자막 번호 시작 시간 --종료 시간 자막 텍스트 빈 줄 (자막 구분) 예시: 1 00:00:01,000 --00:00:04,000 안녕하세요, 여러분. 2 00:00:04,500 --00:00:06,500 오늘은 자막 파일 형식에 대해 알아보겠습니다.

컨테이너와 코덱

컨테이너 포맷(Container Format) 앞서 말한 것처럼 동영상 확장자는 오디오, 비디오 데이터인 스트림(Stream)을 하나 이상 가지고 있는 보관함 역할을 하며 이를 컨테이너 포맷(Container Format) 혹은 래퍼 포맷(Rapper Format)이라 부른다. 스트림(Stream)은 데이터, 패킷, 비트 등 일련의 연속성을 갖는 흐름/데이터를 의미하는데 간단히 컨테이너가 가지고 있는 비디오, 오디오 데이터라 생각할 수 있다. 컨테이너가 가지고 있는 비디오, 오디오 스트림(Stream)들은 코덱(Codec)을 통해 가공된 데이터들이다. 왜 코덱을 통해 가공을 했을까? 코덱(Codec) 코덱은 코더(Coder)와 디코더(Decoder)의 앞글자를 딴 합성어로 용량이 큰 영상을 다

Prompt Engineering

Multi-head Attention Head는 하나의 어텐션 매커니즘을 의미, 입력 텍스트의 해석을 하나의 관점이 아닌 여러 관점에 집중 Head의 예시 문법적인 요소, 시제에 집중 Entity (사란, 장소, 물건 등)의 관계에 집중 문장 내에서 일어나는 환동에 집중 Word Rhyme(단어의 운율)의 집중 Query, Key, Value 벡터를 각각 h번 Linear projection으로 변환 Linear Projection(선형 투영)은 선형 대수학에서 나오는 개념, 여기서는 고차원의 벡터를 저차원으로 나눌 때 사용한다. Long context prompting tips 1. 긴 문서나 입력을 프롬프트의 상단에 배치 (지시사항, 질문, 예시보다 더) 2. 질문을 마지막

보통 서버의 타임존은 NTP 라는 프로토콜로 중앙 서버와 통신하여 동기화된다. timedatectl로 Local time과 NTP 정보를 확인할 수 있다. $ timedatectl Local time: 금 2025-01-17 01:46:55 KST Universal time: 목 2025-01-16 16:46:55 UTC RTC time: 목 2025-01-16 16:46:56 Time zone: Asia/Seoul (KST, +0900) NTP enabled: yes NTP synchronized: yes RTC in local TZ: no DST active: n/a $ timedatectl --help timedatectl [

embedding and chunking

Long-Context Embedding In general, it doesn’t harm retrieval accuracy to include as much text of your documents as you can to the input of your embedding model. However, long-context embedding models often focus on the beginning of documents, as they contain content like titles and introduction which are more important for judging relevance, but the models might miss content in the middle of the

datadog anomaly detection algorithms

Datadog은 Anormaly detection 기준 설정을 위해 최대 6주간의 데이터를 학습하고, 아래 세 알고리즘 중 하나에 따라 계산한다. Basic (기본) 반복적인 계절성 패턴이 없는 지표에 사용한다. 간단한 롤링 윈도우 분위수 계산으로 예상 값의 범위를 결정한다. 적은 양의 데이터를 사용하고 변화하는 조건에 빠르게 적응하지만, 계절적 동작이나 장기 추세를 반영할 수 없다. Agile (민첩) 계절성이 있고 변동이 예상되는 지표에 사용한다. 이 알고리즘은 지표 수준의 변화에 빠르게 적응한다. SARIMA 알고리즘의 견고한 버전으로, 직전의 과거 데이터를 예

EME(Encrypted Media Extension)의 약자로, DRM이 걸려있는 영상 컨텐츠를 사용자가 단말기에서 보안 프로그램 설치 없이 사용할 수 있게 해주는 기술이다. EME를 적용하기 위해선 아래 네 가지가 필요하다. 1. 암호화된 영상이 저장되어있는 스토리지 서버 콘텐츠를 암호화된 형태로 저장하고, 재생시 영상을 반환한다. Shaka Packager와 같은 도구를 사용해 암호화할 수 있다. 2. 복호화 키가 들어있는 라이센스 서버 콘텐츠 재생에 필요한 암호화 키를 안전하게 발급한다. 3. 인증서 영상을 복호화할 때, 복호화키와 인증서를 같이 가져와 인증해야한다

CNN이 나오기 이전, 이미지 인식은 2차원으로 된 이미지(채널까지 포함해서 3차원)를 1차원배열로 바꾼 뒤 FC(Fully Connected)신경망으로 학습시키는 방법이었다. 단순 FC 방식은 위와 같이 이미지의 형상을 고려하지 않고, raw data를 직접 처리하기 때문에 많은 양의 학습데이터가 필요하고 학습시간이 길어진다. 또한 이미지가 회전하거나 움직이면 새로운 입력으로 데이터를 처리해줘야 한다. 이미지의 특성을 이해하지 못하고 단순 1D 데이터로 보고 학습을하는것이 특징이다. 이러한 방법은 이미지 데이터를 평면화 시키는 과정에서 공간정보가 손실될 수밖에 없다. 즉, 신경망이 특징을 추출하고 학습하는데 있어 비효율적이고 정확도를 높이는데 한계가 있다. 이런 단점을 보완하여 이미

Drop-out은 서로 연결된 연결망(layer)에서 0부터 1 사이의 확률로 뉴런을 제거(drop)하는 기법이다. 예를 들어, 위의 그림 1 과 같이 drop-out rate가 0.5라고 가정하자. Drop-out 이전에 4개의 뉴런끼리 모두 연결되어 있는 전결합 계층(Fully Connected Layer)에서 4개의 뉴런 각각은 0.5의 확률로 제거될지 말지 랜덤하게 결정된다. 위의 예시에서는 2개가 제거된 것을 알 수 있다. 즉, 꺼지는 뉴런의 종류와 개수는 오로지 랜덤하게 drop-out rate에 따라 결정된다. Drop-out Rate는 하이퍼파라미터이며 일반적으로 0.5로 설정한다. 사용 목적 Drop-out은 어떤 특정한 설명변수 Feature만을 과도하게 집중하

케라스 케라스는 파이썬으로 구현된 쉽고 간결한 딥러닝 라이브러리로, 내부적으로 텐서플로우Tensorflow, 티아노Theano,CNTK 등의 딥러닝 전용 엔진이 구동되지만 내부엔진을 알 필요 없이 직관적인 API로 쉽게 다층퍼셉트론 신경망 모델, 컨벌루션 신경망 모델, 순환 신경망 모델 등 다양한 구성을 할 수 있다. 케라스의 가장 핵심적인 데이터 구조는 바로 모델이다. 케라스에서 제공되는 시퀀스 모델을 사용하면 원하는 레이어를 쉽게 순차적으로 정의할 수 있고, 다중 출력과 같이 좀 더 복잡한 모델을 구성하려면 케라스 함수 API를 사용하면 된다. 케라스로 딥러닝 모델을 만들 때는 다음과 같은 순서로 작성한다. |과정|설명| |-|-| |데이터셋 전처리|원본 데이터를 불러오거나 시뮬레이

손실함수를 줄여나가면서 학습하는 방법은 여러가지가 있는데, 이를 최적화 하는 방법들을 Optimizer라고 부른다. 경사 하강법 경사하강법은 손실 함수또는 비용 함수라 불리는 목적 함수를 정의하고, 이 함수의 값이 최소화되는 파라미터를 찾는 방법이다. 손실 (loss) : 실제값과 모델로 예측한 값이 얼마나 차이가 나는가를 나타내는 값으로, 손실이 작을수록 예측값이 정확한 것이다.비용(cost, error)은 손실을 전체 데이터에 대해 구한 경우이며 비용을 함수로 나타낸 것을 손실 함수또는 비용 함수라고 한다. 함수의 최소값을 찾기 위해 임의의 위치에서 시작해서 기울기를 따라 조금씩 더 낮은 위치로 내려가며 극값에 이를 때까지 반복시킨다. 손실 함수는 인공지능의 파라미터를 통하여 나온 예측 값

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 절차이다. --- Advanced RAG 단순히 문서를 조회 -LLM 응답을 하는 Naive한 기본 RAG에서, 아래 방법들을 적용해 답변 품질을 개선할 수 있다. 메타데이터 활용 데이터에 대한 추가적인 정보를 제공하여 검색 결과의 정확도를 높인다. 고도화된 Chunking 전략 semantic chunking: 문맥적으로 관련된 내용을 하나의 청크로 묶는다. small to big: RAG에서 Chunk 를 retrieval 할때, 그 Chunk의 위와 아랫부분을 확장해서 같이 리턴하는 방법으로,

은닉층 안에 하나 이상의 순환 계층을 갖는 신경망 기존 신경망 구조: 모든 입력과 출력이 각각 독립적이라 가정하고, 시간에 따른 입출력 간의 관계를 고려되지 않았음 RNN은 현재 입력을 유추할 때 이전 결과를 반영하여 계산하기 때문에 시간적 순서를 가지는 Sequence 기반 데이터, 연속적인 시계열(time series) 데이터를 잘 다룸 시간 순서를 기반으로 데이터들의 상관관계를 파악해서 그를 기반으로 현재 및 과거 데이터를 통해서 미래에 발생될 값을 예측 활성화 함수로 탄젠트 하이퍼볼릭을 많이 사용함 Cell 안에 Unit이 여러개 들어가고, 각 Cell마다 은닉상태를 가짐 유형 영향을 주는 셀과 영향받는 셀의 관계에 따라 One-to-One, One-to-Many, Many-to-Many

Distance Metrics

Use the distance metric that matches the model that you're using. Cosine Similarity The cosine similarity measures the angle between two vectors in a multi-dimensional space – with the idea that similar vectors point in a similar direction. Cosine similarity is commonly used in Natural Language Processing (NLP). It measures the similarity between documents regardless of the magnitude. Dot Pro

벡터 검색은 데이터의 의미를 기반으로 결과를 반환하는 검색 방법이다. 텍스트 일치를 찾는 기존 전체 텍스트 검색과 달리 벡터 검색은 다차원 공간에서 검색 쿼리에 가까운 벡터를 찾는다. 벡터가 쿼리에 가까울수록 의미가 더 유사하다. 벡터 검색을 통해 검색어와 데이터의 의미를 해석함으로써 검색자의 의도와 검색 컨텍스트를 고려하여 보다 관련성이 높은 결과를 검색할 수 있다. 벡터는 데이터를 여러 차원으로 나타내는 숫자 배열이다. 벡터는 텍스트, 이미지, 오디오, 구조화되지 않은 데이터까지 모든 종류의 데이터를 나타낼 수 있다. 의미적 유사성은 벡터 사이의 거리를 측정하여 결정된다. 과정 1. 벡터 임베딩: vector embedding 데이터의 의미있는 특징을 벡터로 나타낸다. 2. 유사

임베딩은 자연어의 통계적 패턴을 숫자 벡터로 바꾼 결과이다. 고려하는 정보 임베딩을 만들 때 쓰는 통계 정보는 크게 세 가지가 있다. 첫째는 문장에 어떤 단어가 많이 쓰였는지이고, 둘째는 단어가 어떤 순서로 등장하는지이며, 마지막은 문장에 어떤 단어가 같이 나타났는지와 관련한 정보다. 1. 백오브워즈(bag of words) 가정 수학에서 bag이란 중복 원소를 허용한 집합을 뜻한다. 백오브워즈 가정에서는 어떤 단어가 많이 쓰였는지 정보를 중시하고, 단어의 등장 순서는 무시한다. 단어 빈도 또는 등장 여부를 그대로 임베딩을 쓰는 것은 문서의 주제를 반영하지 못 할 수도 있다는 단점이 있다. (e.g. 은, 는과 같은 조사는 문서의 주제와 상관 없이 자주 등장) 이러한 단

선형회귀 : 최소제곱법 python import tensorflow as tf import matplotlib.pyplot as plt import numpy as np X = [0, 0.5, 1.0, 1.5, 2.0, 2.5] Y = [0.3, 1.9, 2.4, 4.1, 6.8, 7.9] x_mean = sum(X)/len(X) y_mean = sum(Y)/len(Y) division = sum((y-y_mean)*(x-x_mean) for y, x in list(zip(Y,X))) divisor = sum((x-x_mean)2 for x in X) a = division / divisor b = y_mean a * x_mean new_X = np.arange(0, 3, 0.05) n

mnist 알파벳 데이터를 식별하는 CNN 모델 예제이다. python import tensorflow as tf import numpy as np import matplotlib.pylab as plt (train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data() plt.figure(figsize=(6,1)) for i in range(36): plt.subplot(3,12,i+1) plt.imshow(train_images[i], cmap="gray") plt.axis("off") plt.show() 28 * 28의 벡터 이미지 60000개, 채널은 1개 train_i

MNIST 숫자 판별

python import tensorflow as tf import numpy as np import matplotlib.pylab as plt (train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data() plt.figure(figsize=(6,1)) for i in range(36): plt.subplot(3,12,i+1) plt.imshow(train_images[i], cmap="gray") plt.axis("off") plt.show() train_images = train_images.reshape((60000, 28*28)) test_images = test_ima

배, 자동차, 비행기 분류하기

python import numpy as np import tensorflow as tf x = np.array([[0,0], [1,0], [1,1], [0,0], [0,0], [0,1]]) 바퀴, 날개 y = np.array([ [1,0,0], 배 [0,1,0], 자동차 [0,0,1], 비행기 [1,0,0], [1,0,0], [0,0,1] ]) model = tf.keras.Sequential() model.add(tf.keras.layers.Dense(input_dim=2, units=10, activation='relu')) input_dim : 입력값 갯수 model.add(tf.keras.layers.Dense(units=5, activation='relu'

자연어처리

BERT는 트랜스포머를 이용하여 구현되었으며, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델이다. 구글이 2018년 공개하였다. BERT가 높은 성능을 얻을 수 있었던 것은, 레이블이 없는 방대한 데이터로 사전 훈련된 모델을 가지고 레이블이 있는 다른 작업(Task)에서 추가 훈련과 함께 하이퍼파라미터를 재조정하였기 때문이다. 넓은 범위에 대해 학습한 모델을 기반으로 다른 작업에 대해서 파라미터 재조정을 위한 추가 훈련 과정을 거치는 것을 파인 튜닝(Fine-tuning)이라고 한다. 스팸 메일 분류를 하고 싶다고 할때, 이미 위키피디아 등으로 사전 학습된 BERT 위에 분류를 위한 신경망을 한 층 추가한다. 이 경우, 비유하자

퍼셉트론의 구조 입력값마다 다른 weight을 곱한 값을 모두 더하고 여기에 bias라고 불리는 값을 더한다. 더해진 총 합은 활성화 함수에 적용, 활성화 수준을 계산한 값이 출력된다. 여기서, 출력값과 목표 값이 다른 경우 Error를 통해 가중치를 업데이트한다. 결국 학습이라는 것은 이 가중치를 반복적으로 조정하면서 알맞은 가중치와 bias, 즉 학습 목표인 두 부류로 선형분리하기 위한 학습 벡터를 찾아내는 과정이라고 볼 수 있다. 단층 퍼셉트론의 구현 python import tensorflow as tf import numpy as np def step_func(x): 계

활성화함수

python import numpy as np import matplotlib.pyplot as plt 1. 계단 함수(Step function) python def step(x): return np.array(x 0, dtype=np.int) x = np.arange(-5.0, 5.0, 0.1) -5.0부터 5.0까지 0.1 간격 생성 y = step(x) plt.title('Step Function') plt.plot(x,y) plt.show() !image 음수면 0, 양수면 1을 반환하는 간단한 함수이

map, noremap map, noremap 둘다 특정키를 매핑하는 역할을 한다. 둘의 차이는 recursive vs non-recursive 이다. 에를 들어 :map j gg :map Q j 를 하면 j를 누르면 gg를 누른 것과 동일한 효과를 얻게 된다. 만약 대문자 Q를 누른다면 j로 매핑한다음 다시 j가 gg를 가리키므로 결과적으로 Q는 gg를 수행하게 된다. 그래서 map을 ‘recursive’하다라고 얘기한다. 매핑되는 키의 또다른 매핑되는 키를 찾아가게 된다. 하지만 noremap은 non-recursive map이다. :map j gg :noremap Q j Q를 누르면 j를 누르는 효과이다. map command에 대한 mode별 버전들이 있

2024.08-12 첫 회사

업무 7월 말 입사 후 생각보다 다양한 일들을 경험했다. 상배봇 내부 지식 저장소 Jira 임베딩 파이프라인 추가 상배봇이 답변할 때 참고하는 Vector 저장소에 Jira 티켓에 대한 정보를 저장하는 파이프라인을 추가했다. 첫 업무로 진행했던 작업인데, 제이크가 구축하신 컨플루언스 파이프라인을 이해하면서 엄청 신기했다. Vector Search도, RAG라는 개념도 모르는 상태에서 시작했지만 관련된 작업을 하면서 공부하는 과정이 재밌었다. 답변 고도화 상배봇 답변 품질을 높이고 담당자 등 필요한 정보를 더 잘 답변하도록 개선하기 위해, Vector Search 후 바로 답변하는 구조에서 더 많은 문서를 LLM 수준에서 요약하는 구조로 바꾸는 작업을 진행했다. 질문 요약, 문서 요약

학습하는 조직

이 책에서는 '학습조직'이라는 이상적인 조직의 방향을 제시하고, 학습조직이 무엇인지, 어떻게 실현할 수 있는지에 대해 설명한다. 우리는 학습을 통해서 과거에는 하지 못했던 무언가를 할 수 있게 되고, 학습을 통해서 세계와, 자신과 세계의 관계를 재인식한다. 학습을 통해서 창조하는 능력, 생성하는 삶의 과정에 참여하는 능력을 키운다. '학습조직'의 의미도 다르지 않다. 스스로의 미래 창조 능력을 끊임없이 키우고 확장시키는 조직이 바로 학습조직이다. 그러한 조직은 생존만으로 만족하지 않으며 '생성학습', 즉 만들어내고 창조하는 학습을 추구해야한다. 모든 구성원의 학습능력을 활용하고 헌신을 끌어낼 방법을 찾아내는 조직이어야만 미래에 진정한 경쟁우위를 갖고 앞서나갈 수 있다. 학습 조직을 실현하기

압축 알고리즘

BZIP2: Burrows-Wheeler 알고리즘을 사용하는 형식이다. DEFLATE: LZSS 및 Huffman 코딩을 기반으로 한 압축 알고리즘이다. Deflate는 Avro 파일 형식에만 해당된다. GZIP: Deflate를 기반으로 한 압축 알고리즘이다. Athena 엔진 버전 2 및 3의 Hive 테이블과 Athena 엔진 버전 2의 Iceberg 테이블의 경우 GZIP은 Parqu

웹 바이탈(Web Vitals)은 웹페이지 유저들의 사용 경험을 측정하는 구글의 표준화된 웹 성능 측정 기준이다. 사이트의 전반적인 로딩 속도, 상호작용, 웹페이지의 시각적 안정성, 보안 문제 등 여러 요소를 포함하고 있으며, 웹 사이트가 검색 엔진 결과에 표시되는 위치에 영향을 미친다. 검색 엔진에서 최적화하고 전체적으로 유저에게 좋은 환경을 제공하려면 코어 웹 바이탈을 개선해야한다. 성능 지표 중 주요항목으로는 6가지가 있다. FCP (First Contentful Paint) : 첫번째 텍스트 또는 이미지가 표시되는 시간 TTI (Time to Interactive) : 사용자 인터렉션이 가능해질 때까지 걸리는 시간 SI (Speed Index) : 페이지 속도. 얼마나

sitemap.xml 사이트맵은 사이트의 페이지, 동영상, 기타 파일들의 관계에 대한 정보를 제공하는 파일이다. 검색엔진 크롤러는 자동으로 홈페이지에서 시작하는 링크를 따라가 페이지를 탐색하는데, 홈페이지에서 모든 페이지를 접근할 수 없거나 페이지 갯수가 많은 경우(약 500개 이상) sitemap.xml 파일을 설정해놓으면 크롤러가 사이트를 더 효율적으로 크롤링할 수 있다. 사이트에 리치 미디어 콘텐츠(동영상, 이미지)가 많거나 Google 뉴스에 표시되어야 하는 경우 sitemap 파일로 추가 정보를 제공하는 것이 좋다. 크롤러에서 인식할 수 있는 사이트맵 형식은 여러가지가 있다. | 사이트맵 형식 | 장점 | 단점 | |--------------|------|------|

서양인들에게 효율성을 특정짓는 것은 모델화다. 모델화는 실현하고자 하는 대상을 관념적으로 먼저 구상하고, 그 후에 의지와 행동을 통해 관념적 구상을 현실 속에 구체화하는 구도다. 아직 실현되지 않은 목적을 관념적 형태로 떠올리고, 의지와 행동으로 그 것을 현실에 구현하는 것이다. 완전성은 최종적 등급의 설정이 가능하다. 불완전한 것들은 그 끝이 없지만 완전한 것은 최선이 있다. 플라톤이 꿈꾸는 국가도 이상적인 모델을 그리는데, 아리스토텔레스는 이러한 이론, 이상과 실천의 관계가 불안정하다는 점에 대해 고민했다. 이 점에 대해서 그는 시선을 균형점에 고정시킨 채 중간의 이상을 향해 활동을 이어나가야 한다 설명한다. 모델화는 수학, 과학 등 기술적 영역에서 효율성을 발휘한다. 그러나, 인간관계, 전쟁

managementandgovernance

CloudWatch 로그 기능: 하위 개념 Log Group Log Stream S3, OpenSearch로 연동하여 분석 가능 LogGroup으로 로그 보내는 법 CloudWatch agent: CW agent로 메트릭과 로그를 함께 보낼 수 있음 [(문서)](

미쳤다는 것은 정체성이 될 수 있을까?

1993년 캐나다에서 시작된 Mad Pride라는 운동이 있다. 이 운동은 정신 질환을 가진 환자를 억압하는 강압적인 치료에 대한 대응으로 시작되었고, 정신 질환 병력이 있는 사람들에 대한 지역 사회의 편견을 극복하는 것이 목적이라 한다. 자폐증과 ADHD와 같은 진단을 치료해야 할 질병이 아닌 신경 다양성의 한 형태로 보아야 하며, 그러한 것들이 자랑스러운 정체성이 될 수 있다는 것이다. 만약 많은 사람이 조증을 가지고 있다면 모든 세상이 그에 적응하여 돌아갈 것이고, 많은 사람이 신을 믿는다면 그것은 더 이상 망상적 신념이 아니게 된다. 다수의 사람의 기대에 부응하지 못하는 것이 치료가 필요한 질병으로 간주되어야 하는

ip_forward와 rp_filter

ip_forward IP forward는 일반적인 라우터 동작처럼 하나의 인터페이스로 들어온 패킷을 읽어서 일치하는 서브넷을 가지는 다른 네트워크 인터페이스로 패킷을 포워딩하는 것을 말한다. 라우터는 이 방식으로 패킷을 라우팅하지만 대부분의 호스트는 이 작업을 수행할 필요가 없다. 따라서 기본적으로 비활성화 되어있는 기능인데, 필요에 따라 옵션을 활성화할 수 있다. sysctl -w net.ipv4.conf.default.rp_filter=integer sysctl -w net.ipv4.conf.all.rp_filter=integer interger에 활성화 여부를 나타내는 숫자를 넣는다. 0 비활성화 (기본값) not 0 활성화 인터페이스별로 지정해줄 수도 있다.

git branch를 실수로 reset하여 복구하고 싶을 때가 있다. 그런 경우 git reflog를 사용해 특정 명령어 실행 전의 코드로 돌아갈 수 있다. (git log -g --abbrev-commit --pretty=oneline도 사용할 수 있다.) $ git reflog a1b2c3d (HEAD -wip/goofy, origin/develop, origin/HEAD) HEAD@{0}: checkout: moving from wip/goofy to develop a1b2c3d (HEAD -wip/goofy, origin/develop, origin/HEAD) HEAD@{1}: reset: moving to a1b2c3d7aa62eaab5fdc1dfa83993d9b9e78bde5

Jenkins FileSystem .jenkins: The default Jenkins home directory (may be .hudson in older installations). fingerprints: This directory is used by Jenkins to keep track of artifact fingerprints. We look at how to track artifacts later on in the book. jobs: This directory contains configuration details about the build jobs that Jenkins manages, as well as the artifacts and data resulting from

의식의 영역에 대하여

마음이 벅차오를수록, 꼼꼼하게 해야합니다. 컨디션이 좋을수록, 진정으로 차분침착 해져야 합니다. 모든 일에는, 적절한 순서가 정해져있습니다. 단순히 마음가짐을 매번 바로 잡는 것 뿐만으로는 역부족이라는 것을 보는 것 같습니다. 신경써야할게 너무 많으니, 한 순간에 했었던 얕고 짧은 마음가짐은 금방 흐려지나 봅니다. 강한 자의식은 마음의 크기를 키우지만, 동시에 마음을 흐리게 만듭니다. 마치 우주공간처럼. 무언가를 간절하게 원할수록, 그것을 해야만 한다는 당위성이 절대적일수록, 감정이 격할수록, 그 커지는 정도가 심해집니다. 어떤 자극에 의해서 자의식이 강해지면, 사람은 본능적으로 '방심'하게 됩니다. 기본적인 것들을 실수하기 시작한다. -방심하고 있으니 당연하게, 기본적인 것들을 놓치기 쉽습니다.

Postgresql Transaction Wraparound

데이터베이스

Oracle의 MVCC(Multi Version Concurrency Conrtol) 각자 자기 트랜잭션에서 수정한 내용만 조회하도록 하기 위해 Oracle에서 사용하는 방식 트랜잭션이 언제 수행되었는지를 기록하는 시간 정보 = SCN DB 기동 후 트랜잭션 수행할 때마다 1 증가 트랜잭션이 begin되면, 각 DB 세션의 메모리에 SCN 값을 복사해감 새로운 값 + SCN을 복사 생성 이후 자신의 SCN에 대한 값만을 읽으면 됨 Postgresql의 TXID 동시성과 일관성을 맞추기 위해 Postgresql에선 SCN과 비슷한 TXID를 사용함 TXID도 트랜잭션마다 1씩 증가 트랜잭션을 실행하는 프로세

네 명의 완벽주의자

나는 엄청나게 완벽한 결과를 달성하고자 하는 강박이 있는 건 아니라 완벽주의자랑 거리가 멀다고 생각했었는데, 회사에서 인턴으로 있으면서 완벽에 가까운 좋은 결과를 추구하는 마음 때문에 어려워지는 부분이 있다는 걸 알았다. 그래서 공감하고 성찰하면서 읽을 수 있는 부분이 있었다. 하지만 내가 완벽하게 완벽주의자라는 생각은 여전히 들지 않았다. 그래서 막상 책의 핵심적인 부분인 '네 명의 완벽주의자' 특성에 대해 분석하고 설명하는 부분은 오글거려서 몰입하지 못했다. 책을 읽은 후 생각해봐도 근본적으로 좋은 결과를 추구하는 성향은 (누구나 그렇겠지만) 버릴 수 있는 게 아닌 것 같고, 그걸 상황에 맞게 활용하고 조절하는 방법을 앞으로 익혀나가야 할 것 같다. 책에서 완벽주의자의 부정적인 면에 대해 설

private 통신을 위해 UDP 포트를 열어놓고 STUN과 ICE를 사용하여 통신하는 경우가 있다. 하지만 이 방법은 필요한 커넥션의 갯수만큼 많은 포트를 열어놓아야 하기 때문에, Tailnet에선 보안적으로 더 우수한 DERP(Designated Encrypted Relay for Packets) 라는 방법을 사용한다. DERP는 각 수신자에게 가장 가까운 DERP를 통해 트래픽을 비대칭적으로 라우팅한다. Tailscale 개인 키는 생성된 노드를 절대 떠나지 않는다. 이는 DERP 서버가 귀하의 트래픽을 해독할 수 있는 방법이 전혀 없다는 것을 의미한다. 단지 이미 암호화된 트래픽을 한 노드에서 다른 노드로 맹목적으로 전달할 뿐이다. 이는 남용을 방지하기

데이터베이스

Session 모드, Transaction 모드 PgBouncer를 비롯한 Database Proxy에는 커넥션 풀을 사용하는 모드가 크게 두 가지 있다. Session 모드 클라이언트가 PgBouncer에 맺는 커넥션과 PgBouncer에서 DB에 맺는 커넥션을 1:1 대응하여 실행하는 모드 세션 풀을 PgBouncer에서 관리하여, 기존보다 더 안정적인 풀링을 할 수 있다는 장점이 있다. Transaction 모드 클라이언트에서 실행하는 트랜잭션별로 pgbouncer 풀의 커넥션을 배정받아 실행하는 모드 생성된 커넥션이 낭비될 가능성을 줄이기 때문에, 총 커넥션 갯수를 더 적게 유지할 수 있다. 각 애플리케이션에서 가지고 있는 커넥션 수의 합이 실제 db 커넥션 수보다 적을 수

linux의 set 명령어는 다양한 기능을 가지고 있다. 변수 출력 set 명령어를 인수 없이 실행하면 셸에 설정된 환경변수 및 변수 목록을 출력한다. $ set '!'=0 ''=0 '$'=65931 '*'=( ) -=569XZilms 0=-zsh '?'=0 @=( ) ARGC=0 BUN_INSTALL=/Users/rlaisqls/.bun CDPATH='' COLORTERM=truecolor COLUMNS=178 COMMAND_MODE=unix2003 CPUTYPE=arm64 DISABLE_UPDATE_PROMPT=true ... 옵션 set 명령어의 옵션으로 셸의 다양한 동작 모드를 설정할 수 있다. 각 옵션 앞에 -를 붙여서 사용하면(-a) 옵션을 추가한다는 뜻이고, +

DNS(Domain Name System) : 사람이 식별하기 쉬운 도메인 이름을 컴퓨터가 식별하기 위한 네트워크 주소(IP)간의 변환을 수행하기 위한 시스템 (TCP,UDP/53) 데몬 이름 : named 기본 DNS 서버 주소에 대한 정보는 /etc/resolv.conf 파일에 저장되어 있다. Recursive 네임 서버 (Cache DNS 서버) 서버에 질의가 들어오면 자신의 캐시에 저장된 정보 또는 반복적 질의를 통해 그 결과를 호스트에게 응답해주는 네임서버 반복적 질의(Iterative Query): Recursive 네임 서버가 각 네임서버(Authoritative 네임서버)로 질의하는 방식 재귀적 질의(Recursive Query) : 호스트

bind로 DNS 서버 정의하기

1. bind를 설치한다 bind(Berkely Internet Name Domain)는 DNS를 구축, 운영하기 위한 Linux 툴이다. 검증되고 안정적인 DNS 서버이며, 많은 DNS 서버에서 사용된다. yum -y install bind bind-chroot bind-utils 2. /etc/named.conf 파일에서 DNS 서버로 사용할 포트를 열어준다 conf options { // listen-on port 53 { 127.0.0.1; }; // listen-on-v6 port 53 { 127.0.0.1; }; listen-on port 53 { any; }; listen-on-v6 port 53 { an

Domain-based Split Tunnels

VPN을 구성할 때, 특정 도메인에 대해서만 VPN을 활성화하고 싶은 경우가 있을 수 있다. 해당 기능에 대해 TailScale과 Netbird는 아래와 같은 방식으로 제공한다. TailScale에서 제공하는 방식 (문서) 1. DNS 쿼리를 로컬 TailScale 서버로 날리도록 한다. 2. 로컬 데몬에서는 8.8.8.8과 같은 도메인 서버에 다시 요청을 날려서, 도메인 쿼리 결과를 기록해놓은 후 결과를 그대로 돌려준다. 3. 기록한 IP에 대해 커넥터로 지정된 호스트에 라우팅하도록 한다. 4. private 네트워크에 성공적으로 통신할 수 있다.

SSL passthrough

Only way to have ssl passthrough is by using a stream host. And Nginx can't run a stream on the same port as other proxies. It's one stream per port, and a port with a stream attached can't have any other proxies attached. We can work around this by routing all HTTPS traffic through this single stream, which in turn forwards it either to the ssl passthrough server or back to nginx itself on a

Firezone is an open source platform to securely manage remote access for any-sized organization. Unlike most VPNs, Firezone takes a granular, least-privileged approach to access management with group-based policies that control access to individual applications, entire subnets, and everything in between. Unlike traditional VPNs, however, Firezone has the following key differences: Open source

WebRTC(Web Real-Time Communication)란 웹 애플리케이션과 사이트가 중간자 없이 브라우저 간에 오디오나 영상 미디어를 스트림 하거나, 데이터를 자유롭게 교환할 수 있도록 하는 기술이다. 한마디로 요약하자면 드라이버나 플러그인 설치 없이 웹 브라우저 간 P2P 연결을 통해 데이터 교환을 가능하게 하는 기술이다. WebRTC는 기존의 웹 2.0에서 한층 더 나아가, 서버와 같은 중간자를 거치지 않고 브라우저 간을 P2P로 연결하는 기술이다. 화상 통화와 실시간 스트리밍, 파일 공유, 스크린 공유 등의 기능을 WebRTC 기반으로 구현할 수 있다. P2P 연결은 중개 서버를 거치지 않기 때문에 빠른 속도가 보장되며, HTTPS가 강제되기 때문에 중간자 공격에 대한 보안이 보장된다.

VPN이란 가상사설망이다. TCP/IP 기반의 개방형 네트워크인 인터넷에서 한 네트워크에서 다른 네트워크로 이동하는 모든 데이터 정보를 암호화하여 사설망 기능을 제공하기 위해 도입된 기술이다. 즉, 원격지에서 특정 네트워크(서버)와 마치 유선으로 연결된 것처럼 연결하는 것이다. VPN 터널은 암호화되기 때문에 해킹을 당했을 시에도 통신 데이터를 보호할 수 있다. VPN의 종류는 대표적으로 IPsec VPN, SSL VPN이 있다. IPsec VPN IPsec VPN은 VPN 게이트웨이(서버) 장비 2개를 서로 연결함으로써 네트워크와 네트워크를 연결하는 VPN이다. 기업의 본사 네트워크와 지사 네트워크를 연결하는 용도로 주로 사용된다. IPSec VPN을 IPSec VPN이라 부르는 이유는 VP

Wireguard와 Firezone

WireGuard WireGuard는 두 지점(Peer) 사이의 통신을 암호화하는 프로토콜에 대한 구현체이다. WireGuard는 Diffie-Hellman(DH) key 교환 방식을 기초로 하는 Noise protocol을 기반으로 만들어졌다. 특징 우수한 성능: UDP만을 사용하며, 불안정한 연결 환경에서도 잘 작동하도록 설계되었다. 또한 Linux에 내장되어 있는 암호화 기법들을 사용하면서 잘 최적화되어 있어 암호화 성능도 좋고, 모바일이나 임베디드 환경에서도 사용하기 좋다. 첨단 암호화 기법 사용: 안전하고 빠른 암호화 기법을 사용한다. WireGuard에서 내부적으로 사용하는 Noise protocol framework는 Zer

New Architecture

JIS 맨 처음엔 RN에서 js 엔진으로 JSC(Apple에서 만든, safari에서 쓰이는 엔진)가 사용되었는데, 브릿지의 책임이 커지고 서로 강결합된다는 문제가 발생했다. 이러한 문제를 해결하기 위해 엔진 인터페이스(JSI)가 만들어졌다. JIS는 Native와 JS 코드가 직접 상호작용할 수 있도록 한다. 즉 JSI라는 인터페이스를 통해서 자바스크립트가 호스트 쪽 객체의 레퍼런스를 직접 가질 수 있도록, 그리고 호스트 쪽 메소드도 직접 호출할 수 있도록 한다. 데이터 전달 과정 네이티브 모듈 인프라로 전달 js runtime이 c++로 전해주고, 네이티브 모듈 인프라로 전해서 처리 뷰도 같은 식으로 전달해서 UI Manager로 전해서 처리 (메모리 업데이트 되면 JS에 반영이 되어서 표

리액트 네이티브는 iOS와 안드로이드에서 동작하는 네이티브 모바일 앱을 만들기 위한 자바스크립트 프레임워크이다. 리액트 네이티브의 동작 원리는 리액트의 가상(virtual) DOM과 관련되어 있습니다. DOM 수정은 매우 값비싼 동작이기 때문에 리액트는 페이지의 변화를 바로 렌더링 하는 대신 메모리의 가상 DOM을 이용해 변화가 필요한 곳을 계산하고 최소한의 변경사항만 렌더링한다. 리액트 네이티브는 같은 원리를 이용해 브라우저의 DOM이 아닌 오브젝티브-C API를 호출하여 iOS 컴포넌트를 렌더링하고, 자바 API를 호출하여 안드로이드 컴포넌트를 렌더링한다. 이는 브릿지가 대상 플랫폼의 네이티브 UI 요소에 접근하는 인터페이스를 제공하기 때문에 가능하다. 스레딩 모델 리액트 네이티브는 다음의

Go의 GC는 mark-sweep 방식으로 동작하며 두 가지 주요 단계로 나뉜다. 마킹: 메모리에서 살아있는 객체를 식별한다. 스윕: 죽은 객체를 해제하여 메모리를 반환한다. GC는 스윕 → 비활성 → 마킹 세 단계를 순회하며 주기적으로 진행된다. Go의 GC는 현시점의 Heap 크기와 직전 시점의 Heap 크기에 대한 증가율이 특정 정도에 다다르면 수행되는 로직으로 구현되었다. 이 때 그 정도를 정하는 변수는 GOGC라고 부른다. GOGC 값을 사용해 아래와 같이 목표 힙 메모리를 구한다. 목표 힙 메모리 = 살아있는 힙 메모리 + (살아있는 힙 메모리 + GC 루트) × GOGC / 100 예를 들어, 살아있는 힙이 8 MiB이고, GOGC가 100일 때, 목표 힙 메모리는 18 MiB이다.

슬라이스는 내부적으로 사용하는 배열의 부분 영역인 세그먼트에 대한 메타 정보를 가지고 있다. 슬라이스는 크게 3개의 필드로 구성되어 있다. 1. 내부적으로 사용하는 배열에 대한 포인터 정보 2. 세그먼트의 길이 3. 세그먼트의 최대 용량(Capacity) append append()가 슬라이스에 데이터를 추가할 때는 슬라이스 용량(capacity)이 아직 남아 있는 경우: 용량 내에서 슬라이스의 길이(length)를 변경하여 데이타를 추가한다. 용량(capacity)을 초과하는 경우: 현재 용량의 2배에 해당하는 새로운 Underlying array를 생성하고, 기존 배열 값들을 모두 새 배열에 복제한 후 다시 슬라이스를 할당한다. 아래 예제는 길이 0, 용량 3의 슬라이스에 1부터 15까

Go에서 하기 쉬운 실수

slice를 선언할 수 있는 방법은 매우 다양하다. var s []string // empty=true, nil=true s = []string(nil) // empty=true, nil=true s = []string{} // empty=true, nil=false s = make([]string, 0) // empty=true, nil=false 책의 권장사항 var s[]string: 최종 길이를 모르고 슬라이스가 빌 수도 있는 경우 []string(nil): nil 슬라이스이면서 empty슬라이스를 생성하는 편의 구문 make([]strign, length): 최종 길이를 아는 경우.

LSM 트리는 로그파일 기반으로 작성되는 방식의 파일 구조이다. LSM 트리는 Append-only 방법이어서 쓰기작업의 효울성이 좋다. 작동 방식 쓰기 작업 LSM 트리는 데이터를 disk에 바로 쓰지 않고, 정렬된 메모리 테이블(memTable)과 로그파일에 먼저 쓴다. 메모리 테이블은 주로 레드-블랙 트리를 사용하여 키-값 쌍을 기반으로 정렬된 구조를 유지한다. Memtable이 설정된 임계값에 도달하면, 그 내용은 디스크에 파일로 저장됩니다. 이때 데이터는 정렬된 상태로 저장되기 떄문에, 이 파일을 SSTable(Sorted String Table)이라고 부른다. SSTable은 불변성을 지니며, 한 번 기록된 후에는 변경되지 않는다. 이 구조는 데이터 일관성을 보장하며 압축이

MongoDB Aggregation

MongoDB의 Aggregation은 각 스테이지가 순차적으로 처리되며, 그 결과를 다음 스테이지로 전달하면서 사용자의 요청을 처리한다. 그래서 각 스테이지들의 배열 순서는 처리 성능에 많은 영향을 미친다. 예를 들어, 필요한 도큐먼트만 필터링 하는 스테이지는 데이터를 그룹핑하는 스테이지보다 앞쪽에 위치해야 그룹핑해야 할 도큐먼트의 건수를 줄일 수 있고, Aggregation의 성능을 높일 수 있다. aggregation 파이프라인의 각 단계에서는 다음과 같은 연산자들을 제공한다. $project: 출력 도큐먼트상에 배치할 필드를 지정한다. $match: 처리될 도큐먼트를 선택하는 것. find()와 비슷한 역할을 수행한다. $limit: 다음 단계에 전달될 도큐먼트의 수를 제한한다. `$

MongoDB의 Atlas Search는 Atlas 클러스터에서 데이터의 세밀한 텍스트 인덱싱과 쿼리를 가능하게 한다. Atlas Search는 데이터베이스에 별도의 검색 시스템을 추가하지 않고도 고급 검색 기능을 사용할 수 있도록 한다. Atlas Search는 여러 종류의 텍스트 분석기 옵션, $search와 $searchMeta 같은 Atlas Search 집계 파이프라인 단계를 다른 MongoDB 집계 파이프라인 단계와 함께 사용하는 풍부한 쿼리 언어, 그리고 점수 기반 결과 순위 지정을 제공한다. 개념 인덱싱 검색에서 인덱스는 쉽게 검색할 수 있는 형식으로 데이터를 분류하는 데이터 구조다. 검색 인덱스는 전체 컬렉션을 스캔하지 않고도 주어진 용어를 포함하는 문서를 더 빠르게 검색할

트라이는 문자열을 저장하고 효율적으로 검색하기 위한 트리 기반의 자료구조이다. 트라이는 루트 노드부터 시작하고, 각 노드는 문자를 나타낸다. 그리고 문자열은 루트에서 리프 노드까지의 경로로 표현된다. 트라이 자료구조를 사용하면 문자열을 매우 빠르게 검색할 수 있다. 특히 접두사 검색에 효율적이다. (O(m) 시간, m은 문자열 길이). 큰 메모리가 필요하다는 단점이 있다. 접두사를 바탕으로 한 자동 완성이나, 문자열 매칭을 위해 사용할 수 있다. 구현 트라이의 한 노드를 구성하는 객체는 자손 노드를 가리키는 포인터 목록과, 문자열의 끝인지를 나타내는 bool 변수로 구성된다. 자손 노드 포인터를 저장하기 위해 맵이나 벡터를 사용할 수 있다. c struct Trie { map ch; //

세그먼트트리

세그먼트트리로 구간합을 구하는 알고리즘이다. java public class boj2042{ static Scanner sc = new Scanner(System.in); static long[] Tree; static long[] arr; static int log2(int x,int base){ return (int) Math.ceil(Math.log10(x)/Math.log10(2)); } /* makeTree : 길이가 8인 배열이 있을때 (1-8의 구간합)

CUE는 논리 프로그래밍에 기반을 둔 오픈소스 데이터 검증 언어 및 추론 엔진이다. 이 언어는 데이터 검증, 템플릿 작성, 구성 관리, 쿼리 실행, 코드 생성, 스크립팅 등 다양한 용도로 사용될 수 있다. CUE의 추론 엔진은 코드 내에서 데이터를 검증하거나 코드 생성 파이프라인의 일부로 활용될 수 있어 유연성이 높다. JSON의 슈퍼셋이기 때문에 json과 비슷하게 사용할 수 있고, json이나 yaml로 export하는 것도 가능하다. json // json.cue one: 1 two: 2 // A field using quotes. "two-and-a-half": 2.5 list: [ 1, 2, 3, ] json $ cue export json.cue {

코드로 인프라 관리하기 2판

코드를 통해 인프라를 설계하거나 프로비저닝을 하고자 하는 사람을 위한 책이다. IaC에 대한 추상화 된 이론과 개념, 원칙과 패턴을 소개하고, 의사코드를 제시한다. 이 책에서 IaC의 핵심 실행 방법으로 제시하는 것은 세 가지가 있다. 1. 모든 것을 코드로 정의한다. 코드로 모든 것을 정의하는 것이 도움되는 이유는 다음과 같다. 재사용성: 모든 것을 코드로 정의하면 인스턴스 단위로 빠르게 수정하고 새롭게 빌드할 수 있다. 일관성: 코드를 사용해 빌드한 시스템은 매번 같은 방식으로 빌드할 수 있기 때문에, 시스템의 예측 가능성과 테스트성을 높인다. 투명성: 코드를 보면 시스템이 어떻게 구축되었는지 더 쉽고 빠르게 파악할 수 있다. 코드를 선언형으로 정의할 것인지, 명령형으로 정의할 것인지는

2024.05-07 나름 알찬 3학년

3학년 1학기가 끝나고 현장실습을 앞두고 있다. 공부도 하고, 책도 마음껏 읽고, 학교에서 이런저런 일들을 겪다보니 시간이 빠르게 지나갔다. 엄청나게 알찬 시간이었다고 할 수는 없지만 나름 여러 활동을 하며 만족스럽게 지냈다. 이제 학교에서 생활할 일이 거의 없을거라는 사실이 아쉽다. 이번 회고에선 지난 기간에 했던 활동들을 돌아보도록 하겠다. eBPF Pyroscope Agent의 eBPF 기능을 rust로 옮겨 개발하는 프로젝트를 3월에 시작해서 5월 말에 마무리했다. perf map에서 symbol을 가져오는 기능도 완벽하게 동작하지는 않지만 jvm에서 일부 함수 심볼의 flameGraph를 만드는 테스트도 해봤다. 이 때 구현하면서 공부, 분석했던 원리들은 [eBPF로 서버 성능 Profil

데브옵스 엔지니어를 위한 실전 관찰가능성 엔지니어링

책의 내용을 요약하면 장애 발생시에는 개발자의 경험에 전적으로 의지해 디버깅하는 게 아니라, 장애에 대한 더 확실하고 다양한 정보를 드러낼 수 있도록 모니터링 해야한다. 그러므로 모니터링 메트릭과 스판 등 다양한 정보를 엮어 말 그대로 여러 각도에서 시스템을 관찰할 수 있는 가능성을 높여야 한다 즉, 관찰 가능성의 필요성과 관찰 가능성을 높이기 위한 몇가지 모델과 툴을 알려주는 내용이었다. SLO, 카디널리티, 디멘셔널리티, ROI 같은 용어들을 알게 되었고, CI에 대한 span을 계측한다는 슬랙의 사례도 흥미로웠다. 인턴 때 만들었던 DORA 메트릭 대시보드도 장애 비율, 회복력을 확인하기 위한 거라 좀 더 관심을 가지고 봤다. 하지만 실무에 관찰 가능성을 도입하고자 할 떄 어떻게 활용할

니콜라 테슬라 평전

테슬라는 자신만의 발명 방식을 가진 발명가였다. 그는 아이디어가 떠오르면 그것을 마음속에 구축하고, 마음속에서 최대한으로 개선했다는 확신이 들 때 구현을 시작했다. 아이디어를 실제 실행으로 옮기는 순간 세부 내용이나 결함 때문에 집중력이 흩어지기에 그 장치의 밑바탕이 되는 훌륭한 원리를 잃게 된다고 생각했다. 따라서 발명을 위해 그의 훌륭한 상상 능력을 적절히 활용했다. 테슬라는 발명의 발견에 있는 아이디어를 확인하면 기꺼이 그것을 글이나 특허로 만들려고 했으며 그것을 대중에게 과시하는데 큰 기쁨을 느꼈다. 하지만 자신의 발명을 이윤을 만이 남기는 제품으로 전환하는 일에 특별히 관심을 기울이지는 않았다. 게다가 자기 발명의 바탕이 된 아이디어를 일반인이 파악하지 못해 좌절하기도 했고, 그래서

그의 운명에 대한 아주 개인적인 생각

정치 분야에서 굉장히 뜨겁고, 시기적 특성이 많이 담긴 책인 것 같아서 읽어봤다. 정치에 대해 잘 모르기 때문에 저자분이 옳다고 생각하시는 것에 대해 어떻다 판단하기가 조심스럽다. 다수의 평가가 어떻든 책 한 권 읽고 동조하는 건 그렇게 좋은 행동이 아닌 것 같다. 그런데 일단 윤석열 대통령이 연설시에 횡설수설하거나 상황을 고려하지 않은 발언을 할 때가 있다는 건 동의한다. 육사 흉상 철거에 대한 일이나 3·1절 105주년 기념사에서도 역사에 대한 의식이 너무 흐린 것 아닌가 하는 의구심이 들었다. 그리고 궁극적인 결과가 어떻냐에 관계없이 R&D 예산 삭감이나 의대 증원 정책도 과하게 성급한 면이 있다고 생각한다. 이게 다 윤석열 대통령이 가지고 있는 불통인 면 때문에 그런거냐 하면 그건 내가

임베디드 리눅스 프로그래밍 수업 정리

임베디드 시스템의 특징 임베디드 시스템: 내부에 Computer(마이크로 프로세서/마이크로 컨트롤러)를 내장한 제품 혹은 시스템 일반적인 계산 목적이 아니라 특별한 임무를 수행하도록 프로그램이 내장되어 있는 시스템 목적에 알맞은 Processor의 특징에 의존한다 일반적으로 보다 큰 시스템의 일부이거나 독립됨 하드웨어와 소프트웨어의 변경이 매우 어려움 가격에 예민함 임베디드 시스템처럼 호스트 시스템과 타겟 시스템이 다를 때 애플리케이션을 개발하기 위해선: 효과적인 개발을 위한 특정 툴과 개발방법이 필요, 개발툴에 Hardware에 대한 Setting을 해줘야 함 Host 시스템이 Target에 알맞은 기계어를 생성하기 위해서 Cross Toolchain이 있어야 한다 타켓 시스템의 디버깅을 위해 전용

GoCD는 CI/CD(지속적 배포-Continuous Delivery) 파이프라인을 쉽게 모델링 및 시각화할 수 있도록 해주는 툴이다. 젠킨스처럼 다양한 플러그인을 지원하지는 않지만, 파이프라인 요청에 따라 클러스터에서 적절한 리소스를 할당해 실해주는 Ad-Hoc 환경을 지원해주기 때문에 클라우드 환경에 좀더 적합할 수 있다. 실습 설치 helm으로 빠르게 깔아보자 helm repo add gocd helm repo update helm install gocd gocd/gocd --namespace gocd --create-namespace 파이프라인 수정 처음 들어가면 getting_started_pipeli

소프트웨어 공학

소프트웨어 공학 수업 기말고사 대비 정리입니다. --- 소프트웨어 공학 공학에는 정해진 기간과 주어진 비용이라는 제한이 있기에, 문제 해결을 위한 기술과 공학적 원리를 활용해야 한다. 그리고 이를 실무에 적용해 문제 해결의 절차를 만들고 반복적인 절차를 개선해 표준을 만들어낸다. 소프트웨어 개발의 어려움을 해결하기 위해 공학을 적용하는 것이 소프트웨어 공학이다. 비용 산정 기법 하향식 전문가 판단 기법 델파이 기법: 전문가의 편견에 영향받지 않도록 조정자를 둠 상향식 코드 라인 수(Line Of Code): 코드 라인 수를 구하고 노력 산정 개발 단계별 노력 기법: 각 단계의 노력 투여를 맨먼스(M/M)로 구함 수학적 COCOMO: 라인 수를 추정하고, 이

부단히 타자를 향하는 리비도가 결코 사라지지 않고 삶과 죽음의 경계까지도 초월하여 결국 자기 자신에게로 회귀하는 노파와 금복의 이야기는 다분히 초역사적이며 차라리 알레고리에 가깝다. 수십 년에 걸친 그녀들의 삶과 죽음의 이야기를 자유자재로 서술하는 달변 역시 다분히 구술적이다. 천명관 작가 고래의 문학동네 판본에는 해설이 함께 실려있다. 해당 해설 중에 있는 위 구절이 고래라는 소설을 설명하는 제일 간결하고 확실한 표현이라고 생각한다. 타자에 대한 리비도 때문에 여러 사건을 겪은 후 금복은 그로부터 벗어나 스스로의 사업에 집중하며 남성성을 지니게 되고, 결국 좋지 못한 결말을 맞는다. 그리고 금복 이후의 이야기를 잇는 금복의 딸 춘희는, 자신의 '사업'에 집중하는 금복과 다르게 내면에 몰입하고

MetalLB는 BareMetal LoadBalancer의 약자로, Kubernetes 클러스터에 연결되어 온프레미스 환경(IDC)에서 로드밸런서 타입 서비스를 구현해주는 툴이다. MetalLB가 제공하는 기능을 크게 나누면 주소를 할당해주는 기능과 외부와 연결하는 기능 두 가지로 나누어 볼 수 있다. 주소 할당 클라우드 제공업체의 Kubernetes 클러스터에서는 로드밸런서를 요청하면 클라우드 플랫폼이 IP 주소를 할당해준다. 베어메탈 클러스터에서는 MetalLB가 이 할당을 담당한다. MetalLB에 사용할 수 있는 IP 주소 풀을 제공하면 해당 풀에서 LB를 생성해준다. 외부 연결 MetalLB가 서비스에 외부 IP 주소를 할당한 후에는 해당 IP가 클러스터에 "존재한다"는 것을 클러스터

시리얼 통신

병렬통신과 직렬통신 병렬통신(Parallel Communication) 다수의 비트(bit)를 한번에 전송하는 방법이다. 이들은 보통 8 또는 16 또는 그 이상의 라인을 통해 동시에 데이터를 보냄 타이밍(clock)에 맞춰 모든 라인이 같이 동작할 수 있도록 clock(CLK) 라인이 필요하므로 8-bit data bus의 경우 9라인을 사용한다. 패러럴은 빠르고 상대적으로 구현이 쉽지만 input/output(I/O) 라인을 많이 소모한다. 직렬통신(Serial Communication) 데이터를 스트림으로 바꿔서(직렬화, serialization) 한 번에 한 비트씩 전송한다. 시리얼 인터페이스는 clock 라인 포함 2라인으로 데이터를 전송한다. 동기 시리얼과 비동기 시리얼 동기식 시리

2020 중등부 정올 2차

처음이자 마지막 정올 경험이었던 2020 중등부 정올 2차 문제를 다시 풀어본다. 1. 종이접기 문제에 나온 내용 그대로, 종이를 접었을 때 구멍의 모양이 어떻게 되는지를 잘 구현하면 된다. 2. 등산 마니아 간선을 기준으로 지나가는 경로의 수를 계산한다. 1. DFS를 사용하여 각 정점의 자식 노드 수(cnt)를 계산한다. 2. 각 간선에 대해 다음 두 가지 경우를 계산한다. 간선 아래쪽의 자식 노드들 중 두 개를 선택하는 경우: cnt*(cnt-1)/2 간선 아래쪽의 자식 노드 하나와 그 외 정점 하나를 선택하는 경우: `cnt*(n-cnt

보드판 크기를 N이라 두자. N을 6으로 나눈 나머지가 2 또는 3이 아니라면, 1부터 N까지의 수를 (짝수 오름차순) + (홀수 오름차순)으로 나열하도록 배치하면 된다. N을 6으로 나눈 나머지가 2이라면, 앞선 홀수 오름차순 리스트에서 1과 3의 위치를 바꾸고 5를 맨 뒤로 보낸다. 즉 (짝수 오름차순), (3, 1, 7, 9, ...., 5) 꼴이 될 것이다. N을 6으로 나눈 나머지가 3이라면, 2를 짝수 오름차순 리스트의 맨 끝으로 보내고 1, 3을

구간 업데이트(덧셈)가 있을 때 쿼리마다 구간의 gcd를 구하는 문제이다. 각 구간별 gcd를 세그먼트 트리로 저장하는 일반적인 방법으로는 시간초과가 발생한다. 구간에 수를 더하면 gcd를 다 다시 계산해야하기 때문이다. 수를 더했을 때 gcd를 모두 재계산하는 것을 막기 위해선 gcd(a, b) = gcd(a, a-b)라는 성질을 활용해야한다. 이 식을 확장하면 gcd(a, b, c, d, e) = gcd(a, |b-a|, |c-b|, |d-c|, |e-d|)라는 것을 알 수 있다. 세그먼트 트리의 각 노드에서 gcd(|b-a|, |c-b|, |d-c|, |e-d|)를 관리한다고 했을 때, b, c, d에 x만큼을 더

+ 더보기