Skip to content

김은빈

저는 새로운 것을 알아가고 공부하는 것을 좋아합니다.
생각을 글로 (또는 코드로) 체계적으로 정리하는 데 재미를 느낍니다.
상황을 다양한 시각으로 바라보고 고려하기 위해 노력합니다.
정직하면서 성숙하게 말하는 사람이 되고 싶습니다.

잘 정리된 모습은 아니지만 제가 공부하고 생각한 내용을 기록하는 공간입니다.
들러주셔서 감사합니다. 좋은 하루 되세요!

최신글

Quickselect는 정렬되지 않은 배열에서 k번째로 작은 원소를 평균 O(n)에 찾는 알고리즘이다. 퀵소트의 파티션을 그대로 쓰되, 양쪽을 다 재귀하지 않고 k가 속한 쪽만 따라간다. 동작 파티션은 피벗을 하나 골라서 작은 원소는 왼쪽, 큰 원소는 오른쪽으로 보낸다. 피벗은 정렬된 최종 위치에 놓인다. 피벗 위치가 k면 끝이고, 아니면 k가 있는 쪽으로 재귀한다. [3, 7, 2, 8, 1, 5, 4]에서 3번째로 작은 원소 (k=2, 0-indexed)를 찾자. 피벗 4 → 파티션 → [3, 2, 1, 4, 7, 8, 5] ↑ 피벗 위치 = 3 k=2 0이니까 오른쪽 [2, 3]만 본다. 피벗 3 → 파티션 → [2, 3]

Quicksort는 피벗을 기준으로 배열을 둘로 나누고, 각각을 재귀적으로 정렬하는 알고리즘이다. (평균 O(n log n), 최악 O(n²)) 파티션 피벗을 하나 고르고, 배열을 순회하면서 피벗보다 작은 원소를 왼쪽으로 모은다. 순회가 끝나면 피벗을 중간에 넣는다. 피벗은 최종 정렬 위치에 놓인다. [3, 7, 2, 8, 1, 5, 4] 피벗 = 4 j=0: a[0]=3 & a, int lo, int hi) { if (lo >= hi) return; int pivot = a[hi], i = lo; for (int j = lo; j j → 파티션 끝. 분할 지점 = j = 2 [3, 1, 2 | 8, 7, 5, 4] ≤ 3 ≥ 3

ASIC(Application-Specific Integrated Circuit)은 특정 용도에 맞춰 설계된 반도체 칩이다. 범용 프로세서(CPU)나 GPU와 달리 하나의 작업만 수행하도록 회로를 고정하기 때문에, 해당 작업에서는 전력 효율과 성능이 압도적으로 높다. GPU와 비교 GPU는 원래 그래픽 렌더링용이었지만 수천 개의 코어를 활용한 병렬 연산이 딥러닝 학습에 적합해서 AI 가속기로 자리 잡았다. 그런데 GPU는 여전히 범용 연산을 지원하는 프로그래머블 칩이다. 행렬곱 외에도 그래픽, 시뮬레이션, 암호화 등 다양한 워크로드를 돌릴 수 있고, 그만큼 회로에 낭비가 있다. ASIC은 이 낭비를 없앤다. 예를 들어 행렬곱과 컨볼루션만 하면 되는 추론 칩이라면, 분기 예측기나 범용 ALU 같은 회

정렬된 배열에서 특정 값을 찾을 때, 전부 다 순회할 때의 시간 복잡도는 O(n)이다. 하지만 배열이 정렬되어 있다는 사실을 이용하면, 중간값과 비교해서 절반을 날릴 수 있다. 이것이 이진 탐색이고, O(log n) 시간 복잡도를 가진다. 정렬된 배열에서 쿼리 값 q에 가장 가까운 원소를 찾는 최근접 이웃(nearest neighbor) 탐색도 같은 원리이다. brute force로 하면 모든 원소와의 거리를 계산해야 하니 O(n)이다. 하지만 배열이 정렬되어 있으면, q가 배열에서 어디쯤 들어갈지를 이진 탐색으로 O(log n)에 찾을 수 있다. q가 들어갈 위치를 찾았으면, 가장 가까운 원소는 그 위치의 바로 왼쪽 아니면 오른쪽에 있다. 이 문제는 1차원에 해당한다. 하지만 2차원 평

람다 대수(Lambda Calculus)는 1930년대 알론조 처치가 만든 형식 체계이다. 이름 없는 함수 하나만으로 숫자, 논리, 재귀를 전부 구성할 수 있다. 람다 식 람다 대수의 세계에 존재하는 것은 세 가지뿐이다. 변수: x 추상화 (함수 정의): λx.M — x를 받아 M을 반환하는 함수 적용 (함수 호출): M N — M에 N을 넘김 숫자도, 참/거짓도, if문도, 루프도 없다. 함수만 있다. 이것만으로 컴퓨터가 하는 모든 계산을 표현할 수 있다는 것이 이 글의 결론이다. λx.M이라는 표기가 낯설 수 있는데, 프로그래밍의 익명 함수와 같다. λx.x는 JavaScript로 쓰면 (x) =x, Python으로 쓰면 lambda x: x이다.

Approximate Nearest Neighbor

Approximate Nearest Neighbor(ANN)는 고차원 벡터 공간에서 정확한 최근접 이웃 대신 근사적으로 가까운 이웃을 찾는 탐색 방식이다. '왜 근사가 필요한지'를 이해하려면 저차원에서 정확한 탐색이 어떻게 동작하는지부터 봐야 한다. 2차원 평면에서 가장 가까운 두 점을 찾는 문제는 O(n log n)에 풀 수 있다. x좌표 기준으로 정렬한 뒤 스위핑하면서, 현재 최소 거리 d 이내의 strip에 있는 점만 비교하는 식이다. 분할정복 방식도

Frozen과 Trainable

Frozen과 Trainable은 모델 학습 시 각 레이어의 가중치를 업데이트할지 여부를 나타내는 상태이다. Frozen 학습 중 가중치가 변하지 않도록 고정하는 것이다. 역전파 시 gradient가 전파되지 않으므로 가중치가 그대로 유지된다. python PyTorch for param in model.backbone.parameters(): param.requires_grad = False Keras model.layers[0].trainable = False Frozen으로 설정하면 해당 레이어의 gradient 계산을 건너뛰기 때문에 메모리와 연산량이 줄어든다. GPU 메모리가 부족하면 일부 레이어를 frozen해서 배치 사이즈를 늘리는 식으로 활용하기도 한다.

TOCTOU(Time-of-Check to Time-of-Use)는 자원의 상태를 검사(check)한 뒤 사용(use)하기까지의 틈에 그 자원이 바뀌어 생기는 race condition이다. access + open access()로 권한을 확인하고 open()으로 파일을 여는 코드를 생각해보자. c if (access("/tmp/file", W_OK) == 0) { int fd = open("/tmp/file", O_WRONLY); write(fd, data, len); close(fd); } setuid 프로그램에서 이 코드가 돌아간다고 하자. access()는 real UID 기준으로 권한을 검사하고, open()은 effective UID(ro

Python 구현체

Python은 언어 명세와 구현체가 분리되어 있다. 문법과 동작을 정의한 것이 명세이고, 이를 실행하는 인터프리터는 여러 개 존재한다. 터미널에서 python을 실행하면 시스템에 설치된 구현체가 동작하는데, 별도 설정이 없다면 CPython이다. bash $ python -c " print(platform.python_implementation())" CPython CPython C로 작성된 레퍼런스 구현체. python.org에서 배포하는 바이너리가 이것이다. 소스코드를 바이트코드(.pyc)로 컴파일한 뒤 CPython VM이 한 명령어씩 해석하며 실행한다. 언어 명세의 기준. 새 문법이나 기능은 CPython에 먼저 구현된다. C 확장 API(Python.h)를 제공

Weak reference(약한 참조)는 객체를 참조하되, reference count를 증가시키지 않는 참조 방식이다. weakref 모듈로 사용한다. CPython은 레퍼런스 카운팅으로 메모리를 관리한다. 일반 참조(strong reference)는 ref count를 올리므로, 참조가 남아있는 한 객체가 해제되지 않는다. 이게 문제가 되는 경우가 있다. 캐시: 캐시가 객체를 잡고 있으면 원본이 필요 없어져도 메모리에서 안 사라진다. 순환 참조: observer 패턴 등에서 상호 참조 시 메모리 누수가 발생할 수 있다. 대형 객체 매핑: 객체→메타데이터 매핑에서 키가 객체의 수명을 연장하는 것을 방지해야 한다. weak reference는 ref co

연산자 규칙

Python의 연산자(+, -, * 등)는 특수 메서드(dunder method)로 구현된다. a + b는 내부적으로 a.__add__(b)를 호출하는 것이다. 이항 연산자 dispatch 순서 a + b를 실행하면 Python은 다음 순서로 시도한다. 1. a.__add__(b) 호출 2. NotImplemented를 반환하면 → b.__radd__(a) 호출 3. 둘 다 NotImplemented면 → TypeError 발생 __radd__는 reflected(역방향) 연산자다. a가 b와의 덧셈을 모르면 b에게 기회를 넘기는 구조다. python class A: def __add__(self, other): re

컴파일 과정

Rust 컴파일러(rustc)는 소스 코드를 여러 단계에 걸쳐 네이티브 바이너리로 변환한다. 소스 코드 (.rs) → 렉싱 → TokenStream → 파싱 → AST → 매크로 확장 → AST (확장됨) → 이름 해석 → AST (바인딩 완료) → HIR 변환 → HIR → 타입 검사 → HIR (타입 정보 첨부) → MIR 변환 → MIR → borrow check + 최적화 + 모노모피제이션 → MIR (최적화됨) → LLVM IR 생성 → LLVM IR → LLVM 최적화 + 코드 생성 → 오브젝트 파일 → 링킹 → 실행 바이너리 렉싱 (Lexical Analysis) 소스 코드 텍스트를 의미 있는 최소 단위인 토큰(token)으로 쪼개

디지털 코드

디지털 시스템에서 10진수를 2진수로 표현할 때 BCD(Binary Coded Decimal) 코드를 사용한다. BCD는 10진수 한 자리(0~9)를 4비트로 매핑하는 방식이며, 각 비트에 부여된 가중치에 따라 여러 종류가 있다. 가중치 코드 4비트 값 b3 b2 b1 b0의 10진 값은 각 비트에 가중치 w3, w2, w1, w0를 곱한 합으로 결정된다. 값 = b3×w3 + b2×w2 + b1×w1 + b0×w0 8-4-2-1 코드는 가장 기본적인 BCD 코드로, 가중치가 일반 2진수 자릿값과 동일하다. 예를 들어 10진수 7은 0111 → 0×8 + 1×4 + 1×2 + 1×1 = 7이 된다. 순수 2진수 변환과 달리 BCD는 10진수 각 자리를 독립적으

모듈러와 소수

백준 등 프로그래밍 문제에서 "결과를 10^9+7로 나눈 나머지를 출력하라"는 지시를 자주 본다. 오버플로우를 막기 위함도 있지만, 그 값이 소수여야 하는 이유는 모듈러 역원과 관련되어있다. 곱셈 역원 실수에서 나눗셈은 역수를 곱하는 것과 같다. a / b = a × (1/b). 모듈러 연산에서도 비슷한 개념이 있는데, 이를 모듈러 곱셈 역원(modular multiplicative inverse)이라 한다. b의 mod p에서의 곱셈 역원 b⁻¹은, b × b⁻¹ ≡ 1 (mod p)를 만족하는 정수다. 이 값이 존재하면 a / b mod p 대신 a × b⁻¹ mod p를 계산할 수 있다. 핵심은, p가 소수일 때 b와 p가 서로소인 모든 b에

자기와 전자유도

자기(magnetism)란 자기장(magnetic field)에 의해 생성되는 물리 현상이다. 전기 전류와 자석이 자기장을 만들고, 이 자기장이 주변 물체에 힘을 가한다. 쿨롱의 법칙 (자기) 자석에는 N극과 S극 두 개의 자극(magnetic pole)이 있다. 자력선은 N극에서 나와 S극으로 들어가며, 같은 극끼리는 척력, 다른 극끼리는 인력이 작용한다. 자극의 세기(자하량)는 웨버[Wb] 단위를 쓴다. 두 자극 사이에 작용하는 힘은 전기의 쿨롱 법칙과 같은 형태이다. F = (1/4πμ₀) × (m₁m₂/r²) [N] m₁, m₂: 자극의 세기 [Wb] μ₀: 진공 중의 투자율, 4π × 10⁻⁷ [H/m] μ = μ₀μᵣ: 매질의 투자율. μᵣ은 비투

전기와 전기현상

전기란 전하의 존재와 이동에 의해 나타나는 물리적 현상이다. 물질을 구성하는 원자 내부의 전하 불균형이 전기 현상의 근본적인 원인이 된다. 전하와 원자 모델 Rutherford-Bohr 모델에 따르면 물질은 분자로, 분자는 원자로 구성되며, 원자는 다시 양성자·중성자·전자로 이루어진다. 원자핵: 양성자와 중성자로 이루어져 있으며 고정되어 있다. 양전하(양전기)를 띤다. 전자: 원자핵 주위를 돌고 있으며 음전하(음전기)를 띤다. 전자 1개가 갖는 전하량은 e = 1.6 × 10⁻¹⁹ [C]이다. 역으로 1C의 전하에는 약 6.24 × 10¹⁸개의 전자가 존재한다. 정상 상태의 원자는 양전하와 음전하의 양이 같아 전기적으로 중성이다. 전하의 특성 같은 극성의 전하끼리는 서로

전압과 전류

전압과 전류는 전기 회로를 해석하기 위한 가장 기본적인 물리량이다. 쿨롱의 법칙과 전압 전자 1개의 전하량은 e = 1.6 × 10⁻¹⁹C이다. 역으로 1C은 약 6.25 × 10¹⁸개의 전자가 가진 전하량의 합이다. 서로 다른 극성의 전하 사이에는 인력이, 같은 극성의 전하 사이에는 척력(반발력)이 작용한다. 두 점 전하 Q₁, Q₂ 사이에 작용하는 힘은 쿨롱의 법칙으로 구한다. F = k × (Q₁Q₂ / r²), k = 9 × 10⁹ 전위와 전압 전위(potential)란 어떤 전하가 다른 전하에 인력이나 척력을 작용시켜 이동시킬 수 있는 능력을 말한다. 전압은 이 전위의 차이, 즉 전위차이다. 서로 다른 전하량을 가진 두 지점 사이에 전위차가 존재하면 전하가 이동

Python의 정렬은 sorted()와 list.sort()로 수행한다. 정렬 기준을 지정하는 방식이 Python 2와 3에서 다르다. cmp Python 2 스타일의 비교 함수. 두 원소를 받아서 비교 결과를 반환한다. Python 3에서는 제거되었다. python 두 원소를 받아서 음수, 0, 양수 반환 def compare(a, b): return a b sorted([3, 1, 2], cmp=compare) Python 2에서만 동작 key Python 3 스타일의 키 함수. 각 원소를 받아서 비교용 값을 반환한다. python sorted([3, 1, 2], key=lambda x: -x) Python 3에서 cmp가 제거되고 `ke

tracemalloc 구현 계획: CPython vs RustPython CPython 구조 [Python 레벨] Lib/tracemalloc.py ← Snapshot, Filter, 통계 등 순수 Python API │ ▼ [C 레벨] _tracemalloc.c ← start/stop/get_traces 등 네이티브 함수 │ ▼ [할당자 훅] PyMem_SetAllocator() ← malloc/realloc/free 래핑 │

GoMatching++는 영상에서 텍스트를 검출·인식·추적하는 Video Text Spotting(VTS) 모델이다. 이미 성능이 검증된 이미지 텍스트 스포터를 동결한 채 추적 모듈만 가볍게 학습하는 "freeze and adapt" 전략을 취한다. 원본 GoMatching(NeurIPS 2024)에서 LST-Matcher 구조를 재설계하여 파라미터를 64% 줄이면서 동등 이상의 성능을 달성하고, ArTVideo 벤치마크를 대폭 확장했다. Video Text Spotting은 detection, recognition, tracking 세 태스크를 동시에 풀어야 한다. 기존 접근법(TransDETR 등)은 세 가지를 end-to-end로 동시 학습하는데, 근본적인 문제가 있다. 이미지 텍스트 스포팅에서는

AF_ALG는 Linux 커널의 Crypto API를 유저스페이스에 소켓 인터페이스로 노출하는 소켓 패밀리이다. 커널 2.6.38에서 도입되었다. 일반적으로 암호화 연산은 OpenSSL 같은 유저스페이스 라이브러리로 수행한다. 하지만 커널 내부에도 자체 암호화 엔진(Crypto API)이 존재하고, AF_ALG는 이 엔진을 socket() → bind() → accept() → sendmsg()/recv() 흐름으로 사용할 수 있게 해준다. 네트워크 소켓에서 데이터를 주고받듯이, 평문을 커널에 보내면 커널이 연산을 수행하고 결과를 돌려주는 구조이다. 커널 Crypto API는 하드웨어 가속(AES-NI, ARM CE 등)을 자동으로 활용한다. AF_ALG를 쓰면 유저스페이스 프로그램이

펜윅트리(Binary Indexed Tree, BIT)는 세그먼트트리와 같이 구간합을 구하고 값을 갱신하는 자료구조이다. 세그먼트트리보다 구현이 간단하고 메모리를 적게 사용한다. 각 인덱스가 담당하는 구간을 이진수의 마지막 1 비트(LSB) 를 이용해 결정한다. 인덱스 i가 담당하는 구간의 길이는 i & -i(lowest set bit)이다. 인덱스(이진) 담당 구간 1 (0001) → [1, 1] 길이 1 2 (0010) → [1, 2] 길이 2 3 (0011) → [3, 3] 길이 1 4 (0100) → [1, 4] 길이 4 5 (0101) → [5, 5] 길이 1 6 (0110) → [5, 6] 길이 2 7

macro_rules!는 Rust의 선언적 매크로(declarative macro)를 정의하는 구문이다. 컴파일 타임에 패턴 매칭으로 코드를 생성한다. rust macro_rules! 매크로이름 { (패턴) ={ 확장 코드 }; } (패턴) ={ 확장 코드 } 한 쌍을 arm이라고 한다. match 문과 비슷하게, 여러 arm을 정의하면 위에서부터 순서대로 매칭을 시도한다. rust macro_rules! say { () ={ println!("nothing") }; ($x:expr) ={ println!("{}", $x) }; } say!(); // println!("nothing") say!("hello"

IoU(Intersection over Union)는 두 영역이 얼마나 겹치는지를 0~1 사이 값으로 나타내는 지표이다. object detection에서 예측 bbox와 정답 bbox의 일치도를 평가하는 데 쓰이고, 그 외에도 영역 기반 매칭이 필요한 곳에 범용적으로 쓰인다. 계산 IoU = 교집합 넓이 / 합집합 넓이 두 bbox A, B가 각각 (x1, y1, x2, y2) 형식일 때: python def iou(a, b): 교집합 ix1 = max(a[0], b[0]) iy1 = max(a[1], b[1]) ix2 = min(a[2], b[2]) iy2 = min(a[3], b[3]) inter = max(0, ix2 ix1

K-means는 데이터를 K개의 클러스터로 분할하는 비지도 학습 알고리즘이다. 각 클러스터의 중심(centroid)과 데이터 포인트 간의 거리를 반복적으로 최소화한다. 알고리즘 1. K개의 초기 중심점을 선택한다 2. 각 데이터 포인트를 가장 가까운 중심점의 클러스터에 할당한다 3. 각 클러스터의 중심점을 소속 포인트들의 평균으로 갱신한다 4. 중심점이 더 이상 변하지 않거나 최대 반복 횟수에 도달할 때까지 2~3을 반복한다 python import numpy as np def kmeans(data, k, max_iter=20): 초기 중심점 선택 centroids = data[np.random.choice(len(data), k, replace=False)] for

NFS(Network File System)는 네트워크를 통해 원격 서버의 파일시스템을 로컬처럼 사용할 수 있게 해주는 분산 파일시스템 프로토콜이다. 클라이언트에서 /mnt/nfs/file.txt를 열면, 커널의 VFS가 이를 NFS 모듈로 위임하고, NFS 모듈이 RPC를 통해 서버에 요청을 보낸다. 애플리케이션 입장에서는 로컬 파일과 완전히 동일한 시스템콜(open, read, write)을 사용한다. 마운트 NFS 마운트는 클라이언트가 서버의 특정 디렉토리를 자신의 경로에 연결하는 과정이다. bash nfs-client에서 실행 sudo apt install -y nfs-common sudo mkdir -p /mnt/nfs sudo mount -t nfs nfs-serv

ERP(Enterprise Resource Planning)는 회사의 회계, 인사, 구매, 재고, 생산, 영업 등의 업무를 하나의 시스템으로 통합 관리하는 소프트웨어이다. 부서마다 따로 쓰던 시스템을 하나의 DB로 묶어서 데이터가 실시간으로 공유되게 한 것이다. MRP에서 ERP까지 ERP는 제조업의 자재 관리에서 출발했다. MRP (1960년대): Material Requirements Planning. Orlicky 교수가 고안했다. "무엇이, 얼마나, 언제 필요한가"를 계산해서 자재 조달 계획을 세우는 시스템이다. BOM(자재 명세서)과 생산 일정을 기반으로 필요한 자재 수량과 시기를 산출한다. MRP II (1980년대): Manufacturing Resource Plannin

GIL(Global Interpreter Lock)은 CPython 인터프리터에서 한 번에 하나의 스레드만 Python 바이트코드를 실행할 수 있도록 강제하는 뮤텍스이다. 레퍼런스 카운팅과 GIL CPython은 객체의 메모리 관리를 레퍼런스 카운팅으로 한다. 모든 객체에 참조 횟수(ob_refcnt)가 있고, 이 값이 0이 되면 메모리를 해제한다. c // CPython 내부의 참조 카운트 조작 Py_INCREF(op); // ob_refcnt++ Py_DECREF(op); // ob_refcnt--, 0이면 해제 여러 스레드가 동시에 이 카운터를 수정하면 race condition이 발생한다. 예를 들어 두 스레드가 동시에 Py_DECREF를 호출하면, 카운터가 1인 객체

vLLM은 LLM 추론과 서빙을 위한 고성능 엔진이다. 같은 모델을 HuggingFace transformers로 돌릴 때와 비교해 수배~수십 배 빠른 처리량을 보여주는데, 이는 GPU 메모리 관리, 커널 최적화, 스케줄링 등 여러 계층에서의 최적화가 결합된 결과이다. 같은 모델인데 추론 엔진에 따라 성능 차이가 나는 이유를 이해하려면, LLM 추론이 왜 느린지부터 알아야 한다. LLM 추론의 병목 LLM의 텍스트 생성은 autoregressive 방식이다. 토큰 하나를 생성하려면 이전까지의 모든 토큰에 대한 attention 계산이 필요하고, 이 과정이 토큰 수만큼 반복된다. 100 토큰을 생성하면 모델의 forward pass가 100번 실행되는 것이다. 여기서 두 가지 핵심 병목이 발생한다.

PTX(Parallel Thread Execution)는 NVIDIA GPU의 가상 ISA(명령어 집합 아키텍처)이다. CUDA 코드가 GPU에서 실행되려면 여러 단계의 컴파일을 거치는데, PTX는 그 중간 표현에 해당한다. Java의 바이트코드와 비슷한 위치다. CUDA C++ (.cu) → nvcc 프론트엔드가 컴파일 PTX (.ptx) → 가상 어셈블리. 특정 GPU에 종속되지 않는다 SASS → ptxas가 PTX를 변환한 실제 GPU 기계어. sm_75, sm_89 같은 특정 아키텍처에 종속된다 cubin/fatbin → GPU 실행 바이너리. fatbin은 PTX와 SASS를 함께 묶어둔 것으로, 런타임에 맞는 SASS가 있으면 그걸 쓰고 없으면 PTX를 JIT 컴

백준 메모리 최적화

백준에서 맞힌 사람 목록은 실행 시간 → 메모리 → 코드 길이 순으로 정렬된다. 메모리 사용량을 줄여서 순위를 올리기 위해 시도해본 내용을 정리한다. C/C++ 프로그램은 빈 main이어도 상당한 메모리를 사용한다. scanf/printf를 사용하는 C: 약 1112KB cin/cout을 사용하는 C++: 약 2020KB 이는 작성한 코드가 아니라 런타임 초기화에서 비롯된다. main()이 호출되기 전에 glibc의 __libc_start_main 함수가 먼저 실행되면서 IO 버퍼, 글로벌 락, locale 등을 세팅하기 때문에, main 내부에서 아무리 절약해도 기본 사용량은 줄어들지 않는다. 런타임 레벨 최적화 __libc_start_main 재정의 `__li

systemd와 supervisord

systemd와 supervisord는 둘 다 Linux에서 프로세스를 관리하는 도구이지만, 동작하는 계층이 다르다. systemd는 PID 1 init 시스템이고, supervisord는 유저스페이스 프로세스 매니저이다. systemd Linux의 init 시스템이다. PID 1로 동작하면서 부팅, 서비스 관리, 마운트, 네트워크, 로깅까지 담당한다. 대부분의 주요 배포판(RHEL, Ubuntu, Debian, Arch 등)이 기본 init으로 채택하고 있다. 서비스는 unit 파일로 정의한다. ini [Unit] Description=My Application After=network.target Requires=postgresql.service [Service] Type=notify

Git LFS(Large File Storage)는 대용량 파일을 Git 저장소에서 효율적으로 관리하기 위한 Git 확장 도구이다. Git은 모든 파일의 전체 히스토리를 로컬에 저장하는 분산 버전 관리 시스템이다. 그런데 바이너리 파일이나 대용량 미디어 파일처럼 크기가 큰 파일이 저장소에 포함되면, clone이나 fetch 시 모든 버전을 다운로드해야 하므로 저장소 크기가 급격히 커지고 속도가 느려진다. Git LFS는 이 문제를 해결한다. Git LFS는 대용량 파일의 실제 콘텐츠를 별도의 원격 스토리지에 저장하고, Git 저장소에는 해당 파일을 가리키는 작은 포인터 파일만 커밋하는 것이다. 예시 version oi

GPTQ(GPT Quantization)는 LLM 가중치를 양자화하는 기법이다. 70B 모델이 FP16으로 약 140GB VRAM을 잡아먹는데, INT4로 양자화하면 약 35GB까지 줄일 수 있다. 양자화 방식 레이어별로 가중치 행렬을 순차 양자화하는데, 하나를 양자화할 때 나머지를 보정(compensation)해서 출력 오차를 최소화한다. Hessian 역행렬로 어떤 가중치가 더 중요한지 판단하고, 캘리브레이션 데이터는 128~256 샘플이면 된다. 양자화된 가중치는 group 단위로 scale과 zero-point를 갖는다. group_size=128이면 128개 가중치가 FP16 scale/zero-point 하나를 공유하고, 추론할 때 `dequantized_weight = scale × (

Adaptive Bitrate Streaming

ABR(Adaptive Bitrate Streaming)은 네트워크 상태에 따라 동영상의 비트레이트(화질)를 실시간으로 조절하는 스트리밍 기술이다. 플레이어는 동영상을 하나의 연속된 파일로 받는 것이 아니라, 짧은 세그먼트 단위로 나눠서 받는다. 매 세그먼트마다 "지금 네트워크 상태에서 어떤 화질을 받아야 끊김 없이 최고 화질을 유지할 수 있는가"를 판단하는 것이 ABR의 핵심이다. 기본 구조 ABR 시스템은 서버 측 준비와 클라이언트 측 결정으로 나뉜다. 서버는 하나의 영상을 여러 비트레이트(예: 400kbps, 800kbps, 1.5Mbps, 3Mbps, 6Mbps)로 인코딩하고, 각 버전을 짧은 세그먼트(보통 2~6초)로 분할해 둔다. 그리고 이 정보를 매니페스트 파일로 제공한다. HLS

Checkpoint Shard

Checkpoint shard는 대규모 모델의 가중치(weight) 파일을 여러 개의 작은 파일로 분할한 것이다. LLM처럼 수십~수백 GB에 달하는 모델을 학습하거나 배포할 때, 가중치를 단일 파일에 저장하면 여러 문제가 발생한다. Checkpoint shard는 이 문제를 해결하기 위해 모델 파라미터를 여러 파일에 나누어 저장하는 방식이다. 모델이 커지면서 단일 파일 저장 방식에는 아래같은 한계가 생긴다. 파일 크기 제한: GitHub LFS는 파일당 5GB, Hugging Face Hub도 단일 파일 업로드에 제한이 있다. 70B 모델의 FP16 가중치는 약 140GB에 달하기 때문에 하나의 파일로는 저장 자체가 불가능하다. 메모리 문제: 단일 파일을 로드하려면 파일 전체를 한 번에 메모리에 올려

손은 컴퓨터보다 빠르다

그래프 4-coloring 백트래킹 알고리즘에 대한 adversarial input을 생성하는 문제이다. 상대방의 백트래킹 코드가 50,000,000번 이상의 DFS 호출을 하도록 만드는 그래프와, 그 그래프의 올바른 4색 칠하기 결과를 함께 출력해야 한다. 상대 코드 분석 상대의 백트래킹은 이런 구조이다: cpp include include include include using namespace std; const int MX = 55; const int LIM = 50000000; vector G[MX]; int C[MX], cnt = 0; int N, M; bool dfs(int x) { if( x == N+1 ) return true; cnt++; if( cnt >= LI

살아있는 스토리는 무엇이 다른가

세상에서 가장 선량하고 똑똑한 내 아들이 갑자기 죽었다고 하자. 그 잘난 과학수사를 했더니 '혈중알코올 농도가 0.1%나 될 때까지 술을 마시는 바람에 일산화탄소에 중독된 줄도 모르고 죽었다'라는 결과가 나왔다. 하지만 내 '착한 아들'이 죽을 이유로는 그것이 타당하지 않아보인다. '내 아들의 등골을 빼먹던 며느리가 내 아들의 생명보험을 들어두고는 매일 일부터 술을 권해서' 그랬거나, '내 아들의 성공을 질투하던 친구가 같이 술을 마시다가 일부러 환기를 안하고 있는데, 그 집 아버지가 검찰과 친구라서 사건을 덮은' 이유라거나. 아들을 잃은 부모에게는 사실을 말하는 과학수사보다 이런 식의 음모론적 스토리텔링이 더 그럴싸하게 들릴 것이다. 그래야 허무하지 않고, 그래야 누군가를 탓할 수 있기 때문이

kanata는 Rust로 작성된 크로스플랫폼 키보드 리매퍼다. macOS의 Karabiner-Elements와 유사한 역할을 하며, Linux, macOS, Windows에서 모두 동작한다. 키 입력을 커널 레벨의 input 디바이스에서 가로채어 uinput을 통해 가상 키보드 이벤트를 생성한다. 설치 공식 릴리즈에서 x64 Linux 바이너리를 제공하지만, aarch64 환경에서는 소스에서 직접 빌드해야 한다. bash cargo install kanata Linux 권한 설정 kanata는 /dev/input/* 장치를 읽고 /dev/uinput에 쓰기 위한 권한이 필요하다. bash input, uinput 그룹에 사용자 추가 sudo groupadd uinp

GNOME(GNU Network Object Model Environment)은 Linux 및 Unix 계열 운영체제를 위한 데스크톱 환경이다. GTK 툴킷 기반으로, Ubuntu, Fedora, RHEL, Debian 등 주요 배포판에서 기본 DE로 쓰인다. 1997년 KDE가 사용하던 Qt 라이브러리의 라이선스 문제를 해결하기 위해 시작된 프로젝트다. 완전한 자유 소프트웨어 데스크톱을 목표로 Miguel de Icaza와 Federico Mena가 만들었고, GNU 프로젝트의 공식 데스크톱 환경이 되었다. 소프트웨어 스택 GNOME은 여러 계층의 컴포넌트로 구성된다. GNOME Shell (UI, JavaScript/GJS) ↓ Mutter (윈도우 매니저 / Wayl

가변 프레임레이트 (VFR)

영상의 프레임레이트는 크게 두 가지로 나뉜다. CFR (Constant Frame Rate) 고정 프레임레이트 모든 프레임이 균일한 간격으로 배치된다. 30fps라면 각 프레임 간격은 정확히 1/30초(33.33ms)이다. VFR (Variable Frame Rate) 가변 프레임레이트 프레임 간격이 일정하지 않다. 화면 변화가 많으면 프레임을 자주 찍고, 변화가 없으면 프레임을 생략한다. 스마트폰 카메라가 대표적인 VFR 소스이다. MOV/MP4에서 프레임 타이밍이 저장되는 방식 stts box (Sample-to-Time) 각 프레임의 duration(지속 시간)을 저장한다. CFR이면 모든 프레임의 duration이 같으므로 entry가 1개지만, VFR이면 dura

Bradley-Terry 모델은 쌍대비교(pairwise comparison)로부터 항목들의 순위를 추정하는 확률 모델이다. 1952년 Ralph Bradley와 Milton Terry가 제안했으며, 스포츠 랭킹, 추천 시스템, 그리고 LLM alignment(RLHF)의 reward model 학습에서 핵심적으로 사용된다. A와 B 중 어느 것이 더 좋은지 비교한 데이터가 주어졌을 때, 각 항목의 "강도(strength)"를 추정하고, 이를 통해 임의의 두 항목 간 승률을 예측하는 것이 목표이다. 기본 개념 Bradley-Terry 모델의 핵심 아이디어는 각 항목 i에 양수 파라미터 pᵢ 0을 부여하고, 두 항목 i와 j가 비교될 때 i가 선호될 확률을 다음과 같이 정의하는 것이다. P(i

MOV/MP4 컨테이너에는 elst(Edit List)라는 box가 있다. 이 box는 원본 미디어 데이터를 직접 수정하지 않고, "어느 구간을 어떤 순서로 재생할지"를 지정하는 일종의 재생 지시서다. 예를 들어 10분짜리 원본 영상에서 앞뒤 1분씩 잘라내고 싶을 때, 실제 미디어 데이터는 10분 그대로 두고 edit list에 "1분~9분만 재생"이라고 적는 것이다. 재인코딩이 필요 없어서 빠르고, iOS 사진 앱이나 QuickTime의 "다듬기" 기능이 이 방식을 사용한다. 구조 elst box는 edts(Edit Box) 안에 들어있고, 트랙(trak)마다 하나씩 존재할 수 있다. moov └─ trak (비디오 트랙) └─ edts └─ elst

CDI(Container Device Interface)는 컨테이너 런타임이 GPU, FPGA 등 서드파티 디바이스를 표준화된 방식으로 지원할 수 있도록 하는 CNCF 명세이다. CNI(Container Networking Interface)의 디바이스 버전이라고 이해할 수 있다. 기존에 NVIDIA GPU를 컨테이너에서 사용하려면 NVIDIA Container Runtime이라는 전용 런타임이 필요했다. 이 런타임은 NVIDIA_VISIBLE_DEVICES 환경변수를 감지하여 GPU 디바이스와 드라이버 라이브러리를 컨테이너에 주입하는 방식으로 동작했다. bash 기존 방식: 환경변수 기반 docker run --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=0,1

GGUF(GPT-Generated Unified Format)는 llama.cpp에서 사용하는 LLM 모델 파일 포맷이다. llama.cpp 개발자 Georgi Gerganov가 설계했으며(이름의 GG가 이니셜), 이전 포맷인 GGML의 한계를 극복하기 위해 등장했다. 기존에 LLM 모델을 배포하려면 여러 파일이 필요했다. PyTorch의 경우 가중치 파일(.bin 또는 .safetensors), 토크나이저 설정(tokenizer.json, tokenizer_config.json), 모델 설정(config.json), 생성 설정(generation_config.json) 등을 모두 갖춰야 추론이 가능하다. GGUF 이전에 사용되던 GGML 포맷은 모델 가중치를 하나의 파일로 담을

Qwen3는 Alibaba Qwen 팀에서 2025년 5월에 공개한 LLM 시리즈다. Dense 모델 6개(0.6B~32B)와 MoE 모델 2개(30B-A3B, 235B-A22B), 총 8개 모델로 구성된다. 전 모델이 thinking(Chain-of-Thought) 모드를 기본 지원하며, 사용자가 thinking ON/OFF를 전환할 수 있는 "hybrid thinking" 설계가 특징이다. (Qwen3 Blog, Technical Report) 모델 Dense 모델 Dense 모델은 모든 파라미터가 항상 활성화되는 일반적인 Transformer 구조다.

Attention 연산을 이해하고 최적화하는 방법을 설명한다. Attention이란? Attention은 "여러 정보 중에서 지금 중요한 것에 가중치를 더 주는" 메커니즘이다. 일상적인 예시 시끄러운 카페에서 친구와 대화한다고 생각해보자. 주변에 여러 소리가 있다. 친구 목소리 옆 테이블 대화 배경 음악 커피 머신 소리 우리 뇌는 자동으로 "친구 목소리"에 높은 가중치를 주고, 나머지는 낮은 가중치를 준다. 모든 소리가 들리지만, 친구 목소리를 중심으로 정보를 처리한다. 이것이 Attention이다. AI에서의 Attention 문장 "The cat sat on the mat because it was tired"를 처리한다고 하자. "it"이 무엇을 의미하는지 알려면, 다

비디오 컨테이너에는 각 프레임(샘플)마다 두 종류의 타임스탬프가 붙어 있다. PTS (Presentation Time Stamp): 이 프레임을 화면에 표시해야 하는 시점 DTS (Decoding Time Stamp): 이 프레임을 디코딩해야 하는 시점 타임스탬프가 두 개 필요한 이유는 B-frame(양방향 예측 프레임)에 있다. B-frame은 앞뒤 프레임을 모두 참조하기 때문에, 화면에 보여주는 순서와 디코더가 처리하는 순서가 달라질 수밖에 없다. 참조 대상이 되는 뒤쪽 P-frame을 먼저 디코딩해놓아야 그 사이의 B-frame을 복원할 수 있기 때문이다. 예를 들어 PTS 순서가 I B B P B B P인 영상이 있다면, 디코딩 순서는 I P B B P B B가 된다. t

라이브러리

리눅스에서 프로그램이 실행될 때, 대부분의 경우 외부 라이브러리의 코드를 필요로 한다. 이 라이브러리들이 프로그램에 어떻게 연결되고, 시스템이 어디서 라이브러리를 찾는지 이해하는 것은 리눅스 시스템 관리와 개발에서 핵심적인 지식이다. 프로그램이 외부 함수를 호출할 때, 그 함수의 실제 코드가 어디에 있는지 연결해주는 과정을 링킹(Linking)이라 한다. 링킹은 두 가지 방식으로 수행된다. 정적 링킹 (Static Linking) 컴파일 시점에 라이브러리 코드를 실행 파일에 직접 복사한다. bash 정적 라이브러리 생성 gcc -c mylib.c -o mylib.o ar rcs libmylib.a mylib.o 정적 링킹으로 컴파일 gcc main.c -L. -lmylib -static -

선사시대와 여러나라

선사 시대 구석기 시대 주먹도끼, 찍개 등의 뗀석기를 처음 제작하였다 주로 동굴이나 강가의 막집에서 살았다 대표 유적지로 연천 전곡리 유적지가 있다 공주 석장리 유적, 청원 두루봉 동굴, 단양 금굴 등 신석기 시대 가락바퀴와 뼈바늘을 이용하여 옷을 만들기 시작하였다 농경과 목축을 시작하여 식량을 생산하였다 빗살무늬 토기를 만들어 식량을 저장하였다 움집 생활(원형, 중앙 화덕), 원시 신앙 발생 간석기(갈돌과 갈판) 사용 대표 유적지로 서울 암사동 선사유적지, 제주 고산리 유적, 부산 동삼동 유적, 양양 오산리 유적이 있다 청동기 시대 사유재산과 계급이 발생하였다 반달돌칼을 사용하여 벼를 수확하였다 지배층의 무덤으로 고인돌을 축조하였다 비파형 동검과 민무늬 토기, 청동 거울

흥선대원군의 개혁 정책 비변사 혁파, 삼군부 부활 사창제(환곡 문제 해결) 호포제(양반에게도 군포 징수) 서원 철폐 경복궁 중건 비용 마련을 위해 당백전이 발행되었다 대전회통(법전) 편찬 병인양요(1866) 병인박해 → 프랑스 군 강화도 침략 양헌수 정족산성 전투, 한성근 문수산성 전투 의궤를 비롯한 외규장각 도서가 약탈당하였다 신미양요(1871) 제너럴 셔먼호가 통상 요구: 대동강 유역에서 좌초 오페르트 도굴 사건: 남연군(흥선대원군 아버지) 묘 도굴 시도 미군의 강화도 침략: 어재연 광성보 전투에서 전사 병인양요 & 신미양요 이후 종로를 비롯한 전국 각지에 척화비 건립 개항과 불평등 조약 체결 강화도 조약(조일수호조규, 1876) 운요호가 강화도와 영종도를 공격하였

고구려 전성기 이전 (유리왕) 졸본에서 국내성으로 천도하였다 (고국천왕) 왕위 부자상속 확립, 을파소의 진대법 (동천왕) 관구검이 이끄는 군대가 환도성을 함락하였다 (미천왕) 낙랑군을 축출하여 영토를 확장하였다, 서안평 점령 (고국원왕) 백제가 평양성을 공격하여 고국원왕이 전사하였다 소수림왕 승려 순도를 통해 불교를 수용하였다 율령을 반포하였다 태학을 설립하여 인재를 양성하였다 전진에 사신을 파견하여 교류하였다 광개토왕 영락이라는 독자적인 연호를 사용하였다 신라가 왜를 격퇴하기 위해 고구려에 군사를 청하였다 장수왕 고구려가 국내성에서 평양으로 천도하였다 고구려왕 거련(장수왕)이 직접 군대를 거느리고 백제를 공격하였다 백제 개로왕 전사, 한강 정복 경당 설치(지방

고려 시대 구분 초기(918~1018년): 호족 세력, 태조 왕건, 거란 침입 문벌귀족(1018~1170년): 문벌 귀족, 이자겸의 난, 묘청의 난 무신집권기(1170~1270년): 무신, 정중부, 최씨정권, 몽골 항쟁 원 간섭기(1270~1351년): 권문세족, 정동행성, 공민왕 개혁 말기(1351~1392년): 신진사대부, 신흥무인, 홍건적, 왜구 고려 초기 태조 왕건 훈요 10조를 남겼다 정계와 계백료서를 지어 관리가 지켜야 할 규범을 제시하였다 개국 공신에게 역분전을 지급하였다 빈민 구제 기관인 흑창이 처음 설치되었다 기인 제도(지방 호족 자제를 수도에 머물게 함) 사심관 제도(출신 지역 관리를 사심관으로 임명하여 해당 지역을 통제하게 함) 태조

일제강점기

일제강점기 시대 구분 1910년대: 무단통치(헌병경찰통치), 회사령, 토지조사사업 1920~30년대 초반: 문화통치, 산미증식계획, 민족운동 1930년대 중반 이후: 민족말살정책, 국가총동원법, 황국신민화 1910년대 통치 무단통치 조선총독부가 일제의 조선 통치 기관으로 설치되었다 데라우치가 초대 총독으로 부임하였다 헌병이 일반 경찰 업무를 맡았다(헌병경찰통치) 조선인에게만 태형령을 내렸다 교사가 제복을 입고 칼을 찬 채 수업하였다 회사령 회사 설립을 허가제로 하는 회사령이 공포되었다 토지조사사업 기한 내에 소유지를 신고하게 하는 토지 조사령을 제정하였다 전국의 토지를 조사하였다 3·1 운동 배경 미국 대통령 윌슨의 민족 자결주의를

조선 전기 태조 이성계 위화도 회군으로 권력 장악(건국 전) 과전법 시행(건국 전) 조선 건국 주도 정도전: 불씨잡변을 지어 불교를 비판, 조선경국전 저술 태종 이방원 두 차례에 걸친 왕자의 난으로 즉위하였다 문하부를 폐지하고 낭사를 사간원으로 독립시켰다 왕권 강화를 위해 6조 직계제를 처음으로 실시하였다 저화 발행 양전 사업(토지 측량), 호패법 실시 세종 삼남 지방의 농법을 소개한 농사직설이 보급되었다 풍흉에 따라 9등급으로 전세를 거두었다(연분 9등법, 전분 6등법) 이종무가 왜구의 근거지인 쓰시마섬(대마도)을 정벌하였다 4군(최윤덕)과 6진(김종서)을 개척한 과정을 알아본다 계해약조 체결(일본과 교역), 삼포 개방(부산포, 염포, 제포) 집현전 훈민정음 반포

한국사능력검정시험

1. 선사 문화와 국가의 형성 선사시대 구석기 동굴이나 막집, 주먹도끼, 슴베찌르개, 이동생활, 흥수아이(충북 두루봉 동굴) 신석기 모서리가 둥근 움집(화덕 중앙), 농경, 목축, 정착생활, 이른민무늬·빗살무늬토기 청동기 계급·재산, 고인돌, 직사각형 움집(화덕 한쪽 벽), 벼농사, 반달돌칼, 비파형동검 철기 세형동검, 철제농기구, 반량전, 명도전, 붓, 널무덤, 독무덤, 중국과의 교류 활발 연맹왕국 부여 사출도, 순장, 1책12법·형사취수제(고구려와 동일), 흰옷, 우제점복, 영고(12월) 부여엉고 고구려 제가회의, 상가·고추가·대로, 패자·사자·조의, 서옥제, 산악지대(약탈), 동맹(10월) 옥저 어물·소금(고구려에 공납), 민며느리제, 가족공동무덤, 삼로·읍

광복과 정부 수립 광복 직후 여운형을 중심으로 조선 건국 동맹이 결성되었다 여운형이 중심이 되어 조선 건국 준비 위원회를 조직하였다 조선 건국 준비 위원회에서 조선 인민 공화국을 선포하였다 송진우, 김성수 등이 한국민주당을 창당하였다 좌우합작운동 좌우 합작 위원회에서 좌우 합작 7원칙을 발표하였다 남북 협상 김구, 김규식 등이 남북 협상에 참여하였다 제주 4·3 사건 남한만의 단독 선거에 반대하는 무장대와 이를 진압하는 토벌대 간의 무력 충돌이 발생하였다 여수·순천 10·19 사건이 일어났다 국가 차원에서 진상 조사 보고서를 발간하고 공식 사과하였다 진상 규명 및 희생자 명예 회복에 관한 특별법이 제정되었다 유네스코 세계 기록 유산으로 등재되었다 5·10

Flash Attention

Attention은 Transformer 아키텍처의 핵심 연산으로, 입력 시퀀스의 각 위치가 다른 모든 위치와 얼마나 관련있는지 계산한다. 시퀀스 길이 N에 대해 O(N²) 연산과 메모리가 필요해 긴 시퀀스에서 병목이 된다. Flash Attention은 Transformer의 Attention 연산을 빠르고 메모리 효율적으로 수행하는 알고리즘이다. Stanford의 Tri Dao가 제안했으며, GPU 메모리 계층 구조를 고려한 IO-aware 접근으로 기존 Attention 대비 2~4배 빠른 속도와 메모리 사용량 감소를 달성한다. 표준 Attention 연산은 다음과 같이 수행된다. S = QKᵀ N×N 행렬 P = softmax(S) N×N 행렬 O = PV

Qwen3-TTS는 Alibaba Qwen 팀에서 개발한 다국어, 제어 가능한 스트리밍 Text-to-Speech 모델이다. 500만 시간 이상의 음성 데이터로 학습되었으며, 3초 음성 복제, 자연어 기반 음성 디자인, 실시간 스트리밍 합성을 지원한다. 기존 TTS 모델들은 semantic tokenizer의 표현력 부족 또는 acoustic tokenizer의 과도한 저수준 디테일로 인한 LLM 모델링 어려움과 장기 에러 누적 문제를 겪었다. Qwen3-TTS는 이 문제를 해결하기 위해 두 가지 tokenizer와 dual-track LM 아키텍처를 제안한다. Speech Tokenizer Qwen3-TTS는 서로 다른 특성을 가진 두 가지 speech tokenizer를 제공한다. 25Hz는 품

패키지 관리자

Python 패키지 관리자는 의존성 설치, 가상 환경 관리, 프로젝트 설정 등을 담당하는 도구이다. Python 생태계에는 다양한 패키지 관리자가 존재하며, 각각 해결하고자 하는 문제와 접근 방식이 다르다. 크게 패키지 설치 도구와 프로젝트 관리 도구, 그리고 환경 관리 도구로 구분할 수 있다. pip Python의 기본 패키지 설치 도구이다. PyPI(Python Package Index)에서 패키지를 다운로드하여 설치한다. bash 패키지 설치 pip install requests 버전 지정 pip install requests==2.31.0 requirements.txt로 일괄 설치 pip install -r requirements.txt 현재 환경을 파

Shaka Player Polyfill

Shaka Player는 Google에서 개발한 오픈소스 미디어 플레이어 라이브러리이다. 다양한 브라우저 환경에서 일관된 미디어 재생 경험을 제공하기 위해 여러 polyfill을 내장하고 있으며, shaka.polyfill.installAll()을 호출하면 등록된 모든 polyfill이 설치된다. 이 문서에서는 Shaka Player가 제공하는 각 polyfill의 역할과 등록 순서를 살펴보고, 그 중 가장 복잡한 EncryptionScheme polyfill의 동작 원리를 상세히 알아본다. Polyfill 등록 메커니즘 shaka.polyfill.register(callback, priority) priority가 높을수록 먼저 실행된다 기본값은 0 같은 priority

FID(Fréchet Inception Distance)는 생성 모델이 만든 이미지의 품질과 다양성을 평가하는 지표이다. GAN, Diffusion 모델 평가의 사실상 표준으로 사용된다. 원리 Inception v3 네트워크의 마지막 풀링 레이어에서 feature를 추출하고, 실제 이미지와 생성 이미지의 feature 분포를 비교한다. 두 분포를 다변량 가우시안으로 모델링하여 Fréchet distance를 계산한다. FID = ||μr μg||² + Tr(Σr + Σg 2(ΣrΣg)^(1/2)) μr, μg: 실제/생성 이미지 feature의 평균 Σr, Σg: 실제/생성 이미지 feature의 공분산 행렬 특징 낮을수록 좋음: 0에 가까울수록 실제 이미지 분포와 유사

VMAF(Video Multi-Method Assessment Fusion)는 Netflix가 개발한 비디오 품질 평가 지표이다. 세 가지 기본 지표를 추출하고 SVM(Support Vector Machine)으로 함친다. VIF (Visual Information Fidelity): 자연 이미지 통계 기반 품질 측정 DLM (Detail Loss Metric): 세부 정보 손실 측정 Motion: 프레임 간 움직임 정보 이 지표들을 인간의 주관적 평가 데이터로 학습된 모델에 입력하여 최종 점수를 산출한다. (100에 가까울수록 원본과 동일) bash ffmpeg로 VMAF 계산 ffmpeg -i distorted.mp4 -i reference.mp4 \ -lavfi

이미지 품질 지표

이미지 품질을 평가하는 대표적인 지표로 PSNR, SSIM, LPIPS가 있다. PSNR PSNR(Peak Signal-to-Noise Ratio)은 원본과 비교 이미지 간의 픽셀 차이를 dB 단위로 표현하는 가장 기본적인 지표이다. MSE = (1/N) × Σ(xi yi)² PSNR = 10 × log₁₀(MAX² / MSE) N: 전체 픽셀 수 xi, yi: 원본과 비교 이미지의 i번째 픽셀 값 MAX: 픽셀 최대값 (8비트 이미지의 경우 255) 값이 높을수록 품질이 좋다. 일반적으로 40dB 이상이면 원본과 거의 동일, 30~40dB이면 좋음, 20~30dB이면 보통으로 본다. python from skimage.metrics import peak_signal_nois

Scheduling Framework

node-scheduling

Kubernetes Scheduling Framework는 kube-scheduler의 플러그인 기반 확장 메커니즘이다. 기존의 커스텀 스케줄링 방식들이 가진 한계를 극복하고, 유연하면서도 안정적인 확장성을 제공하기 위해 설계되었다. 등장 과정 Kubernetes에서 커스텀 스케줄링을 적용하기 위한 여러 시행착오가 있었다. Scheduler Extender 매 스케줄링마다 HTTP webhook을 호출하여 커스텀 결과를 받아오는 방식이다. 외부 서비스와의 HTTP 통신으로 인한 지연 발생 네트워크 장애 시 스케줄링 실패 가능성 Custom Scheduler 완전히 별도의 스케줄러를 띄우는 방식이다. 여러 스케줄러가 동시에 동작하면 race condition 발생 가능 따라서 Pod에 `

먼저 일반적인 푸리에 변환인 DFT에서, N개의 샘플 x₀, x₁, ..., x_{N-1}이 있을 때, k번째 주파수 성분 X_k는 이렇게 계산한다: X_k = x₀·ω⁰ + x₁·ω^k + x₂·ω^(2k) + ... + x_{N-1}·ω^((N-1)k) 여기서 ω = e^(-2πi/N) 이다. 복소수 단위원 위의 점이라고 생각하면 된다. N개 주파수 각각에 대해 N번 곱셈을 해야 하니까, 총 N × N = N² 번의 연산이 필요하다. 고속 푸리에 변환(Fast Fourier Transform, FFT) FFT의 핵심은 중복 계산을 없애는 것이다. 8개 샘플로 DFT를 계산한다고 해보자. 8개 주파수(0~7Hz)에 대해 각각 8번씩 곱해야 하니까 64번의 곱셈이 필요하다. 여

OpenCV Inpainting

OpenCV의 cv2.inpaint() 함수는 이미지에서 손상된 영역이나 제거하고 싶은 객체를 주변 픽셀 정보를 이용해 자연스럽게 채우는 기법이다. 사진에서 스크래치를 제거하거나, 워터마크를 지우거나, 불필요한 객체를 없애는 데 사용된다. python import cv2 dst = cv2.inpaint(src, mask, inpaintRadius, flags) result = cv2.inpaint(image, mask, 3, cv2.INPAINT_TELEA) 또는 result = cv2.inpaint(image, mask, 3, cv2.INPAINT_NS) src: 입력 이미지 mask: 복원할 영역을 표시한 마스크 (흰색 픽셀이 복원 대상) inpaintRadius:

Debezium PostgreSQL Connector

CDC 엔진은 데이터베이스의 변경 로그를 읽어 표준화된 메시지 포맷으로 변환하는 역할을 한다. Debezium은 Kafka Connect 기반의 오픈소스 CDC 엔진 중 하나이다. Debezium PostgreSQL Connector는 PostgreSQL의 Logical Decoding을 통해 WAL(Write-Ahead Log)을 읽고, 이를 Debezium Envelope 포맷으로 변환하여 Kafka로 전송한다. INSERT, UPDATE, DELETE, TRUNCATE 작업을 실시간으로 스트리밍하며, 초기 스냅샷 기능도 제공하므로 데이터 동기화나 이벤트 소싱에 적합하다. 기본 개념 Debezium이 어떻게 PostgreSQL의 변경 데이터를 캡처하는지 이해하려면, 먼저 PostgreSQL의 핵

Scheduling-Slides

node-scheduling

--- marp: true theme: default paginate: true backgroundColor: 1a1a2e color: eaeaea style: | section { font-family: 'Pretendard', 'Apple SD Gothic Neo', sans-serif; } h1 { color: 00d4ff; } h2 { color: 00d4ff; } code { background-color: 16213e; } strong { color: ff6b6b; } table { font-size: 0.8em; } .columns { display: grid; grid-template-col

데이터 리니지(Data Lineage)는 데이터가 어디서 와서 어디로 가는지 추적하는 것이다. 데이터 웨어하우스 등에서, 테이블이 많아지면 간접적으로 의존하는 테이블이 있을 수 있어 스키마 변경이 점점 어려워진다. 리니지가 있으면 이런 의존 관계를 한눈에 볼 수 있어서 영향 범위 파악이 훨씬 쉬워진다. 데이터 리니지를 설명할 때 A → B → C처럼 B 입장에서 A는 upstream(데이터 출처), C는 downstream(데이터 소비처)로 부르기도 한다. 리니지를 어느 방향으로 따라가느냐에 따라 forward lineage(downstream 방향, 영향도 분석)와 backward lineage(upstream 방향, 원인 추적)로도 나눈다. 테이블 리니지, 컬럼 리니지 테이블 단위 리니지는

macOS CPU 테스트 sh python -m pip install paddlepaddle==3.2.2 -i Run PP-OCRv5 inference paddleocr ocr -i --use_doc_orientation_classify False --use_doc_unwarping False --use_textline_orientation False Run PP-StructureV3 inference paddleocr pp_structure

ffmpeg 오디오 정규화

Limiter, Compressor bash ffmpeg -y -i input.wav \ -af "alimiter=limit=0.3:attack=1:release=20,acompressor=threshold=-20dB:ratio=8:attack=2:release=30" \ output.m4a 리미터(alimiter)는 일정 크기 이상의 소리를 물리적으로 잘라낸다. limit=0.3: 피크를 약 -10dB 수준으로 제한. 낮을수록 더 강하게 자른다. attack=1: 어택 1ms. 피크를 얼마나 빠르게 감지할지. release=20: 릴리즈 20ms. 피크가 지나간 후 원래대로 돌아오는 시간. 컴프레서(acompressor)는 리미터보다 부드럽게 동작한다. 임계값 이상의

2025.09-12 연말회고

인프랩 지난 1년간 회사를 다니면서 대학 대신 취업을 선택했던 이유를 많이 되돌아봤다. 대학에서 공부하고 연구하는 것보다 더 다양한 피드백을 받을 수 있는 실제 경험을 쌓는 게 나을 거라고 생각했고, 그 선택이 틀리지 않았다고 느끼는 순간들이 있었다. 물론 때때로 내가 모르는 게 너무 많다는 걸 느낄 때면 불안해지기도 했지만, 그건 어디에 있든 마찬가지였을 것 같다. 올해 있었던 일들을 돌아보며 정리해본다. 온라인 강의셀 올해가 시작하는 1월부터 플레이어셀에 (현 온라인 강의셀) 합류하며 업무 방향이 많이 바뀌었다. 작년에 어떤 식으로 일을 했었는지 기억이 안 날 정도로, 셀에 속해서 협업하고 기여할 수 있는 방식에 대해 고민하는 게 많이 적응된 것 같다. 그런 차이 때문에 왠지 작년은 회사에

『소크라테스의 변명』을 읽고 플라톤의 다른 대화편도 읽어보고 싶어졌다. 메논은 소크라테스에게 묻는다. 탁월함은 가르칠 수 있는 것인가, 연습을 통해 생기는 것인가, 아니면 본성적으로 타고나는 것인가. 여기서 탁월함은 그리스어 '아레테'를 번역한 것으로, 덕이나 뛰어남을 뜻한다. 단순히 도덕적인 것만이 아니라, 어떤 것이 제 기능을 잘 발휘하는 상태를 말한다. 소크라테스는 그 질문에 답하려면 먼저 탁월함이 무엇인지를 더 정확히 이해해야 한다고 말한다. 메논이 여러 답을 내놓지만 소크라테스는 계속 반박한다. 남자의 탁월함, 여자의 탁월함, 아이의 탁월함을 나열하는 것은 탁월함 자체가 무엇인지에 대한 답이 아니라는 식으로. 결국 메논은 답답해하며 이렇게 반박한다. 모르는 것을 어떻게 찾을 수 있는가

Shaded JAR은 애플리케이션 코드와 모든 의존성을 하나의 JAR 파일로 합친 패키징 방식이다. Fat JAR, Uber JAR이라고도 부른다. Java 애플리케이션은 보통 여러 라이브러리에 의존한다. 이 의존성들을 어떻게 패키징하느냐에 따라 JAR의 종류가 나뉜다. Non-shaded JAR (Thin JAR) 프로젝트 코드만 포함한다. 의존성은 별도로 제공해야 한다. mongo-kafka-connect-2.0.1.jar (394KB) └── 커넥터 코드만 포함 └── 실행하려면 MongoDB Driver 등 의존성 필요 Shaded JAR (Fat JAR / Uber JAR) 프로젝트 코드와 모든 의존성을 하나로 합친다. mongo-kafka-c

Kafka 파티션 리더 선출

Kafka는 분산 시스템이다. 파티션마다 리더가 있고, 리더만 읽기/쓰기를 처리한다. Kafka에서 각 파티션은 여러 브로커에 복제된다. 복제본(replica) 중 하나가 리더, 나머지는 팔로워다. 프로듀서와 컨슈머는 리더하고만 통신한다. 컨트롤러 컨트롤러라는 특별한 브로커 하나는 다음 역할들을 담당한다: 파티션 리더 선출 브로커 장애 감지 파티션 재할당 조율 컨트롤러 자체도 선출된다. 여러 브로커가 동시에 컨트롤러가 되려고 경쟁하고, 하나만 성공한다. ZooKeeper 모드에서는 /controller znode를 먼저 생성한 브로커가 컨트롤러가 된다. ephemeral node라서 해당 브로커가 죽으면 자동으로 삭제되고, 다른 브로커가 다시 경쟁한다. KRaft 모드에서는 Raft 합의 알

Aurora PostgreSQL CDC with DMS

PostgreSQL은 모든 변경사항을 WAL(Write-Ahead Log)에 먼저 기록한다. 이 WAL에는 물리적 변경(어떤 페이지의 어떤 바이트가 바뀌었는지)과 논리적 변경(어떤 테이블의 어떤 row가 INSERT/UPDATE/DELETE 되었는지) 정보가 모두 담겨 있다. Logical Replication은 이 WAL에서 논리적 변경만 추출해서 외부로 스트리밍하는 기능이다. 물리적 복제와 달리 테이블 단위로 선택적 복제가 가능하고, 다른 버전의 PostgreSQL이나 아예 다른 시스템(Kafka, DMS 등)으로 데이터를 보낼 수 있다. Replication Slot 그런데 한 가지 문제가 있다. WAL은 디스크 공간을 아끼기 위해 주기적으로 삭제된다. 만약 CDC consumer가 잠시 멈춰

인간이 인간을 죽일 때

'우리는 누구나 자신이 속한 사회에서 고립되지 않고, 이방인이나 소수자가 아니라 환영받고 존중받는 구성원이 되길 바란다'고 한다. 책 페이지를 넘겨가면서. 집단학살의 과정이 얼마나 비논리적으로 이뤄졌는지, 거기에 동화되거나 동화되지 않았던 사람들은 그 때를 어떻게 기억하는지 상세하게 듣는 일은 당연히 그렇게 가볍지 않았다. 실제로 일어났던 일이지만 도덕적으로나 시간적으로나 거리가 느껴지기도 하고, 이걸 어떻게 판단하고 얼마나 공감해야하나 고민하게 되는 책이었다. 당시 집단학살에 가세한 사람 중에는 의외로 공감능력이 뛰어난 사람들이 많았다 한다. 동료들이 업무에 괴로워하고 죄책감을 느낄 때 적극적으로 공감하고, 동료들이 덜 힘들어하기를, 자신의 곁에 있는 사람들이 행복하길 진심으로 바랐다. 그

strace로 shaka-packager 버그 추적

이 글은 인프랩 기술 블로그에도 게시되었습니다 최근, 로그만으론 도무지 원인을 알 수 없는 오류를 만났다. 이때 strace로 파일 관련 시스템콜을 추적하면서 동시 실행 시 드러나는 에러 처리 버그를 찾아 해결할 수 있었다. 추적하는 과정이 꽤 재미있었기에 그 디버깅 과정을 글로 작성해보았다. shaka-packager를 사용하며 겪은 내용이지만 이 글에선 관련 지식을 다루진 않는다. 개요 개요를 간단하게 설명하면, shaka-packager를 사용하여 영상을 패키징하는 상황이 있었다.

소크라테스의 변명

회사 서재에서 『삶을 바꾸는 질문의 기술』을 읽고 소크라테스 철학에 흥미가 생겼다. 고전부터 차근차근 짚어보고 싶어 이 책도 읽게 되었다. 소크라테스는 델포이 신전에서 '소크라테스보다 더 지혜로운 사람이 없다.'는 신탁을 받았다 한다. 그게 과연 사실인지 의문을 가지고, 지혜롭다 하는 다른 사람들을 여럿 찾아간다. 그런데 장인, 시인, 정치인, 소피스트 등 여러 전문가들은 각 분야에선 지식이 뛰어나도 자신이 무엇을 모르는지 잘 모르고 아는 척하기 바빴다 한다. 소크라테스가 그 부분을 지적하면 노발대발 화를 내었다고. 이런 식의 질문으로 많은 사람들의 공분을 산 소크라테스는 고발당했고, 사형 여부를 판단하는 재판에 선다. 그리고 자신의 이유에 대해 변명한다. 그들은 확실히 제가 모르는 많은 것들

errno는 시스템 콜이나 라이브러리 함수가 실패했을 때 에러 원인을 나타내는 전역 변수다. c include extern int errno; exit code가 프로세스 종료 상태를 표현하는 것과 비슷하게 errno는 시스템 콜 에러 상태를 나타내는 정수 반환 값이다. | 구분 | errno | exit code | |------|-------|-----------| | 범위 | 시스템 콜 에러 | 프로세스 종료 상태 | | 접근 | errno 변수 | $? 또는 waitpid | | 값 | 양수 (1~133+) | 0~255 | | 0의 의미 | 에러 없음 | 성공 | 주요 errno 값 리소스 관련 | errno | 값 | 설명 | |-------|---|---

futex(Fast Userspace muTEX)는 리눅스에서 제공하는 저수준 동기화 메커니즘이다. 사용자 공간에서 빠르게 락을 처리하고, 경합이 발생할 때만 커널로 진입하여 효율적인 동기화를 제공한다. c include include int futex(int *uaddr, int futex_op, int val, const struct timespec *timeout, int *uaddr2, int val3); uaddr: 동기화에 사용할 메모리 주소 (보통 32비트 정수) futex_op: 수행할 연산 (FUTEX_WAIT, FUTEX_WAKE 등) val: 연산에 따라 다른 의미 (WAIT에서는 기대값, WAKE에서는 깨울 쓰레드 수)

strace는 프로세스가 호출하는 시스템 콜과 시그널을 추적하는 리눅스 디버깅 도구다. bash strace [options] command [args] strace [options] -p pid 기본 옵션 | 옵션 | 설명 | |------|------| | -p pid | 실행 중인 프로세스에 attach | | -o file | 출력을 파일로 저장 | | -e trace=syscalls | 특정 syscall만 추적 | | -c | 통계 요약 출력 | 멀티쓰레드/프로세스 옵션 | 옵션 | 설명 | |------|------| | -f | fork된 자식 프로세스도 추적 | | -ff | 각 프로세스/쓰레드별 별도 파일 생성 (-o 필요) |

EndpointSlice는 Kubernetes 1.17에서 도입된 리소스로, Service의 네트워크 엔드포인트를 확장 가능한 방식으로 추적한다. 기존 Endpoints 리소스의 확장성 한계를 극복하기 위해 설계되었으며, 현재 Kubernetes에서 Service 엔드포인트를 관리하는 기본 메커니즘이다. EndpointSlice가 왜 필요한지 이해하려면, 먼저 기존 Endpoints 리소스의 문제점을 알아야 한다. Endpoints는 하나의 오브젝트에 Service의 모든 엔드포인트를 저장한다. 예를 들어, 1000개의 Pod를 가진 Service가 있다면: yaml apiVersion: v1 kind: Endpoints metadata: name: large-service subsets:

Session Affinity

Session Affinity(세션 어피니티)는 특정 클라이언트의 요청이 항상 동일한 Pod로 라우팅되도록 하는 Kubernetes Service의 기능이다. "Sticky Session"이라고도 불리며, 상태를 유지하는 애플리케이션에서 세션 일관성을 보장하기 위해 사용한다. 기본 개념 기본적으로 Kubernetes Service는 요청을 모든 엔드포인트에 무작위로 분산한다. 이는 stateless 애플리케이션에는 문제가 없지만, 세션 상태를 메모리에 저장하는 애플리케이션에서는 문제가 된다. ┌──────────┐ ┌─────────────┐ ┌─────────┐ │ │ ──▶ │ │ ──▶ │ Pod A │ 요청 1: 로그인 (세션

Topology Aware Routing

Topology Aware Routing은 Kubernetes Service의 트래픽을 가능한 한 같은 Zone(가용 영역) 내의 엔드포인트로 라우팅하는 기능이다. 클러스터가 여러 Zone에 걸쳐 배포되어 있을 때, 이 기능을 활성화하면 네트워크 지연 시간을 줄이고 Zone 간 데이터 전송 비용을 절감할 수 있다. 멀티 Zone 클러스터에서 Service로 요청이 들어오면, 기본적으로 kube-proxy는 모든 엔드포인트 중 하나를 무작위로 선택한다. 이 말은 Zone A에 있는 Pod가 Zone B나 Zone C에 있는 엔드포인트로 트래픽을 보낼 수도 있다는 것이다. ┌─────────────────────────────────────────────────────────────┐ │

Linkerd와 Istio 비교

Service Mesh는 마이크로서비스 간의 통신을 관리하는 인프라 계층이다. Kubernetes 환경에서 가장 많이 사용되는 Service Mesh인 Linkerd와 Istio의 구조와 특징을 비교해보자. Service Mesh가 필요한 이유 마이크로서비스 아키텍처에서는 수십, 수백 개의 서비스가 서로 통신한다. 이때 몇 가지 문제가 발생한다. 서비스 간 통신은 기본적으로 암호화되지 않는다. 어떤 서비스가 어떤 서비스와 통신하는지 파악하기 어렵다. 특정 서비스에 장애가 발생하면 연쇄적으로 다른 서비스에 영향을 미친다. 트래픽을 세밀하게 제어하기 어렵다. 이런 문제를 해결하기 위해 각 서비스에 프록시를 붙여서 모든 트래픽을 가로채고 관리하는 방식이 등장했다. 이것이 Service Mesh다. 그

Gateway API는 Kubernetes에서 트래픽 라우팅을 관리하기 위한 차세대 API이다. 기존 Ingress의 한계를 극복하고 더 유연하고 표준화된 방식으로 L4/L7 트래픽을 관리할 수 있다. 왜 이런 변화가 필요했고, 어떤 구현체를 선택해야 할지 알아보자. Ingress의 한계 Ingress는 오랫동안 Kubernetes에서 외부 트래픽을 내부 서비스로 라우팅하는 표준이었다. 하지만 사용하다 보면 몇 가지 문제를 마주하게 된다. 프로토콜 제약 Ingress는 HTTP/HTTPS만 지원한다. TCP나 UDP 트래픽을 라우팅하려면 별도의 Service를 NodePort나 LoadBalancer로 노출해야 한다. gRPC도 직접적으로 지원하지 않는다. 어노테이션 지옥 In

The Seven Basic Plots

모든 이야기는 공통된 흐름을 따른다. 먼저 주인공은 모험에 대한 소명을 받는다. 이어서 모험이 시작되고, 주인공은 초반의 성공으로 자신이 무적이라는 착각에 빠진다. 하지만 곧 좌절한다. 적과의 첫 대면에서 무적이라는 환상은 산산이 부서진다. 상황은 악몽 단계에서 최악에 이른다. 이는 플롯의 클라이맥스로, 모든 희망이 사라진 것처럼 보인다. 마지막 해결 단계에서 주인공은 불가능해 보이는 상황을 극복하고 승리를 거둔다. 저자가 이 책에서 가장 강조하는 핵심은, 이야기에 아무리 많은 인물이 등장하더라도 이야기가 진짜 다루는 건 주인공 하나라는 것이다. 우리는 주인공의 운명에 자신을 투영하며, 그가 점차 자아를 깨달아가는 과정을 지켜본다. 그리고 이것이 바로 이야기의 종착지다. 결국 다른 모든 등장인물들은 이

PKI(Public Key Infrastructure)는 공개 키 암호화를 실제 시스템에서 안전하게 사용할 수 있도록 만든 인프라이다. 공개 키 암호화는 수학적으로 안전하지만, 실제로 사용하려면 "이 공개 키가 정말 Alice의 것인가?"라는 질문에 답해야 한다. PKI는 이 문제를 중앙화된 신뢰 체계로 해결한다. 키 인증은 공개 키 암호화의 근본적인 문제이다. Bob이 Alice에게 암호화된 메시지를 보내려 한다고 하자. Bob은 Alice의 공개 키가 필요하다. 하지만 누군가 Alice의 공개 키라며 다른 키를 건네줄 수 있다. 이것이 중간자 공격(Man-in-the-Middle, MITM)이다. [정상적인 경우] Bob → Alice의 진짜 공개 키로 암호화 → Alice만 복호화 가능

Certificate Revocation

인증서는 유효 기간이 있지만, 다음과 같은 이유로 만료 전에 폐기될 수 있다. 개인 키가 유출됨 인증서 정보가 변경됨 (회사명 변경 등) CA가 손상됨 도메인 소유권 변경 암호화 알고리즘 약화 인증서 폐기를 관리하는 방법에는 CRL, OCSP, OCSP Stapling, CRLite 등이 있다. Certificate Revocation List (CRL) CRL은 만료 전에 폐기된 인증서 목록이다. CA가 주기적으로 업데이트하여 배포한다. 클라이언트는 인증서를 검증할 때 CRL을 확인하여 폐기 여부를 체크한다. 실제 데이터는 아래와 같이 서명된 데이터 구조다. 발행자(Issuer): 이 CRL을 발행한 CA의 이름 발행 시각(This Update): CRL이 발행된 시각 다음 발행 시각(Nex

Certificate formats

SSL 인증서 형식은 다양하지만, 모두 ASN.1(Abstract Syntax Notation 1) 형식 데이터를 기계가 읽을 수 있는 방식으로 인코딩하는 방법의 차이임. x509 인증서도 이 형식으로 정의됨. 기본 개념: ASN.1: 데이터 구조를 정의하는 표준 표기법 X.509: ASN.1로 정의된 공개키 인증서 표준 DER (Distinguished Encoding Rules): ASN.1을 바이너리로 인코딩하는 규칙 PEM: DER을 Base64로 인코딩하고 평문 앵커 라인 추가 정리하면, ASN.1 표기법을 사용하여 표시된 X.509인증서는 DER 인코딩을 통해 서명할 수 있는 바이트로 변환된다. 이는 사람이 쉽게 복사하거나 인식할 수 있는 텍스트가 아니므로 base64로 인코딩된다. 마지막

Dex는 OpenID Connect를 사용하여 다른 애플리케이션의 인증을 처리하는 identity service이다. Dex는 다른 identity provider로의 커넥터 역할을 한다. Dex는 LDAP 서버, SAML provider, GitHub, Google, Active Directory와 같은 기존 identity provider에게 인증을 위임할 수 있다. 클라이언트가 Dex와 통신하기 위한 인증 로직을 한 번만 작성하면, Dex가 각 백엔드에 대한 프로토콜을 처리한다. ID Tokens ID Token은 OpenID Connect에서 도입된 OAuth2 확장 기능이며 Dex의 핵심 기능이다. ID Token은 Dex가 서명한 JSON Web Token(JWT)으로, OAuth2 응답

Keycloak은 ID 및 액세스 관리 솔루션을 제공하고, 인증(Authentication)과 인가(Authorization)을 쉽게 해주고 SSO(Single-Sign-On)을 가능하게 해주는 오픈소스이다. SSO란? SSO는 Single-Sign-On의 약자로 한번의 로그인을 통해 그와 연결된 여러가지 다른 사이트들을 자동으로 접속하여 이용할 수 있도록 하는 방법이다. 일반적으로는 여러 사이트를 사용할 떄 각각의 DB에 각각의 사용자 정보가 있고 그 정보를 통해서 관리를 하게 되는데, 필요에 따라서는 사용자 정보를 연동하여 사용해야 하는 경우가 발생한다. 이런 경우에 SSO 기능을 사용하게 되며 하나의 시스템에서 인증을 할 경우 그와 연결된 다

secrets-management

HashiCorp Vault is an identity-based secrets and encryption management system. A secret is anything that you want to tightly control access to, such as API encryption keys, passwords, and certificates. Vault provides encryption services that are gated by authentication and authorization methods. Using Vault’s UI, CLI, or HTTP API, access to secrets and other sensitive data can be securely stor

GPG(GNU Privacy Guard)는 GNU에서 제공하는 OpenPGP(RFC4880)의 오픈소스 구현이다. PGP(Pretty Good Privacy)는 1991년 Phil Zimmermann이 개발한 암호화 프로그램으로, 이메일과 파일을 암호화하고 서명하는 표준이 되었다. GPG는 이 표준을 무료로 구현한 것이다. 인터넷에서 메시지나 파일을 주고받을 때 세 가지 문제가 있다. GPG는 이 세 가지 문제를 공개 키 암호화와 디지털 서명으로 해결한다. 기밀성(Confidentiality): 메시지를 오직 의도한 수신자만 읽을 수 있어야 한다. 무결성(Integrity): 메시지가 전송 중 변조되지 않았음을 확인할 수 있어야 한다. 인증(Authentication): 메시지가 실제로 주장하는 발신

SSH는 원격 서버에 안전하게 접속하기 위한 암호화 프로토콜이다. 공개키 인증의 원리 SSH는 비밀번호 대신 공개키 비대칭 암호화 방식을 사용한다. 따라서 두 개의 키를 사용한다. 개인키(Private Key): 절대 공유하지 않는 비밀 키 공개키(Public Key): 누구에게나 공개해도 되는 키 공개키로 암호화한 데이터는 개인키로만 복호화할 수 있다. 반대로 개인키로 서명한 데이터는 공개키로 검증할 수 있다. SSH 공개키 인증은 이렇게 작동한다. 1. 클라이언트가 서버에 접속을 시도한다 2. 서버는 등록된 공개키 목록(~/.ssh/authorized_keys)을 확인한다 3. 서버가 무작위 챌린지 데이터를 생성해 클라이언트에게 보낸다 4. 클라이언트는 개인키로 챌린지에

몽고메리 사다리

몽고메리 사다리 알고리즘은 거듭제곱을 안전하고 효율적으로 계산하는 방법이다. 일반적인 거듭제곱 계산 방법 a^n을 계산하고 싶다면 가장 단순한 방법은 a를 n번 곱하는 것이다. 하지만 n이 크면 비효율적이다. python 느린 방법 result = 1 for i in range(n): result = result * a n = 1000이면 999번의 곱셈이 필요하다. 더 나은 방법은 분할 정복을 사용하는 것이다. 거듭제곱의 지수를 반으로 나눠가며 계산한다. a^8 = a^4 × a^4 a^4 = a^2 × a^2 a^2 = a × a 이렇게 하면 8번 곱하는 대신 3번만 곱하면 된다. a^n = (a^(n/2))^2 (n이 짝수)

Noise 프로토콜은 간단하고 안전한 암호화 통신을 위해 설계된 현대적인 핸드셰이크 프레임워크이다. Noise protocol framework는 핸드셰이크의 모든 협의를 피함으로써 TLS의 런타임 복잡성을 제거한 대안이다. TLS의 복잡한 협상 로직(cipher suite 선택, 프로토콜 버전 협상 등)을 제거하여 구현을 단순화한다. 사전에 정의된 패턴을 사용하므로 프로토콜 흐름이 명확하고 예측 가능하다. 노이즈를 실행하는 클라이언트와 서버는 분기하지 않는 선형 프로토콜을 따른다. TLS는 핸드셰이크 메시지에 포함된 정보에 따라 다양한 경로를 취할 수 있다(조건부 분기). Noise는 미리 정의된 패턴을 따르므로 실행 흐름이 선형적이고 단순하다. 이는 구현의 정확성을 높이고 보안 검증

Karpenter best practices

Use Karpenter for workloads with changing capacity needs karpenter brings scailing management closer to Kubernetes native APIs than do Autoscaling Groups (ASGs) and Managed Node Groups (MNGs). ASGs and MNGs are AWS-nativ

+ 더보기