Skip to content

태그: linux

총 120개의 글이 있습니다.

Lustre는 대규모 HPC(High Performance Computing) 환경에서 사용되는 병렬 분산 파일시스템이다. 수천 개의 클라이언트가 동시에 접근하는 대용량 스토리지를 제공하며, 슈퍼컴퓨터 클러스터나 AI 학습 인프라에서 자주 사용된다. 구성 요소 MDS(Metadata Server): 파일/디렉토리 메타데이터(inode, 권한, 이름) 관리 OSS(Object Storage Server): 실제 파일 데이터를 저장하는 스토리지 서버 MGS(Management Server): Lustre 설정 정보 저장 클라이언트: `lustre` 커널 모듈을 통해 마운트 파일 데이터는 여러 OSS에 걸쳐 stripe(분산) 저장되고, 메타데이터는 MDS가 별도로 관리한다.

리눅스기초실습

리눅스 개요 및 실습 환경 소개 1. 리눅스 개요 리눅스 = 무료 유닉스 1991년 8월: 리누스 토르발스가 리눅스 커널 0.01버전 최초 작성 1992년: 0.02버전 소스코드 공개 → 리눅스의 탄생 리눅스 구조 (안쪽부터): 하드웨어 → 커널 → 셸 → 응용프로그램 커널 = 엄격한 의미의 리눅스 셸 = 명령어 해석기 (bash, csh 등) 응용프로그램 = 에디터, 통신 프로그램, X윈도, 웹서버, DB서버 2. GNU 프로젝트 1984년 리처드 스톨먼에 의해 시작 목표: '모두가 공유할 수 있는 소프트웨어'를 만드는 것 1985년 자유 소프트웨어 재단(FSF) 설립 GPL 라이선스의 자유: 소프트웨어의 사용, 수정, 재배포의

TOCTOU(Time-of-Check to Time-of-Use)는 자원의 상태를 검사(check)한 뒤 사용(use)하기까지의 틈에 그 자원이 바뀌어 생기는 race condition이다. access + open `access()`로 권한을 확인하고 `open()`으로 파일을 여는 코드를 생각해보자. c if (access("/tmp/file", W_OK) == 0) { int fd = open("/tmp/file", O_WRONLY); write(fd, data, len); close(fd); } setuid 프로그램에서 이 코드가 돌아간다고 하자. `access()`는 real UID 기준으로 권한을 검사하고, `open()`은 effective UID(ro

AF_ALG는 Linux 커널의 Crypto API를 유저스페이스에 소켓 인터페이스로 노출하는 소켓 패밀리이다. 커널 2.6.38에서 도입되었다. 일반적으로 암호화 연산은 OpenSSL 같은 유저스페이스 라이브러리로 수행한다. 하지만 커널 내부에도 자체 암호화 엔진(Crypto API)이 존재하고, AF_ALG는 이 엔진을 `socket()` → `bind()` → `accept()` → `sendmsg()`/`recv()` 흐름으로 사용할 수 있게 해준다. 네트워크 소켓에서 데이터를 주고받듯이, 평문을 커널에 보내면 커널이 연산을 수행하고 결과를 돌려주는 구조이다. 커널 Crypto API는 하드웨어 가속(AES-NI, ARM CE 등)을 자동으로 활용한다. AF_ALG를 쓰면 유저스페이스 프로그램이

NFS(Network File System)는 네트워크를 통해 원격 서버의 파일시스템을 로컬처럼 사용할 수 있게 해주는 분산 파일시스템 프로토콜이다. 클라이언트에서 `/mnt/nfs/file.txt`를 열면, 커널의 VFS가 이를 NFS 모듈로 위임하고, NFS 모듈이 RPC를 통해 서버에 요청을 보낸다. 애플리케이션 입장에서는 로컬 파일과 완전히 동일한 시스템콜(`open`, `read`, `write`)을 사용한다. 마운트 NFS 마운트는 클라이언트가 서버의 특정 디렉토리를 자신의 경로에 연결하는 과정이다. bash nfs-client에서 실행 sudo apt install -y nfs-common sudo mkdir -p /mnt/nfs sudo mount -t nfs nfs-serve

systemd와 supervisord

systemd와 supervisord는 둘 다 Linux에서 프로세스를 관리하는 도구이지만, 동작하는 계층이 다르다. systemd는 PID 1 init 시스템이고, supervisord는 유저스페이스 프로세스 매니저이다. systemd Linux의 init 시스템이다. PID 1로 동작하면서 부팅, 서비스 관리, 마운트, 네트워크, 로깅까지 담당한다. 대부분의 주요 배포판(RHEL, Ubuntu, Debian, Arch 등)이 기본 init으로 채택하고 있다. 서비스는 unit 파일로 정의한다. ini [Unit] Description=My Application After=network.target Requires=postgresql.service [Service] Type=notify E

kanata는 Rust로 작성된 크로스플랫폼 키보드 리매퍼다. macOS의 Karabiner-Elements와 유사한 역할을 하며, Linux, macOS, Windows에서 모두 동작한다. 키 입력을 커널 레벨의 input 디바이스에서 가로채어 uinput을 통해 가상 키보드 이벤트를 생성한다. 설치 공식 릴리즈에서 x64 Linux 바이너리를 제공하지만, aarch64 환경에서는 소스에서 직접 빌드해야 한다. bash cargo install kanata Linux 권한 설정 kanata는 `/dev/input/*` 장치를 읽고 `/dev/uinput`에 쓰기 위한 권한이 필요하다. bash input, uinput 그룹에 사용자 추가 sudo groupadd uinpu

GNOME(GNU Network Object Model Environment)은 Linux 및 Unix 계열 운영체제를 위한 데스크톱 환경이다. GTK 툴킷 기반으로, Ubuntu, Fedora, RHEL, Debian 등 주요 배포판에서 기본 DE로 쓰인다. 1997년 KDE가 사용하던 Qt 라이브러리의 라이선스 문제를 해결하기 위해 시작된 프로젝트다. 완전한 자유 소프트웨어 데스크톱을 목표로 Miguel de Icaza와 Federico Mena가 만들었고, GNU 프로젝트의 공식 데스크톱 환경이 되었다. 소프트웨어 스택 GNOME은 여러 계층의 컴포넌트로 구성된다. GNOME Shell (UI, JavaScript/GJS) ↓ Mutter (윈도우 매니저 / Wayla

라이브러리

리눅스에서 프로그램이 실행될 때, 대부분의 경우 외부 라이브러리의 코드를 필요로 한다. 이 라이브러리들이 프로그램에 어떻게 연결되고, 시스템이 어디서 라이브러리를 찾는지 이해하는 것은 리눅스 시스템 관리와 개발에서 핵심적인 지식이다. 프로그램이 외부 함수를 호출할 때, 그 함수의 실제 코드가 어디에 있는지 연결해주는 과정을 링킹(Linking)이라 한다. 링킹은 두 가지 방식으로 수행된다. 정적 링킹 (Static Linking) 컴파일 시점에 라이브러리 코드를 실행 파일에 직접 복사한다. bash 정적 라이브러리 생성 gcc -c mylib.c -o mylib.o ar rcs libmylib.a mylib.o 정적 링킹으로 컴파일 gcc main.c -L. -lmylib -static -

errno는 시스템 콜이나 라이브러리 함수가 실패했을 때 에러 원인을 나타내는 전역 변수다. c include extern int errno; exit code가 프로세스 종료 상태를 표현하는 것과 비슷하게 errno는 시스템 콜 에러 상태를 나타내는 정수 반환 값이다. | 구분 | errno | exit code | |------|-------|-----------| | 범위 | 시스템 콜 에러 | 프로세스 종료 상태 | | 접근 | `errno` 변수 | `$?` 또는 `waitpid` | | 값 | 양수 (1~133+) | 0~255 | | 0의 의미 | 에러 없음 | 성공 | 주요 errno 값 리소스 관련 | errno | 값 | 설명 | |-------|---|---

futex(Fast Userspace muTEX)는 리눅스에서 제공하는 저수준 동기화 메커니즘이다. 사용자 공간에서 빠르게 락을 처리하고, 경합이 발생할 때만 커널로 진입하여 효율적인 동기화를 제공한다. c include include int futex(int *uaddr, int futex_op, int val, const struct timespec *timeout, int *uaddr2, int val3); `uaddr`: 동기화에 사용할 메모리 주소 (보통 32비트 정수) `futex_op`: 수행할 연산 (FUTEX_WAIT, FUTEX_WAKE 등) `val`: 연산에 따라 다른 의미 (WAIT에서는 기대값, WAKE에서는 깨울 쓰레드 수)

strace는 프로세스가 호출하는 시스템 콜과 시그널을 추적하는 리눅스 디버깅 도구다. bash strace [options] command [args] strace [options] -p pid 기본 옵션 | 옵션 | 설명 | |------|------| | `-p pid` | 실행 중인 프로세스에 attach | | `-o file` | 출력을 파일로 저장 | | `-e trace=syscalls` | 특정 syscall만 추적 | | `-c` | 통계 요약 출력 | 멀티쓰레드/프로세스 옵션 | 옵션 | 설명 | |------|------| | `-f` | fork된 자식 프로세스도 추적 | | `-ff` | 각 프로세스/쓰레드별 별도 파일 생성 (`-o` 필요) |

SMB(Server Message Block): 네트워크를 통해 파일, 프린터, 시리얼 포트 등의 자원을 공유하기 위한 통신 프로토콜 포트: TCP/445 (구버전 TCP/139) 데몬 이름: smbd, nmbd (Samba 환경에서) Windows 환경에서 기본적으로 지원되며, Linux/Unix에서는 Samba 패키지를 통해 구현됨 SMB 버전별 특징 SMB 1.0: 초기 버전, 보안 취약점으로 인해 사용 권장하지 않음 SMB 2.0: 성능 개선, Windows Vista/Server 2008부터 지원 SMB 3.0: 암호화 지원 추가, Windows 8/Server 2012부터 지원 SMB 3.1.1: 최신 버전, 보안 강화 및 성능 최적화 주요 기능 파일 공유: 네트워크 상의 파일

SRV (Service) 레코드 SRV(Service) 레코드는 특정 서비스를 제공하는 서버의 위치를 지정하기 위한 레코드이다. 일반적인 A 레코드나 CNAME 레코드와 달리, SRV 레코드는 서비스명과 프로토콜, 우선순위(priority), 가중치(weight), 포트(port), 호스트 이름(target)을 함께 명시한다. SRV 레코드를 사용하면 포트나 호스트 이름이 바뀌어도 클라이언트는 SRV 레코드만 다시 조회하면 되므로 유연성이 높고, 서비스 수준에서의 로드 밸런싱 또는 고가용성 구성이 가능해진다. bash 구조 _service._proto.name. TTL class SRV priority weight port target 예시 _sip._tcp.example.com. 3600

`--local-no-set-modtime` local을 백엔드로 사용할 때, rclone은 기본적으로 업로드 이후 chtimes 명령어로 modtime을 갱신한다. (업로드가 완료된 시점을 modtime으로 기록하기 위해) 그런데, mountpoint-s3에선 modtime만 갱신하는 동작을 지원하지 않는다. (modtime 갱신에 대응하는 s3 API가 없기 때문) 이처럼 modtime 갱신이 불가한 파일 시스템, 혹은 마운트를 사용하는 경우 `--local-no-set-modtime` 옵션을 사용해야한다. 이 옵션을 사용하면 업로드된 파일의 mod time이 실제 업로드된 (이후의) 시각이 아닌, 파일 시스템에서 파일이 복사된 시간으로 기록된다. `--ig

BPFDoor를 활용한 백도어 악성코드로서 2021년 PWC 사의 위협 보고서를 통해 최초로 공개되었다. BPF의 필터링 기능을 악용하여, 방화벽을 우회하고 패킷 기반 명령 수신이 가능하도록 구성된 백도어이다. 동작 방식 Github에 공개된 [BPFDoor 코드 중 하나]( 의 동작 과정을 상세히 살펴보

보통 서버의 타임존은 NTP 라는 프로토콜로 중앙 서버와 통신하여 동기화된다. `timedatectl`로 Local time과 NTP 정보를 확인할 수 있다. $ timedatectl Local time: 금 2025-01-17 01:46:55 KST Universal time: 목 2025-01-16 16:46:55 UTC RTC time: 목 2025-01-16 16:46:56 Time zone: Asia/Seoul (KST, +0900) NTP enabled: yes NTP synchronized: yes RTC in local TZ: no DST active: n/a $ timedatectl --help timedatectl [

ip_forward와 rp_filter

ip_forward IP forward는 일반적인 라우터 동작처럼 하나의 인터페이스로 들어온 패킷을 읽어서 일치하는 서브넷을 가지는 다른 네트워크 인터페이스로 패킷을 포워딩하는 것을 말한다. 라우터는 이 방식으로 패킷을 라우팅하지만 대부분의 호스트는 이 작업을 수행할 필요가 없다. 따라서 기본적으로 비활성화 되어있는 기능인데, 필요에 따라 옵션을 활성화할 수 있다. sysctl -w net.ipv4.conf.default.rp_filter=integer sysctl -w net.ipv4.conf.all.rp_filter=integer interger에 활성화 여부를 나타내는 숫자를 넣는다. `0` 비활성화 (기본값) `not 0` 활성화 인터페이스별로 지정해줄 수도 있다. `

리눅스 시스템에서 암호화 및 보안 기능을 위한 난수를 생성하는 데 사용된다.

private 통신을 위해 UDP 포트를 열어놓고 STUN과 ICE를 사용하여 통신하는 경우가 있다. 하지만 이 방법은 필요한 커넥션의 갯수만큼 많은 포트를 열어놓아야 하기 때문에, Tailnet에선 보안적으로 더 우수한 DERP(Designated Encrypted Relay for Packets) 라는 방법을 사용한다. DERP는 각 수신자에게 가장 가까운 DERP를 통해 트래픽을 비대칭적으로 라우팅한다. Tailscale 개인 키는 생성된 노드를 절대 떠나지 않는다. 이는 DERP 서버가 귀하의 트래픽을 해독할 수 있는 방법이 전혀 없다는 것을 의미한다. 단지 이미 암호화된 트래픽을 한 노드에서 다른 노드로 맹목적으로 전달할 뿐이다. 이는 남용을 방지하기

linux의 set 명령어는 다양한 기능을 가지고 있다. 변수 출력 set 명령어를 인수 없이 실행하면 셸에 설정된 환경변수 및 변수 목록을 출력한다. $ set '!'=0 ''=0 '$'=65931 '*'=( ) -=569XZilms 0=-zsh '?'=0 @=( ) ARGC=0 BUN_INSTALL=/Users/rlaisqls/.bun CDPATH='' COLORTERM=truecolor COLUMNS=178 COMMAND_MODE=unix2003 CPUTYPE=arm64 DISABLE_UPDATE_PROMPT=true ... 옵션 set 명령어의 옵션으로 셸의 다양한 동작 모드를 설정할 수 있다. 각 옵션 앞에 -를 붙여서 사용하면(`-a`) 옵션을 추가한다는 뜻이고, +

bind로 DNS 서버 정의하기

1. bind를 설치한다 bind(Berkely Internet Name Domain)는 DNS를 구축, 운영하기 위한 Linux 툴이다. 검증되고 안정적인 DNS 서버이며, 많은 DNS 서버에서 사용된다. yum -y install bind bind-chroot bind-utils 2. `/etc/named.conf` 파일에서 DNS 서버로 사용할 포트를 열어준다 conf options { // listen-on port 53 { 127.0.0.1; }; // listen-on-v6 port 53 { 127.0.0.1; }; listen-on port 53 { any; }; listen-on-v6 port 53 { an

DNS(Domain Name System) : 사람이 식별하기 쉬운 도메인 이름을 컴퓨터가 식별하기 위한 네트워크 주소(IP)간의 변환을 수행하기 위한 시스템 (TCP,UDP/53) 데몬 이름 : named 기본 DNS 서버 주소에 대한 정보는 `/etc/resolv.conf` 파일에 저장되어 있다. Recursive 네임 서버 (Cache DNS 서버) 서버에 질의가 들어오면 자신의 캐시에 저장된 정보 또는 반복적 질의를 통해 그 결과를 호스트에게 응답해주는 네임서버 반복적 질의(Iterative Query): Recursive 네임 서버가 각 네임서버(Authoritative 네임서버)로 질의하는 방식 재귀적 질의(Recursive Query) : 호스트가

Domain-based Split Tunnels

VPN을 구성할 때, 특정 도메인에 대해서만 VPN을 활성화하고 싶은 경우가 있을 수 있다. 해당 기능에 대해 TailScale과 Netbird는 아래와 같은 방식으로 제공한다. TailScale]( 1. DNS 쿼리를 로컬 TailScale 서버로 날리도록 한다. 2. 로컬 데몬에서는 8.8.8.8과 같은 도메인 서버에 다시 요청을 날려서, 도메인 쿼리 결과를 기록해놓은 후 결과를 그대로 돌려준다. 3. 기록한 IP에 대해 커넥터로 지정된 호스트에 라우팅하도록 한다. 4. private 네트워크에 성공적으로 통신할 수 있다. [

CPU Load Average

리눅스 커널에서는 CPU Load을 평균으로 산출하여 스케쥴링 알고리즘과 CPU 로드 밸런싱등에 사용한다. 여기서 산출하는 CPU Load 평균은 해당 CPU 실행큐에 대해서 전역적(global)으로 걸리는 부하 평균이다. 이동평균(Moving Average) 리눅스 커널에서는 CPU 부하 평균(Load Average)을 “이동평균” 방식으로 산출한다. 이동평균(Moving Average)은 선택한 범위(날짜 혹은 시간)안에서 발생한 수치들의 평균이다. 예를들어 정리하면 다음과 같다. 1일 이동평균은 1일동안 발생한 수치들의 평균. 5일 이동평균은 5일동안 발생한 수치들의 평균. 15일 이동평균은 15일동안 발생한 수치들의 평균. 1분 이동평균은 1분동안 발생한 수치들의 평균. 5분 이동평

cgroup은 Control group의 약자로, 커널에서 프로세스를 계층적 그룹으로 합쳐 관리하기 위한 기능이다. cgroup을 통해 해당 그룹이 사용할 수 있는 CPU, memory를 제한하는 등의 제어를 할 수 있다. cgroup 설정 방법 cgroup는 `/sys/fs/cgroup` 하위의 파일로 정의된다. cgroup은 오직 프로세스(태스크)들을 그룹화 하는 역할만 하며 내부적으로 자원을 제한하거나 할당하는 역할은 서브시스템에서 수행한다. cgroup 설정을 수정하기 위해선 cgroup 가상파일시스템을 마운트하여 파일 및 디렉토리를 직접 조작하거나, 사용자 도구(Debian, ubuntu는 cgroup-bin/RHEL, CentOS는 libcgroup)를 사용할 수 있다. 서브시스템

스케줄러 소스 분석

리눅스 커널은 다음과 같이 5가지 종류의 스케줄러를 운영하고 있다. 1. Stop Scheduler (STOP) `stop_sched_class` 구조체로 정의된다. 우선순위가 높아서 가장 먼저 처리해야 하는 태스크를 관리한다. 2. DeadLine Scheduler (DL) `dl_sched_class` 구조체로 정의된다. 마감 시간내에 처리해야 하는 태스크를 관리한다. 마감 시간 내에 일을 완료해야 하므로 우선순위가 Stop 스케줄러 다음으로 높다. 3. RealTime Scheduler (RT) `rt_sched_class` 구조체로 정의된다. 실제 정해진 시간마다 처리해야 하는 태스크를 관리한다. 약속된 시간을 지켜야하므로 우선 순위가 높은 편이다. 4.

eBPF로 서버 성능 Profiling하는 법: Pyroscope의 구현 살펴보기

eBPF를 사용한 모니터링을 공부하며 Pyroscope의 eBPF 기능에 관심이 생겼다. 구현 코드를 살펴보면서 eBPF를 활용하는 방법과 그에 연관된 Linux 기능을 익힐 수 있었는데, 내용을 되새기기 위해 공부했던 부분을 전체적으로 풀어 설명해보려 한다. 우선 관련된 기술 배경부터 알아보자. --- Pyroscope Grafana Pyroscope이란? 프로그램을 실행하면서 성능을 측정하고, 분석하는 행위를 프로파일링이라고 한다. 함수 혹은 메소드가 CPU를 얼마나 오랫동안 사용하는가, 얼마나 많이 호출되는가 메모리를 얼

kprobe와 kretprobe

kprobe와 kretprobe는 커널 코드에 동적으로 중단점을 삽입하여 사용자가 정의하는 핸들러 함수가 실행되도록 하는 도구이다. kprobe는 함수 또는 함수에서 특정 오프셋만큼 떨어진 곳에서 핸들러 함수를 실행해주고, kretprobe는 함수가 끝난 후에 핸들러 함수를 실행하게 한다. kprobe의 동작 방식 !image에 존재하는 명령어를 복사해둔 뒤 중단점을 삽입하는 명령어로 덮어씌운다 (i386에서는 int3 명령어로 1바이트이다.) 그럼 i386에서는 int3 명령

kernel을 컴파일 하면 KERNEL_ROOT 디렉토리에 vmlinux 파일이 생성된다. 해당 바이너리는 ELF(Excutable Linking Format) 형식이며, 디버깅과 관련된 정보 등과 같이 부가적인 정보들을 포함하고 있다. vmlinux에서 objcopy 명령을 통해 Instruction set만 추출한 것이 바로 Image file이며 해당 파일은 크기가 크기 때문에 gzip을 통해서 압축을 진행한다. zlib, bzip2 등으로 압축한 vmlinux 파일을 vmlinuz, zImage, bzImage라고 부른다. 커널 이미지 생성 상세 과정 해당 vmlinux 파일에서 (1) 의 과정을 통해 `.comment`, `symbol table`, `relocati

Stack trace와 kallsyms

Stack Frame frame pointer 레지스터는 linked list 구조처럼 스택에 있는 이전의 frame pointer의 주소를 저장한다. (마지막 프레임은 다음 프레임이 없으므로 0을 저장한다.) stack의 frame pointer 앞에는 LR 레지스터의 값(리턴시 점프할 주소)도 같이 저장된다. 위와 같은 특성을 이용하면, stack frame을 순회하면서 frame pointer와 LR의 값들을 확인할 수 있다. 아래는 이 특성을 이용하여 구현한 단순한 `dump_stack` 함수이다. c include include void dump_stack() { uint64_t *f

메모리 로딩

BPF는 일반적인 프로그램과 유사한 방식으로 개발하기 때문에 유사한 실행파일 및 메모리 구조를 가지고 있지만, 커널 안에서 제한된 환경으로 실행되기 때문에 로딩(loading) 또한 다른 방식으로 실행된다 데이터 유형 일반적인 실행파일에서 가장 중요한 두 가지는 코드와 데이터이다. 코드는 말그대로 상위언어를 컴파일한 머신코드를 의미하고, 데이터는 실행시 코드가 참조하는 메모리를 의미한다. 데이터는 스택과 힙같이 실행시 메모리가 할당/해제되는 동적 데이터와 전역변수처럼 코드에서 선언되는 정적 데이터로 나뉘는데, 정적 데이터는 실행파일을 로딩할 때 메모리가 할당되고 해당 메모리를 참조하는 코드도 재배치(relocation)된다. 그리고 정적 데이터는 크게 읽기전용 변수, 초기화된 전역변수 그리고

서브프로그램

BPF는 일반적으로 하나의 함수(main 함수)가 하나의 섹션이 되고, 하나의 섹션이 하나의 프로그램이 된다. 그리고 커널에서 해당 프로그램을 실행할 때는 프로그램의 시작 위치가 메인함수의 시작 위치이기 때문에 간단히 처음부터 실행하면 된다. 하지만 아래와 같이 메인함수에서 공통함수를 호출하는 경우처럼 두 개 이상의 함수가 필요한 경우에는 프로그램의 시작 위치를 어떻게 보장할까? BPF는 이러한 상황에서 시작 위치 보장을 위해 서브프로그램이라는 기능을 제공한다. 아래 코드는 bcc의 [filetop]( 예제코드이다. 해당 예제는 `vfs_read`와 `vfs_write` 커널함수

Epoll은 리눅스에서 select의 단점을 보완하여 사용할 수 있도록 만든 I/O 통지 모델이다. 파일 디스크립터를 커널이 관리하기 때문에 CPU는 계속해서 파일 디스크립터의 상태 변화를 감시할 필요가 없고, 관찰대상의 정보를 매번 전달하지 않아도 된다. select는 어느 파일 디스크립터에 이벤트가 발생하였는지 찾기 위해 전체 파일 디스크립터에 대해서 순차검색을 위한 `FD_ISSET` 루프를 돌려야 하지만, Epoll는 이벤트가 발생한 파일 디스크립터들만 구조체 배열을 통해 넘겨주므로 메모리 카피에 대한 비용이 줄어든다. level vs edge trigger epoll의 이벤트 탐지 방법은 level-trigger와 edge-trigger 두 가지가 있다. level-trigger

`ioctl()``, `write()`를 사용하지만, 하드웨어를 제어하거나 상태 정보를 확인하려면 `ioctl()`를 이용해야한다. c include int ioctl(int d, int request, ...); `d`: open한 디바이스 드라이버의 fd 값이다 `request`: 디바이스에게 전달할 명령이다. 이 명령에 따라서 디바이스를 컨트롤 할 수 있다. `/usr/include/asm/ioctl.h` 헤더파일에 ioctl의 커맨드 번호를 작성하는데 사용해야하는 매크로가 정의

BPF communicates with userspace

프로그램이 attach 되어 실행되고 나면 어떻게 정보를 수집할 수 있을까요? 세 가지 방법이 있습니다. BPF 맵, perf 이벤트, bpf_trace_printk를 사용하는 것입니다. 1. BPF maps When should I use maps? BPF maps are useful for gathering information during BPF programs to share with other running BPF programs, or with userspace programs which can also see the map data. How can I use it The set of map types is described in [`include/linux/uapi/bpf.h`](

linux 표준 에러 코드

리눅스에서는 시스템 호출 및 라이브러리 함수 호출 중에 오류가 발생하면 해당 오류를 나타내기 위해 정수 형태의 에러 넘버를 사용한다. 이러한 에러 넘버는 errno이라는 전역 변수에 저장되며, 오류가 발생하면 해당 값이 설정된다. 이러한 에러 넘버들은 `errno.h` 헤더 파일에 상수 형태로 정의되어 있다. `/usr/include/asm-generic/errno-base.h` : errno 1 ~ 34 까지 정의 `/usr/include/asm-generic/errno.h` : errno-base.h를 include하고, errno 35 ~ 133 까지 정의 C언어에서는 `include ` 헤더를 include하여 이 값들을 활용할 수 있다. 아래는 주요 Linux errno 에러 넘버들과 간

c include /* Definition of PERF_* constants */ include /* Definition of HW_* constants */ include /* Definition of SYS_* constants */ include int syscall(SYS_perf_event_open, struct perf_event_attr *attr, pid_t pid, int cpu, int group_fd, unsigned long flags); `perf_event_open`은 성능 모니터링을 설정하기 위한 시스템 콜이다. `perf_event_open()`는 성능 정보를 측정할 수 있는 파일 디스크립

`getrlimit()`와 `setrlimit()` c include include include int getrlimit(int resource, struct rlimit *rlim); int setrlimit(int resource, const struct rlimit *rlim); `getrlimit()`과 `setrlimit()`는 자원의 제한값을 조회하거나 설정하기 위해서 사용하는 시스템 콜이다. 자원의 종류를 뜻하는 resource는 다음중 하나이다. c RLIMIT_CPU /* 초 단위의 CPU 시간 */ RLIMIT_FSIZE /* 최대 파일 크기 */ RLIMIT_DATA /* 최대 데이타 크기 */ RL

BPF System Call

c include int bpf(int cmd, union bpf_attr *attr, unsigned int size); `bpf()` 시스템 콜은 eBPF와 관련된 다양한 동작을 수행한다. 이 시스템 콜을 사용해 커널 내 eBPF 헬퍼 함수들을 호출할 수 있으며 eBPF Map 같은 공유 자료 구조에 접근할 수 있다. 각 eBPF 프로그램은 완료 때까지 안전하게 실행할 수 있는 명령어들의 집합이다. 커널 내 검증기가 eBPF 프로그램이 안전한지 여부를 정적으로 판단한다. 검증하는 동안 커널에서 그 eBPF 프로그램이 쓰는 맵 각각에 참조 카운터를 올려서 프로그램이 내려갈 때까지 관련 맵들이 제거되지 않도록 한다. cmd `bpf()` 시스템 호출이 수행할 동작을 cmd 인자로 결

libbpf helper 함수

`libbpf_register_prog_handler()` rust LIBBPF_API int libbpf_register_prog_handler(const char *sec, enum bpf_prog_type prog_type, enum bpf_attach_type exp_attach_type, const struct libbpf_prog_handler_opts *opts); `libbpf_register_prog_handler()`는 커스텀 BPF 프로그램을 `SEC()` handler로 등록해준다. 모든 커스텀 handler(sec 파라미터가 NULL인 것은 제외)는 libbpf에서 정의하는 `SEC()` handler보다 전에 등록된

BPF ring buffer

BPF 프로그램은 수집한 데이터를 후처리하고 로깅하기 위해 정보를 User space로 전송하는데, 대부분의 경우 이를 위해 BPF Perf buffer(Perfbuf)를 사용한다. Perfbuf는 CPU마다 하나씩 생성되는 순환 버퍼로, Kernel space와 Use space간 데이터를 효율적으로 교환할 수 있도록 한다. 하지만 Perfbuf에는 두가지의 문제점이 있었다. 1. 각 CPU에 대해 별도의 버퍼를 사용하기 때문에 데이터 스파이크에 대응하기 위해서 각각의 버퍼크기를 크게 할당해주어야 한다. 이 때문에 필요한 것 보다 더 많은 메모리 공간이 낭비될 수 있다. 2. 연관된 이벤트가 서로 다른 CPU에서 빠르게 발생하는 경우 이벤트가 순서대로 전달되지 않을 수 있다. 이 때문에 이벤트를

libbpf is a C-based library containing a BPF loader that takes compiled BPF object files and prepares and loads them into the Linux kernel. libbpf takes the heavy lifting of loading, verifying, and attaching BPF programs to various kernel hooks, allowing BPF application developers to focus only on BPF program correctness and performance. The following are the high-level features supported by libb

ELF는 Executable and Linking Format의 약어로, UNIX / LINUX 기반에서 사용되는 실행 및 링킹 파일 포맷이다. 사용하는 운영체제는 유닉스, BSD, 솔라리스, 리눅스가 있다. (같은 바이너리 포멧이어도 각 운영체제간에는 호환이 되지 않는다.) ELF 파일은 아래와 같은 구조를 가지고 있다. |구조| |-| |ELF Header| |Program header table| |.text| |.rodata| |.data| |Section header table| ELF header ELF 헤더는 파일의 시작 부분에 있고, 파일에 대한 메타데이터를 가지고 있다. ELF 헤더에는 프로세서 아키텍처에 대한 정보가 포함되

`SEC()`은 ELF Section을 정의하는 매크로이다. `/`로 접두사를 구분하기도 한다. (e.g. `kprobe/slub_flush`) eBPF Section `license` c SEC("license") = "Dual MIT/GPL"; 프로그램에서 특정 BPF helper를 특정하여 사용하려면 GPL 호환 라이선스 하에 라이선스를 선언해야한다. BPF 프로그램의 라이선스는 커널 모듈 라이선스와 동일한 규칙을 따른다. ([라이선스 목록 참고]( `.map` `.maps` 섹션을 정의하면 libbpf가 해당 섹션을

linux에서 mail 서비스를 운영할 수 있다. mail 관련 프로토콜 SMTP(Simple Mail Transfer Protocol) MTA 클라이언트와 서버를 구성하는 프로토콜 (TCP/25) 송신자와 송신자의 메일 서버 사이, 메일 서버와 메일 서버 사이에서 사용된다. POP3(Post Office Protocol) 메일 서버로부터 메일을 수신하기 위한 서버/클라이언트 프로토콜 (TCP/110) 메일 서버로부터 메일을 가져온 후 서버에서 메일을 삭제함 IMAP4(Internet Mail Access Protocol) POP3와 비슷한 기능이지만 더 많은 기능을 포함하고 복잡함 (TCP/143) 메일 서버로부터 메일을 가져와도 서버에 메일이 유지됨. 메일 서비스

man은 manual을 의미하며, 설명서 페이지를 볼 수 있는 명령어이다. bash man [-adho] [-t | -w] [-M manpath] [-P pager] [-S mansect] [-m arch[:machine]] [-p [eprtv]] [mansect] page [...] man -f page [...] -Emulates whatis(1) man -k page [...] -Emulates apropos(1) 옵션 |옵션|설명| |-|-| |`-k`|apropos에 해당하는 매뉴얼의 내용을 출력.apropos란 완전히 일치하지 않아도 대략적으로 비슷한 단어를 뜻한다. (ex: mount의 apropos는 amount, mounted, mounts 등이 있다.)|

Linux perf The "perf" command is the official profiler and tracer for Linux. Its source is included in the Linux tree (under tools/perf). perf is a tool that analyzes performance on Linux systems. Events that can be searched using the perf tool are largely divided into four types. It Accesses the kernel via the `perf_event_open` system call function to collect information. 1. Hardware Events

PMU(performance monitoring unit) PMU는 counter register(PMC ,performance monitoring counter)와 configuration register로 구성되어 있으며 CPU 내부에 위치한다. 물리적으로 PMC와 하드웨어 유닛을 wire로 연결하면 하드웨어 이벤트 카운트를 측정할 수 있다. 하지만 각각의 하드웨어 유닛에 PMC들을 연결하기엔 공간상 한계(or 자원의 한계)가 존재한다. 따라서 하나의 PMC에 두 개 이상의 유닛을 연결하고 configuration register를 이용하여 측정하고 하는 이벤트를 선택할 수 있다. Perf perf 명령어를 사용하여 PMU의 데이터를 모니터링할 수 있다. 다음과

Redirection와 FD

`>`는 overwrite를 뜻한다. `>>`는 append를 뜻한다. 명령어의 결과(ls *)를 파일에 남기고 싶다면 아래와 같은 명령어를 사용하면 된다. `ls * file.txt` "hello"라는 값을 파일의 맨 밑부분에 추가하고 싶다면 아래와 같은 명령어를 사용하면 된다. `echo 'hello' >file.txt` standard stream redirection은 stream을 통해 이뤄진다. `stream`이란 디스크상의 파일이나 컴퓨터에 연결되는 여러 장치들을 통일된 방식으로 다루기 위한 가상의 개념이다. 프로세스가 생성되면 기본적으로 입, 출력을 위한 채널을 가지게 되는데, 이것을 standard stream이라고 한다. stream은 각각 `/dev/stdin

![image]( --- Runlevel 확인 아래 경로에 runlevel로 검색하면 시스템에 등록된 Runlevel을 직접 확인할 수 있다. 경로 : `/lib/systemd/system` 파일명 : `runlevel*.target` bash $ sudo ls -al /lib/systemd/system/runlevel*.target lrwxrwxrwx 1 root root 15 Mar 2 21:58 /lib/systemd/system/runlevel0.target -poweroff.target lrwxrwxrwx 1 root ro

X Window는 컴퓨터 그래픽 사용자 인터페이스(GUI)를 제공하기 위한 Unix, Linux 계열 운영 체제에서 사용되는 시스템이다. X Window 시스템은 네트워크 환경에서 그래픽 화면을 표시하고 입력 장치와 상호 작용할 수 있는 기능을 제공한다. X window의 구조라고 한다. 특징 클라이언트-서버 모델: X 클라이언트는 X 서버에서 동작하면서 서버에게 명령을 전달하고, X서버는 클라이언트에게 명령 요청의 결과를 디스플레이 장치에 출력해주거나 사용자 입력을 클라이언트에게 제공해주는 역할을 한다. 따라서 디스플레이 장치에 독립적이다. 모듈화: X Window 시스템은 모듈화되어 있으며, 다양한 그래픽 라이브러리와 툴킷을 사용하여 응용 프로그램을 개발할 수 있다. 이로 인해 다양한 스타일

목차 cut more/less tail cat history date find grep --- cut 파일에서 필드를 뽑아내서 출력 `-f` : 잘라낼 필드를 지정 `-d` : 필드를 구분하는 문자를 지정 `-c`: 잘라낼 곳의 글자 위치를 지정 `cut -f 1,3,4 -d : /etc/passwd` → /etc/passwd 파일에서 필드를 :로 구분하여 1,3,4번째 필드를 출력 `cut-c1-10/etc/passwd` → /etc/passwd 파일에서 첫번째 문자부터 10번째 문자 까지만 출력 more/less 내용이 많은 파일을 출력할 때 사용하는 명령어 `-f` / `SpaceBar` : 한 페이지 뒤로 이동 `-b`: 한 페이지 앞으로 이동 tail 파일의 내용을 뒷부분

우분투의 기본적인 방화벽은 UFW이다. 이는 iptables를 좀 더 쉽게 설정할 수 있도록 한 것인데 간단한 방화벽 구성에는 문제가 없지만 수준 높은 방화벽 구성에는 iptables 룰을 직접 사용해야한다. UFW 사용법 UFW 기본 설정법에 대하여 알아보자. UFW 활성화/비활성화 UFW는 기본 비활성화 상태이기에 활성화 해주어야 사용할 수 있다. bash sudo ufw enable UFW 비활성화 bash sudo ufw disable UFW 상태 확인 bash sudo ufw status verbose UFW 기본 룰 UFW에 설정되어 있는 기본 룰은 아래와 같다. 들어오는 패킷에 대해서는 전부 거부

XDP(eXpress Data Path)는 운영체제 네트워킹 스택의 대부분을 우회하여 높은 속도로 네트워크 패킷을 송수신할 수 있는 eBPF 기반 고성능 데이터 경로이다. Data path 위 그림은 Linux 커널의 패킷 흐름 경로를 나타낸다. XDP는 네트워킹 스택과 패킷 메타데이터를 위한 메모리 할당을 우회한다. XDP의 핵심 아이디어는 커널 RX 경로 초입에 hook을 걸어, 사용자가 제공한 eBPF 프로그램이 패킷 처리 방향을 결정하게 하는 것이다. 이 hook은 NIC 드라이버의 인터럽트 처리 직후, 네트워크 스택의 메모리 할당 전에 위치한다. 메모리 할당 비용이 크기 때문이다. 이 덕분에 일반 하드웨어에서도 코어당 초당 2,600만 패킷을 드롭할 수 있다. e

커서 이동하기 `Ctrl + A`: 현재 입력중인 라인의 시작 위치로 이동한다. `Ctrl + E`: 현재 입력중인 라인의 마지막 위치로 이동한다. `Ctrl + XX`: 현재 입력중인 위치와 라인의 시작 위치를 번갈아 이동한다. `Alt + F`: 현재 입력중인 라인에서 한 단어를 건너뛰어 이동한다. `Alt + B`: 현재 입력중인 라인에서 앞쪽으로 한 단어를 건너뛰어 이동한다. `Ctrl + F`: 현재 입력중인 라인에서 한 글자 앞으로 이동한다. `Ctrl + B`: 현재 입력중인 라인에서 한 글자 뒤로 이동한다. 텍스트 조작 `Ctrl + U`: 현재 입력중인 라인의 현재 위치부터 라인의 처음까지를 잘라내어 클립보드에 저장한다. 만약 현재 위치가 라인의 마지막이라면, 전체 라인을 잘라내기한

chattr과 chown

chattr 파일의 속성을 지정하는 명령어이다. change file attributes on a Linux file system bash chattr [옵션] [+.-.=속성] [파일명] 옵션 `-R` : 하위 디렉토리까지 재귀적으로 바꿈 `-V` : 파일 속성을 바꾼 다음에 보여줌 `-v` version : 지정된 파일에 버전을 설정할 수 있다. 설정모드 `+` : 속성을 추가한다. `-` : 속성을 제거한다. `=` : 원래 파일이 가지고 있던 그 속성만을 유지하게 한다. 속성 `a` : 파일을 추가모드로만 열 수 있다. `c` : 압축하여 저장 `d` : dump 명령을 통하여 백업받을 경우 백업 대상에 포함하지 않는다. `i` : 파일을 read-onl

`ls -l` 명령을 사용하여 파일, 디렉토리 리스트를 출력하면 파일에 지정된 permission을 확인할 수 있다. bash $ ls -l -rwxr-xr-x 1 pi pi 5720 Jul 3 20:06 a.out -rw-r--r-1 pi pi 722 Jul 2 21:12 crontab.bak -rw-r--r-1 pi pi 52 Jul 2 21:10 test.c 출력 결과는 각각 파일종류 및 권한(Permission), 링크수, 사용자(소유자), 그룹, 파일크기, 수정시간, 파일이름을 나타낸다. 권한을 변경하거나 할 때도 `chmod` 명령어 뒤에 옵션으로 부여할 권한과 대상을 적어주기만 하면 된다. bash chmod [options] mode[,mode] file1

사용자 관리

root 계정의 UID 값은 0이다. root 이외에 UID가 0인 사용자가 없도록 해야 한다. `TMOUT` 환경 변수를 사용해 일정시간 미사용시 자동으로 로그아웃 되도록 설정하여 보안을 강화할 수 있다. 사용자 인증 모듈인 `PAM`을 이용해 root 계정으로의 직접 로그인을 차단할 수 있다. 일반 사용자에게 특정 명령어에 대한 root 권한이 필요할 때는 `su` 명령어보다는 `sudo` 명령어를 이용하도록 한다. --- 계정 관리 계정 정보가 저장되어있는 디렉토리에 대해 알아보자. `/etc/passwd` 비밀번호를 파일 내 계정 정보와 함께 저장하는 일반 정책에서 사용된다. passwd 파일의 로그인 쉘을 점검하여 로그인이 불필요한 계정에 대한 접근권한을 설정해야 한다. c

BPF는 c언어로 작성할 수 있고, LLVM의 clang과 같은 컴파일러를 활용해 C언어로 된 BPF 프로그램 코드를 eBPF 바이트코드로 컴파일할 수 있다. linux man 페이지 __attribute__((section(x), used)) endif __section("classifier") int cls_main(struct __sk_buff *skb) { return -1; } char __license[] __section("license") = "GPL

For connected systems evolving these days, the amount of data transfer is huge, and the support infrastructure for the network analysis needed a way to filter out things pretty fast. BPF는 1992년 패킷 분석 및 필터링을 위해 개발된 in-kernel virtual machine이다. BSD라는 OS에서 처음 도입했으며 리눅스에서도 이 개념을 빌려와서 서브시스템을 만들었다. in-kernel virtual machine이라고 함은 정말로 가상의 레지스터와 스택 등을 갖고 있으며 이를 바탕으로 코드를 실행한다는 뜻이다. 커널 레벨의 프로그램을 개발하기 위한 일종

BPF 프로그램 타입

BPF 프로그램의 종류는 다양하다. BPF 프로그램은 이벤트를 중심으로 작성되는데, 프로그램 타입에 따라 사용할 수 있는 이벤트가 제한적이므로 작성하고자 하는 프로그램이 어떤 범주에 속하는지 잘 알고 있어야 한다. 작성한 프로그램은 해당하는 이벤트가 발생할 때 실행되고, 실행 시점에 프로그램에서 필요로 하는 정보가 컨텍스트로 제공될 것이다. 프로그램 타입 [커널 내 소스]( 커널에서 지원하는 BPF 프로그램의 타입 전체가 나열되어 있다. c /* Note that tracing related programs such as * BPF_PROG_TYPE_{KPRO

BTF is the metadata format which encodes the debug info related to BPF program/map. The name BTF was used initially to describe data types. The BTF was later extended to include function info for defined subroutines, and line info for source/line information. The debug info is used for map pretty print, function signature, etc. The function signature enables better bpf program/function kernel sym

Linux 디렉토리 구조

`/bin`: 기본 명령어 저장 --- `/sbin`: 시스템 관리를 위한 명령어들이 저장 --- `/etc`: 환경설정에 연관된 파일들과 디렉터리들이 저장 2016(1) `/etc/rc.d`: 시스템의 부팅과 런 레벨 관련 스크립트들이 저장 `/etc/inittab`: init을 설정하는 파일 `/etc/issue`: 로그인을 위한 프롬프트가 뜨기 전에 출력되는 메시지를 설정하는 파일 `/etc/issue.net`: issue 파일과 기능은 같으나, 원격지 상에서 접속(telnet 등)할 경우에 출력되는 메시지 설정 /etc/motd: 로그인 성공 후 쉘이 뜨기 전에 출력되는 메시지를 설정하는 파일 `/etc/nologin.txt`: 사용자의 쉘이 /sbin/nologin으로 지정

LVM이란 Logical Volume을 효율적이고 유연하게 관리하기 위한 커널의 한 부분이자 프로그램이다. 기존방식이 파일시스템을 블록 장치에 직접 접근해서 R/W를 했다면, LVM은 파일시스템이 LVM이 만든 가상의 블록 장치에 R/W를 하게 된다. 이처럼 LVM은 물리적 스토리지 이상의 추상적 레이어를 생성해서 논리적 스토리지(가상의 블록 장치)를 생성할 수 있게 한다. 직접 물리 스토리지를 사용하는 것보다 다양한 측면에서 유연성을 제공하기 위해, 유연한 용량 조절, 크기 조정이 가능한 스토리지 풀(Pool), 편의에 따른 장치 이름 지정, 디스크 스트라이핑, 미러 볼륨 등 기능을 가지고 있다. LVM의 주요 용어를 알아보자. PV(Physical Volume) LVM에서 블록 장치(블록 단위로

`od` is a command that dumps binary files to eight digits. bash od [-aBbcDdeFfHhIiLlOosvXx] [-A base] [-j skip] [-N length] [-t type] [[+]offset[.][Bb]] [file ...] |Option|Description| |-|-| |-A base|Specify the input address base. The argument base may be one of d, o, x or n, which specify decimal, octal, hexadecimal addresses or no address, respectively.| |-a|Output named chara

RAID(Redundant Array of Independent Disks) 직역하면 복수 배열 저가/독립 디스크이다. 저장장치 여러 개를 묶어 고용량, 고성능인 저장 장치 한 개와 같은 효과를 얻기 위해 개발된 기법이다. RAID의 주 사용 목적은 크게 가용성과 고성능 구현으로 구분된다. 동작 방식에 따라 Level 0~6으로 분류한다. 주로 사용되는 것은 0, 1, 5, 6이며 무정지 구현을 극도로 추구하면 RAID 1, 고성능 구현을 극도로 추구하면 RAID 0, RAID 5, 6은 둘 사이에서 적당히 타협한 형태이다.. RAID 10이나 RAID 01과 같이 두 가지 방식을 혼용하는 경우도 있다. RAID 0: 스트라이핑 기능(분배 기록) 사용 여러 개의 멤버 하드디스크를 병렬

Linux/UNIX 시스템에는 두 가지 유형의 링크가 있다. Hard link : Hard link는 둘 이상의 파일 이름을 동일한 i-node와 연결한다. Soft link : Soft link는 Windows(윈도우)의 바로 가기 같은 것으로, 파일 또는 디렉터리에 대한 간접 포인터이다. Hard link와 달리 심볼릭 링크는 다른 파일 시스템 또는 파티션의 파일이나 디렉터리를 가리킬 수 있다. ln ln은 파일 간의 링크를 만드는 명령어이다. 기본적으로 ln 명령은 Hard link를 생성한다. 심볼릭 링크를 만들려면 `-s` 옵션을 사용해야한다. 심볼릭 링크를 생성하기 위한 ln 명령 구문은 다음과 같다. bash ln -s [OPTIONS] FILE LIN

Day-zero Backup: 시스템을 설치한 후 사용자들이 시스템을 사용하기 전에 시스템을 백업하는 것 Full Backup: 주기적으로 시스템을 백업하는 것 Incremental Backup: 특정한 이벤트 후 또는 주기적으로 이전의 백업 후 변경된 파일들만 백업 하는 것 단순 백업: 첫 백업 때 풀 백업을 진행한 후, 그 다음부터 변경분 백업을 수행하는 것 다단계 백업(Multilevel Backup): 큰 규모나 중요한 시스템의 백업을 수행하는 것 디렉터리 단위 백업 명령어 `tar` 마운트된 파일시스템 내에서 백업 [-g]: 증분 백업을 위한 옵션 `cpio` 많은 양의 데이터를 테이프 드라이브에 백업하기 위한 명령어 네트워크를 통

파일 관리 명령어

디스크 사용량 `df` 파일 시스템별 디스크 사용량 bash $ df --help Usage: df [OPTION]... [FILE]... Show information about the file system on which each FILE resides, or all file systems by default. Mandatory arguments to long options are mandatory for short options too. -a, --all include pseudo, duplicate, inaccessible file systems -h, --hu

파일 시스템

ext 리눅스 초기에 사용되던 파일 시스템 ext2 ext3가 개발되기 이전까지 가장 많이 사용하는 파일 시스템으로 리눅스 파일 시스템 대부분의 기능을 제공하는 파일 시스템이다. ext2는 뛰어난 안정성과 속도로 가장 유명한 파일 시스템으로 자리잡았고 ext3 또한 ext2에 기반해서 개발되었다. 또한 쉽게 호환되며 업그레이드도 어렵지 않게 설계되어 있다. ext3 ext2에서 fsck의 단점을 보완하기 위해 저널링 기술을 도입한 파일시스템 저널링(Journaling) 기술: 데이터를 디스크에 쓰기 전에 로그에 데이터를 남겨 fsck보다 빠르고 안정적인 복구 기능을 제공 최대 볼륨크기 2TB~16TB 최대 파일크기 16GB~2TB 지원 하위

파일 형태로 표현된 커널 내 객체, 즉 OS의 자원이다. 유닉스 시스템은 OS 자원을 파일 형태로 표현한다. OS 자원이라고 함은 디스크, CPU, 네트워크, RAM 등을 말한다. 리눅스에서 이런 자원에 데이터 전송, 장치 접근 시 사용하는 파일을 특수 파일이라고 한다 device files, pipes, socket, ... 특수 파일은 장치와 데이터를 주고 받는 통로이다 데이터 블록이 없으며(디스크에 저장 X) 장치 번호를 inode에 저장한다. 모니터나 프린터 역시 특수 파일을 통해 데이터를 주고 받는다. 디바이스는 반드시 HW를 말하는것이 아니고 SW적인 디바이스도 있다. 파일 종류 문자 : 일반 파일 d : 디렉토리 b : 블록 장치 특수 파일 c : 문자 장치 특수

1. 버퍼 헤드 블록 장치는 고정된 크기의 데이터에 임의 접근하는 플래시 메모리 같은 HW 장치를 의미한다. 블록 장치가 물리적으로 접근하는 최소 단위는 섹터(sector, 약 512-byte)고, 논리적으로 접근하는 최소 단위는 블록(Block)이며 섹터 크기의 배수다. 디스크 상의 ‘블록’이 메모리 상에 나타나려면 객체 역할을 하는 ‘버퍼’가 필요하다. 커널은 버퍼가 어느 블록 장치의 어떤 블록에 해당하는지 등의 관련 제어 정보를 ‘버퍼 헤드’(buffer_head) 구조체를 사용해서 저장하고 표현하며 ``에 정의돼있다. c //

동기화와 lock

1. Critical section과 Race condition 공유 메모리를 사용하는 애플리케이션을 개발할 때는 서로 다른 두 객체가 공유 자원에 동시에 접근하는 race condition을 반드시 막아야 한다. Critical section에 동시에 접근하는 것을 막기 위해서는 커널에서 제공하는 다양한 수단(원자적 연산, 스핀락, 세마포어) 원자적인(atomically) 접근을 보장해 race condition을 해소하는 동기화(synchronization)가 필요하다. 동기화의 기본적인 동작과정은 다음과 같다. 1. 스레드 A와 B가 critical section에 접근하기 위해 락을 요청한다. 2. 스레드 A가 락을 휙득한다. 스레드 B는 무한루프(busy-waiting) 돌거나 sleep에

커널 디버깅에는 세 가지 요소가 필요하다. 버그가 처음 등장한 커널 버전을 파악할 수 있는가? 버그를 재현할 수 있는가? 커널 코드에 관한 지식을 갖추고 있는가? 버그를 명확하게 정의하고 안정적으로 재현할 수 있다면 성공적인 디버깅에 절반 이상 달성한 것이다. 출력을 이용한 디버깅 `printk()`와 웁스(oops) 커널 출력 함수인 `printk()`는 C 라이브러리의 printf() 함수와 거의 동일하다. 주요 차이점은 로그수준(Loglevel)을 지정할 수 있다는 점이다. 가장 낮은 수준인 `KERN_DEBUG` 부터 가장 높은 수준인 `KERN_EMERG` 까지 7단계로 설정할 수 있다. `printk()`의 장점은 커널의 어느 곳에서도 언제든지 호출할 수 있다

메모리 관리와 캐시

1. 페이지 (Page) & 구역 (Zone) 프로세서가 메모리에 접근할 때 가장 작은 단위는 byte 또는 word지만, MMU와 커널은 메모리 관리를 페이지 단위로 처리한다. 페이지 크기는 아키텍처 별로 다르며 보통 32-bit 시스템에선 4KB, 64-bit 시스템에선 8KB다. 커널은 하나의 페이지를 여러 구역(zone)으로 나눠 관리한다. (``에 정의) ZONE_DMA: DMA를 수행할 수 있는 메모리 구역 ZONE_DMA32: 32-bit 장치들만 DMA를 수행할 수 있는 메모리 구역 ZONE_NORMAL: 통상적인 페이지가 할당되는 메모리 구역 ZONE_HIGHMEM: 커널 주소 공간에 포함되지 않는 ‘상위 메모리’ 구역 메모리 구역의 실제 사용

모듈과 장치 관리

1. 정의 모듈: 커널 관련 하위 함수, 데이터, 바이너리 이미지를 포함해 동적으로 불러 올 수 있는 커널 객체를 의미한다. 장치: 리눅스 커널은 장치를 블록 장치, 캐릭터 장치, 네트워크 장치 3가지로 분류한다. 모든 장치 드라이버가 물리장치를 표현하는 것은 아니며 커널 난수 생성기, 메모리 장치처럼 가상 장치도 표현한다. 2. 모듈 사용하기 모듈 만들기 모듈 개발은 새로운 프로그램을 짜는 것과 비슷하다. 각 모듈은 소스파일 내에 자신의 시작위치(`module_init()`)와 종료위치(`module_exit()`)가 있다. 아래는 `‘hello, world’`를 출력하는 간단한 모듈의 코드이다. c include include include static

시스템 콜과 인터럽트

커널은 시스템콜의 일관성, 유연성, 이식성 3가지를 확보하는 것을 최우선 사항으로 생각하고 있다. 따라서 커널은 POSIX 표준에 따라 표준 C 라이브러리 형태로 시스템콜을 제공한다. 리눅스 커널에서 시스템콜은 네 가지 역할을 수행한다. 1. 사용자 공간에 HW 인터페이스를 추상화된 형태로 제공한다. 2. 시스템에 보안성 및 안정성을 제공한다. 3. 인터럽트(및 트랩)와 함께 커널에 접근할 수 있는 유일한 수단이다. 4. 사용자 공간과 기타 공간을 분리해 프로세스별 가상환경(가상메모리, 멀티태스킹 등)을 제공한다. 리눅스의 시스템콜은 다른 OS보다 상대적으로 갯수가 적고 수행속도가 빠르다. 리눅스는 시스템콜 핸들러 호출 흐름이 간단하기 때문이다. 리눅스는 context switc

유저모드와 커널모드

커널은 중요한 자원을 관리하기 때문에, 사용자가 그 자원에 쉽게 접근하지 못하도록 모드를 2가지로 나눈다. 커널모드 운영체제 내부에서 실제로 하드웨어를 제어할 수 있다. 모든 자원(드라이버, 메모리, CPU 등)에 접근, 명령을 할 수 있다. 커널 모드에서 실행되는 모든 코드는 단일 가상 주소 공간을 공유한다. 따라서 커널 모드 드라이버는 다른 드라이버 및 운영 체제 자체와 격리되지 않는다. 유저모드 접근할 수 있는 영역이 제한적이어서 프로그램의 자원에 함부로 침범하지 못하는 모드이다. 여기서 코드를 작성하고, 프로세스를 실행하는 등의 행동을 할 수 있다. 사용자 모드에서 모든 프로세스는 별도의 가상 주소 공간을 할당받는다. Mode bit CPU 내부에 Mo

이식성이란, 특정 시스템 아키텍처의 코드가 (가능하다면) 얼마나 쉽게 다른 아키텍처로 이동할 수 있는지를 의미한다. 이 장에서는 핵심 커널 코드나 디바이스 드라이버를 개발할 때 이식성 있는 코드를 작성하는 방법에 대해서 알아본다. 리눅스는 인터페이스와 핵심 코드는 아키텍처 독립적인 C로 작성됐고, 성능이 중요한 커널 기능은 각 아키텍처에 특화된 어셈블리로 작성해 최적화시켰다. 좋은 예로 스케줄러가 있다. 스케줄러 기능의 대부분은 `` 파일에 아키텍처 독립적으로 구현돼있다. 하지만, 스케줄링의 세부 과정인 context switching과 memory management를 책임지는 `switch_to()`, `switch_mm()` 함수는 아키텍처별로 따로따로 구현돼있다. 1. 불확실한 자료

1. OS와 커널 커널은 시스템의 기본적인 서비스를 제공하고, HW를 관리하며, 리소스를 분배하는 핵심 SW를 의미한다. 커널의 주 구성요소 인터럽트 핸들러 (ISR, Interrupt Service handler Routain) 프로세스 스케줄러 (Scheduler) 메모리 관리 시스템 (MM, Memory Management) 네트워크 및 IPC 서비스 일반적으로 사용자는 시스템의 ‘유저 공간’에서 사용자 애플리케이션을 수행하며, 커널 기능이 필요할 때 시스템콜 또는 인터럽트를 호출해 ‘커널 공간’에 있는 커널 애플리케이션을 요청한다. 2. UNIX vs LINUX UNIX와 다르게 LINUX는.. 커널 모듈 동적 로드 기능을 제공한다. (Monolothic kernel이지

모듈은 요청 시 커널에 로드 및 언로드할 수 있는 코드 조각이다. 시스템을 재부팅할 필요 없이 커널의 기능을 확장한다. 예를 들어, 한 가지 유형의 모듈은 커널이 시스템에 연결된 하드웨어에 액세스할 수 있도록 하는 디바이스 드라이버이다. 모듈이 없으면 모놀리식 커널을 빌드하고 커널 이미지에 직접 새로운 기능을 추가해야 하고, 새로운 기능을 원할 때마다 커널을 다시 빌드 및 재부팅해야 한다는 단점이 있다. 따라서 모듈을 이용하면 커널 컴파일 시간을 단축할 수 있다. 로드 가능한 커널 모듈(LKM, Loadable Kernel Module)은 런타임에 Linux 커널에 코드를 추가하거나 제거하는 메커니즘이다. 모듈 없이 Linux 커널에 코드를 추가하려는 경우 가장

커널은 `` 헤더파일에 시스템 타이머의 진동수를 HZ라는 값에 저장한다. 일반적으로 HZ 값은 100 또는 1000으로 설정돼있고, 커널 2.5 버전부터 기본값이 1000으로 상향됐다. 장점: 타이머 인터럽트의 해상도와 정확도가 향상돼 더 정확한 프로세스 선점이 가능해졌다. 단점: 타이머 인터럽트 처리에 더 많은 시간을 소모하고, 전력 소모가 늘어난다. 실험결과 시스템 타이머를 1,000Hz로 변경해도 성능을 크게 해치지 않는다는 결론이 났다. ``에 jiffies 라는 전역변수에는 시스템 시작 이후 발생한 틱 횟수가 저장된다. 타이머 인터럽트가 초당 HZ회 발생하므로 jiffies는 1초에 HZ만큼 증가한다. 따라서 시스템 가동 시간은 jiffies / HZ 로 계산할 수 있다.

파일시스템

VFS(Virtual FileSystem)는 시스템콜이 파일시스템이나 물리적 매체 종류에 상관없이 공통적으로 동작할 수 있도록 해주는 인터페이스다. 파일시스템 추상화 계층은 모든 파일시스템이 지원하는 기본 인터페이스와 자료구조를 선언한 것이다. VFS는 슈퍼블록(superblock), 아이노드(inode), 덴트리(dentry), 파일(file) 4가지 객체로 구성돼있다. 슈퍼블록: 파일시스템을 기술하는 정보(+ file_system_type, vfsmount 구조체)를 저장한다. 아이노드: 파일이나 디렉토리를 관리하는 데 필요한 모든 정보를 저장한다. 덴트리: 디렉토리 경로명 속 각 항목의 유효성 정보 등을 저장한다. 파일: 메모리 상에 로드 된 열려있는 파일에

프로세스 관리

1. 프로세스와 구조체 프로세스는 프로그램 코드를 실행하면서 생기는 모든 결과물이다. 일반적인 의미: 실행 중인 프로그램 포괄적인 의미: 사용 중인 파일, 대기 중인 시그널, 커널 내부 데이터, 프로세서 상태, 메모리 주소 공간, 실행 중인 하나 이상의 스레드 정보 등 프로세스는 `fork()` 호출 시 생성되고, 기능을 수행한 뒤, `exit()`를 호출해 종료된다. 부모 프로세스는 `wait()` 호출로 자식 프로세스 종료 상태를 확인할 수 있다. 스레드는 프로세스 내부에서 동작하는 객체이고, 개별적인 PC, Stack, Register(context)를 가지고 있다. 리눅스 커널은 프로세스와 스레드를 구분하지 않는다. 리눅스 커널에 대한 접근은 오직 시스템 콜과 ISR로만 가능하다. 커

프로세스 스케줄러

1. 정의 및 역사 스케줄러는 어떤 프로세스를 어떤 순서로 얼마나 오랫동안 실행할 것인지 정책에 따라 결정한다. 스케줄러는 시스템의 최대 사용률을 끌어내 사용자에게 여러 프로세스가 동시에 실행되고 있는 듯한 느낌을 제공해야 한다. 스케줄러는 비선점형 스케줄러와 선점형 스케줄러로 나뉜다. 선점형 스케줄러는 일정한 timeslice 동안 전적으로 프로세서 자원을 사용할 수 있고, 시간이 지나면 다음으로 우선순위가 높은 프로세스에 선점된다. 1991년 리눅스 첫 버전부터 2.4 버전까지는 단순한 스케줄러를 제공했다. 2.5 버전부터 대대적인 스케줄러 개선작업을 통해 O(1) 스케줄러라는 이름의 새로운 스케줄러를 구현했다. Timeslice 동적 계산이 O(1)에 수행되며 프로세서마다 별도의 wait q

프로세스 주소 공간

15. 프로세스 주소 공간 커널은 사용자 공간 프로세스의 메모리도 관리해야 하며 이를 ‘프로세스 주소 공간’이라고 부른다. 프로세스는 유효한 메모리 영역에만 접근해야 하며, 이를 어길시 segment fault를 만날 것이다. 15.1 메모리 서술자 구조체 mm_struct c struct mm_struct { struct { atomic_t mm_users; /* * Fields which are often written to are placed in a separate * cache line. */ struct { / * @mm_count: The number of references to &struct * mm_struct (@mm_us

리눅스 패키지(Linux Package)란 리눅스 시스템에서 소프트웨어를 실행하는데 필요한 파일들(실행 파일, 설정 파일, 라이브러리 등)이 담겨 있는 설치 파일 묶음이다. 패키지는 종류는 소스 패키지(Source Package)와 바이너리 패키지(Binary Package)가 있다. 소스 패키지(Source Package)는 말 그대로 소스 코드(C언어..등)가 들어 있는 패키지로 컴파일 과정(configure,make,make install 명령어)을 통해 바이너리 파일로 만들어야 실행할 수 있다. 즉, 소스 패키지는 설치할 때 컴파일 작업도 진행되므로 설치 시간이 길고 컴파일 작업 과정에서 오류가 발생할 수 있다. 바이너리 패키지(Binary Package)는 성공적으로 컴파일된 바이너리 파일이

Linux 배포판

• RedHat RPM 기반으로 제작된 리눅스 배포판 현재는 기업용 배포판으로 상업적으로 배포하고 있으며, 무료 버전으로는 페도라가 있다. • Fedora RPM 기반. 레드햇 계열 레드햇의 지원을 받아 개발 및 유지보수가 이루어진다. 페도라의 업데이트 후에 문제점을 파악하여 레드햇 리눅스(RHEL)에 업데이트를 반영하는 방식으로 운영되고 있다. • Debian GNU의 후원을 받는 리눅스 배포판 패키지 설치 및 업그레이드가 단순하다. (패키지 관리 – dpkg, apt) • Ubuntu 데비안 계열 영국 회사인 캐노니컬의 지원을 받음 유니티(Unity)라는 고유한 데스크톱 환경을 사용 • Slackware 초창

Linux 부팅 과정

1단계: 하드웨어 단계 Power On 부팅 직후 CPU는 리셋 벡터를 통해 펌웨어(BIOS, EFI)로 접근하고, 이곳에서 펌웨어 코드(BIOS Code)를 실행한다. BIOS 프로그램은 전원공급과 함께 메모리의 특정번지(예:FFFF0H)에 자동 로드된다. CPU는 전원공급과 함께 특정번지(예:FFFF0H)의 BIOS프로그램(명령들)을 자동실행 한다. 초기부팅 직후 CPU가 처음으로 하게 될 일은 EIP(Extend Instruction Pointer-CPU가 할 일들, 즉 메모리에 등록되어 있는 Code의 주소를 가리키는 포인터)에 숨겨진 0xFFFFFFF0 주소로 점프하는 것이다. 이 주소는 펌웨어(BIOS, EFI)의 엔트리 포인트로 매핑되는 영역으로 리셋 벡터(Reset Vector)라

Linux 특징 및 관련용어

리눅스 토발즈가 커널 개발 / 커널: 소스 공개, 누구나 수정 및 패키징하여 자유롭게 배포 가능 1. GNU(GNU’s Not UNIX) 리처드 스톨만 유닉스와의 호환 + 더 놓은 기능의 운영체제를 만들고자 했던 프로젝트 자유로운 유닉스를 만들고자 함 / 자유로운 소프트웨어 사용 / 상업화 반대 GCC, BASH, EMACS 2. FSF(Free Software Foundation) 자유 소프트웨어: 상업적 목적으로 사용 가능 / 소스 코드 임의로 개작 가능 / 소스 코드 수정 시 반드시 소스 코드 공개 리처드 스톨만 자유 소프트웨어의 생산, 보급, 발전을 목표로 만든 비영리 조직 자유 소프트웨어 재단 / 무료나 공짜의 뜻X, ‘구속되지 않는다’는 관점

Swap 메모리란, 실제 메모리 Ram이 가득 찼지만 더 많은 메모리가 필요할때 디스크 공간을 이용하여 부족한 메모리를 대체할 수 있는 공간을 의미한다. 실제로 메모리는 아니지만, 디스크 공간을 마치 가상의 메모리처럼 사용하기 때문에 가상 메모리라고 부른다. 실제 메모리가 아닌 하드디스크를 이용하는 것이기 때문에 속도면에서는 부족할 수 있으나 성능의 제약으로 메모리가 부족한 경우엔 유용하게 사용할 수 있다. Swap 메모리 확인 `swapon -s` 또는 `free -h` 명령어를 통해 Swap 메모리를 확인할 수 있다. 아직 Swap 메모리를 설정하지 않은 상태이기 때문에, Swap의 total 메모리가 0으로 뜬다. Swap 메모리 설정 Swap 메모리를 설정하기 위해선, 우선 Swa

VSS, RSS, PSS, USS

VSS (Virtual set size) VSS는 프로세스의 액세스 가능한 전체 주소 공간이다. 이 크기에는 (malloc과 같은 방법으로) 할당되었지만 기록되지 않은 RAM에 상주하지 않을 수 있는 메모리도 포함된다. 따라서 VSS는 프로세스의 실제 메모리 사용량을 결정하는 데 큰 관련이 없다. RSS (Resident set size) RSS는 프로세스를 위해 실제로 RAM에 보관된 총 메모리이다. RSS는 공유 라이브러리를 사용하는 경우에 중복해서 카운팅하기 때문에 정확하지 않다. 즉, 단일 프로세스의 메모리 사용량을 정확하게 나타내지 않는다. PSS (Proportional set size) PSS는 RSS와 달리 공유 라이브러리를 고려하여 비례한 크기를 나타낸다. 세 프로세스가

IP masquerading

`IP masquerading` is a process where one computer acts as an IP gateway for a network. All computers on the network send their IP packets through the gateway, which replaces the source IP address with its own address and then forwards it to the internet. Perhaps the source IP port number is also replaced with another port number, although that is less interesting. All hosts on the interne

Iptables 방화벽은 규칙을 관리하기 위해 테이블을 사용한다. 이 테이블은 사용자가 익숙한 형태에 따라 규칙을 구분한다. 예를 들어 만약 하나의 규칙이 network 주소 변환을 다룬다면 그것은 nat 테이블로 놓여질 것이다. 만약 그 규칙이 패킷을 목적지로 허용하는데 사용된다면 그것은 filter 테이블에 추가 될 것이다. 이러한 각각의 iptables 테이블 내에서 규칙들은 분리된 체인안에서 더 조직화(organize)된다. 테이블들이 일반적인 규칙의 목적에 의해 정의되는 동안 빌트인 체인들은 그것들을 트리거 하는 netfilter hook들을 표현한다. 체인들은 기본적으로 언제 규칙이 평가될지를 결정한다. 아래는 빌트인 체인들의 이름인데 이것들은 netfilter 이

iptables 방화벽 설정

iptables란 넷필터 프로젝트에서 개발했으며 광범위한 프로토콜 상태 추적, 패킷 애플리케이션 계층검사, 속도 제한, 필터링 정책을 명시하기 위한 강력한 매커니즘을 제공한다. 서비스 등록과 시작 CentOS 6.4 Minimal에는 iptables가 설치되어 있다. ip6tables도 함께 설치되어 있는데 이는 IPv6 체계에서 사용한다. bash rpm -qa | grep iptables iptables-1.4.7-9.el6.x86_64 iptables-ipv6-1.4.7-9.el6.x86_64 설치되어 있지 않다면 설치 bash yum -y install iptables bash chkconfig --list ip6tables 0:해제 1:해

namespace와 cgroup

namespace VM에서는 각 게스트 머신별로 독립적인 공간을 제공하고 서로가 충돌하지 않도록 하는 기능을 갖고 있다. 리눅스에서는 이와 동일한 역할을 하는 namespaces 기능을 커널에 내장하고 있다. 리눅스 커널에서는 다음 6가지 namespace를 지원하고 있다. |namespace|description| |-|-| |mnt(파일시스템 마운트)|호스트 파일시스템에 구애받지 않고 독립적으로 파일시스템을 마운트, 언마운트 가능| |pid(프로세스)|독립적인 프로세스 공간을 할당| |net(네트워크)|namespace간에 network 충돌 방지 (중복 포트 바인딩 등)| |ipc(SystemV IPC)|프로세스간의 독립적인 통신통로 할당| |uts(hostname)|독립적인 hostname 할

Netfilter, included in Linux since 2.3, is a critival component of packet handlin. Netfilter is a framework of kernel hooks, which allow userspace programs to handle packets on behalf of the kernel. In short, a program registers to a specific Nwtfilter hook, and the kernel calls that program on applicable packes. That program could tell the kernel to do something with the packet (like drop it), or

network namespaces

컨테이너는 namespace를 사용하여 같은 host 안에서 자원을 격리한다. network namespace는 도커와 같은 컨테이너에서 네트워크 격리를 구현하기 위해 쓰인다. 기본적으로 호스트는 외부 네트워크와 연결하기 위한 인터페이스와 Routing Table, ARP Table을 가지고 있는데, 컨테이너를 만들면 그 컨테이너에 대한 network namespace가 생성되어서 호스트의 네트워크 인터페이스와 완전히 분리된다. 대신에, 추가적으로 컨테이너 각각에 가상의 인터페이스와 Routing Table, ARP Table을 설정하면 설정대로 통신을 할 수 있게 된다. 호스트에서는 각 네트워크 인터페이스의 네트워크 요소를 확인할 수 없으며, 각 네임

Virtual Networking Interface

리눅스는 컨테이너 기술의 기반이 되는 virtual networking 관련 기능들을 제공한다. virtual networking에 자주 사용되는 대표적인 네트워크 인터페이스를 알아보자. Bridge Linux Bridge는 일반적인 네트워크 스위치와 유사하게 동작한다. Bridge는 주로 라우터, 게이트웨이, VM 등에서 패킷을 목적지로 전달(forwarding)하는 역할을 수행한다. Bridge는 STP, VLAN filter, multicast snooping등의 기능도 추가적으로 지원한다. 아래의 소스코드는 리눅스에서 Bridge를 생성하고, 서로 다른 네트워크 인터페이스와 연결하는 과정을 코드로 작성한 예시이다. 이 과정을 거치면, 브릿지를 통해 VM 1, VM 2과 network nae

주요명령어

bash /sbin/arp 시스템 사이의 통신에는 상대방의 MAC 주소가 필요하다. 이때 arp는 ARP를 이용하여 상대 시스템 IP에 신호를 보내 MAC 주소를 받아온다. 서브넷의 ARP 정보는 연결 효율을 높이기 위해 `/proc/net/arp`에 저장된다. 이와 같이 저장된 ARP 캐시의 내용(연결하려는 시스템의 MAC 주소)을 자세히 보고 싶다면 다음과 같이 실행한다. bash $ arp -v Address HWtype HWaddress Flags Mask Iface ip-172-18-0-3.ap-northe ether 02:42:ac:12:00:03 C br-

주요명령어

ifconfig는 시스템에 설치된 네트워크 인터페이스 정보를 확인하거나 수정하는 명령어이다. `ifconfig [인터페이스][옵션]` 형식으로 입력하며, 아무 옵션 없이 `ifconfig`를 입력하면 현재 설정된 네트워크 인터페이스 상태를 보여준다. `lo`는 루프백 인터페이스로 자기 자신과 통신하는 데 사용하는 가상 장치이며, 흔히 랜카드라고 불리는 유선 네트워크 인터페이스는 `eth0`, 무선 네트워크 인터페이스는 `wlan0`라고 명명한다. IP 주소는 호스트에 하나씩 부여되는 것이 아니라 네트워크 인터페이스에 할당되기 때문에 각 네트워크 인터페이스마다 다른 IP 주소를 할당할 수 있다. 내가 테스트해본 서버에서는 embedded NIC인 `eno1`와 가상 이더넷 인터페이스인 `veth`, 그리

ping과 netstat

주요명령어

ping ping은 네트워크 연결 상태를 점검하는 명령이다. 목적지에 ICMP(Internet Control Message Protocol) 패킷을 보내고 되돌아오는지 확인하여 연결 상태를 진단한다. `ping [옵션] 목적지주소` 형식으로 입력하며 목적지 주소에는 연결 상태를 확인하려는 대상의 주소를 입력한다. IP 주소와 도메인 모두 사용할 수 있다. 도메인 주소로 ping 명령을 실행하면 DNS 서버에 질의해 대상 컴퓨터의 IP주소를 알아내고 ping을 실시한다. bash $ ping google.com PING google.com (172.217.25.174): 56 data bytes 64 bytes from 172.217.25.174: icmp_seq=0 ttl=109 time=

route로 라우팅 테이블 확인하기

주요명령어

네트워크를 통해 목적지로 패킷이 전송될 경로를 지정해주는 것을 라우팅이라고 한다. 리눅스 시스템은 미리 설정되어 있는 라우팅 테이블이라는 지도를 보고 패킷을 어떤 네트워크를 거치게 할지 결정한다. 라우팅 테이블을 확인하거나 설정하는 명령은 `route`이다. 옵션 없이 route 명령을 입력하면 현재 설정되어 있는 라우팅 테이블을 확인한다. bash $ route Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface default _gateway 0.0.0.0 UG 0 0 0 eno1 114.108.176

Deamon Process란 메모리에 상주하면서 요청이 들어올 때마다 명령을 수행하는 프로세스이다. (백그라운드에서 작동) 작동 방식 Deamon process의 작동 방식은 두가지가 있다. standalone 방식 각 데몬 프로세스들이 독립적으로 수행되며, 항상 메모리에 상주하는 방식 자주 실행되는 데몬 프로세스에 적용되는 방식이다. `/etc/rc.d/init.d` 디렉터리에 위치 웹 서비스 데몬(apached, httpd, mysqld 등), 메일 서비스 데몬(sendmail 등), NFS 등 서비스 요청이 많은 프로세스들이 standalone 방식으로 작동한다. (x)inetd 방식 (Super deamon) (x)inted 이라는 Super deamon이 서비스 요청을 받아 해당 데몬

HTTPD(HyperText Transfer Protocol Daemon) is a software program or service that runs on a web server and handles the processing of HTTP requests and responses. HTTPD is often used as a synonym for a web server, specifically the Apache HTTP Server, which is one of the most widely used web server software applications. Feature The HTTPD or web server software listens for incoming requests from c

Linux에서 pipe는 한 프로세스에서 다른 프로세스로 정보를 넘겨주는 방법 중 하나이다. 아래와 같이 사용하면 왼쪽 명령어의 결과(output)을 오른쪽에 있는 명령어에 입력(input)으로 전달한다. 즉, 좌측의 stdout을 우측의 stdin으로 넘긴다고 생각하면 된다. bash $ ps -ef | grep bash Redirect(`>`)는 프로그램의 결과 혹은 출력(output)을 파일이나 다른 스트림으로 넘길 때 사용되는 반면, pipe(`|`)는 프로세스로 넘겨준다는 점이 차이이다. c언어에서의 pipe `unistd.h` 헤더의 pipe 함수를 사용하면 프로그램 내에서 pipe를 사용할 수 있다. c include int pipe(int filedes[2]);

리눅스에서는 프로세스끼리 서로 통신할 때 정해진 signal을 사용한다. 리눅스에서 사용하는 signal에는 사용자의 key interrupt로 인한 signal, 프로세스나 하드웨어가 발생시키는 signal 등 다양한 종류가 있다. signal 목록을 확인하고 싶다면 `kill -l` 명령어를 치면 된다. (`man 7 signal`으로 더 자세하게 확인할 수도 있다.) bash $ kill -l 1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 13) SIGPIPE 14) SIGALRM 15) SI

top 명령어를 사용하면 시스템의 상태를 전반적으로 가장 빠르게 파악할 수 있다. (CPU, Memory, Process) 옵션 없이 입력하면 interval 간격(기본 3초)으로 화면을 갱신하며 정보를 보여준다. bash $ top -help procps-ng 3.3.17 Usage: top -hv | -bcEeHiOSs1 -d secs -n max -u|U user -p pid(s) -o field -w [cols] bash top 21:22:27 up 232 days, 2:22, 3 users, load average: 0.00, 0.04, 0.05 Tasks: 134 total, 1 running, 133 sleeping, 0 stopped, 0 zombi

프로세스 관리

시스템이 구동 될 때, 커널은 `/etc` 에 위치한 init 이라는 스크립트를 실행함으로써 시스템 서비스들을 차례대로 시작시킨다. 이 서비스들은 데몬 프로그램(background)으로 구현되어 있기 때문에 로그인하지 않은 상태에서도 필요 작업들을 수행한다. 프로그램은 프로그램을 실행시킬 수 있는데, 이를 부모와 자식 프로세스라고 표현한다. ps 리눅스는 다중 사용자, 사용 작업 시스템이기 때문에 여러 개의 프로세스를 동시에 수행하기 때문에 항상 어떤 프로세스들이 실행되고 있는지 모니터링할 필요가 있다. ps는 이를 위해 현재 시스템에서 실행 중인 프로세스에 관한 정보를 출력하는 명령어이다. bash /proc 디렉터리 이하에 프로세스와 연관된 가상 파일시스템의 내용을 토대로 프로세스 정보를

환경변수와 프로세스

환경변수는 시스템의 속성을 기록하고 있는 변수이다. 일반적으로 프로세스의 환경변수는 프로세스 자신의 정보를 저장하거나 변경하는 용도로 사용된다. 즉, 프로세스 간 통신이 주 목적인 개체는 아니며, 이를 통한 IPC는 부가적인 기능이 된다. 환경변수는 아래 그림처럼 구성된다. ![image]( 이 환경변수는 보통 Shell에서 정의하고 저장하는,데 Shell에서 프로그램을 실행시키면 프로그램이 시작하는 순간 셸의 환경변수를 모두 복사해서 프로세스이 들고 있게 된다. 따라서 그 이후에 셸의 환경변수를 바꾼다고 해도 이미 시

bash_profile과 bashrc

리눅스에서 alias를 수정하거나 PATH를 변경할때, 주로 이 네가지의 파일들을 사용한다. js /etc/profile /etc/bashrc ~\.bash_profile ~\.bash_rc profile `/etc/profile` : 전역적인 파일, 모든 사용자가 로그인 시 실행 `~/.bash_profile` : 지역적인 파일, 해당하는 사용자가 로그인 시만 실행 또한 /etc/profile의 경우 어떠한 shell이든 상관없지만, ~/.bash_profile의 경우 bash shell일 경우에만 해당된다. Shell을 실행할 때 로그인이 필요한 Login Shell이 실헹되는 경우에 쓰인다. (ssh로 접속하거나, su 명령어로 다른계정을 들어갈 때 등이 해당된다.) bash

쉘은 사용자가 운영체제의 서비스를 사용할 수 있도록 사용자의 입력을 기반으로 프로그램을 실행해 주는 역할을 한다. 즉, 커널과 사용자 사이의 인터페이스 역할을 담당한다. 커널은 쉘로부터 전달 받은 명령을 기계가 이해할 수 있는 언어로 변환하여 CPU, I/O, 메모리 등 다양한 리소스에 접근해 주는 역할을 한다. 다시 말해, 쉘은 사용자(프로그램)에게 받은 명령을 전달받아 커널이 이해할 수 있도록 해석하여 전달하고, 커널은 하드웨어와 직접적으로 통신한다. 사용자는 시스템 손상 방지를 위해 접근할 수 있는 영역이 제한되어 있어 하드웨어에 엑세스하기 위해선 시스템 콜이라는 특정 작업을 수행해야 한다. ![image](

zsh는 bash와 같은 shell의 한 종류이다. 하지만 zshrc는 bash와 다르게 login이든 non-login이든 상관없이 항상 실행된다. 그래서 zshrc를 bashrc와 bash_profile처럼 구별해서 쓸 필요는 없다. 물론 zsh 에도 login에서만 동작하는 zprofile이 있긴 하다고 한다. zsh는 최신 macOS 버전의 기본 셸이기도 하다. js +----------------+-----------+-----------+------+ | |Interactive|Interactive|Script| | |login |non-login | | +----------------+-----------+---

file 관련 systemcall

open 파일을 열고 file descriptor 반환 file descriptor 실행중인 프로그램과 하나의 파일 사이에 연결된 개방 상태 음수가 아닌 정수형 값 파일 개방이 실패하면 -1이 됨 커널에 의해서 관리 bash NAME open, openat – open or create a file for reading or writing SYNOPSIS include int open(const char *path, int oflag, [mode_t mode], ...); int openat(int fd, const char *path, int oflag, ...); path: 개방할 파일의 경로 이름을 가지고 있는 문자열의 포인터 of

fork c pid_t fork(void); 새로운 자식 프로세스를 생성할 때 사용하는 시스템 호출 함수이다. 자식 프로세스는 부모 프로세스의 PCB를 그대로 상속받는다. 함수의 반환값은 자식 프로세스에게 `0`, 부모에게는 자식 프로세스의 id이다. c pid_t vfork(void); `vfork()`도 `fork()`와 마찬가지로 자식 프로세스를 생성하는 함수이다. `fork()`와 달리 자식 프로세스가 먼저 실행됨을 보장한다. 따라서 생성된 프로세스가 exec계열 함수를 이용하여 새 프로그램으로 실행하는 경우에 주로 사용한다. `vfork()`로 프로세스를 생성한 경우 부모의 주소 영역을 참조하지 않을 것이라고 생각하여 부모 프로세스의 공간을 자식에게 복사하지 않는다

c include include ifdef _POSIX_MAPPED_FILES void * mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset); int munmap(void *start, size_t length); endif `mmap`은 파일이나 장치를 메모리에 대응시키거나 푸는 시스템콜이다. `fd`로 지정된 파일(혹은 다른 객체)에서 `offset`을 시작으로 `length` 바이트 만큼을 `start` 주소로 대응시키도록 한다. --- 명시적인 `mmap`을 사용해 운영체제에 가상 메모리를 요청하면 운영체제는 RAM의 페이지를 즉시 할당해주지 않고, 가상 주소 범위만 제공한다.

thread 관련 systemcall

우선 스레드란, 프로세스 내에 실행되는 흐름의 단위이다. 프로세스는 반드시 1개 이상의 쓰레드를 가지고 있다. 프로세스와 다르게 한 프로세스 안의 스레드들은 메모리 자원을 공유한다. `pthread_create` `pthread_create`는 말 그대로 thread를 생성하는 시스템 콜이다. 이 시스템 콜을 사용하는 경우 `-pthread` 옵션과 함께 컴파일해야 한다. 각 옵션의 의미는 다음과 같다. 1. thread: 성공적으로 함수가 호출되면 이 포인터에 thread ID가 저장된다. 이 인자로 넘어온 값을 통해서 `pthread_join`과 같은 함수를 사용할 수 있다. 2. attr: 스레드의 특성을 정의한다. 만약 스레드의 속성을 지정하려고 한다면 `pthrea

wait과 waitpid

wait c include pid_t wait(int *_Nullable wstatus); wait은 child process가 종료될 때까지 기다렸다가 child process가 종료되면 종료된 child process의 값을 반환한다. 만약 실패하는 경우 `-1`을 반환한다. status에는 child process가 어떤 방식으로 종료되었는지가 담겨있다. 관련 매크로로 상세한 정보를 알아낼 수 있다. `WIFEXITED(status)` : exit, _exit, _Exit 혹은 main에서의 return으로 종료되었는지 여부를 반환한다. `WEXITSTATUS(status)` : `WIFEXITED`의 값이 참인 경우 exit code를 반환한다. `WIFSI

리눅스 시스템 프로그래밍 프로젝트

선택과목으로 리눅스 시스템 프로그래밍을 수강하며 진행한 프로젝트 코드 및 배운점에 대해 정리한다. 이 프로젝트에서 개발하는 Application은 아래의 기능을 포함한다. 1. Text File(`swblocks.txt`)에 기록된 S/W 블록 정보로부터 여러 S/W 블록들을 초기화시킨다. 기록된 파일에는 파일 이름과 파라미터가 아래와 같이 세미콜론으로 구분되어 있다. SwBlock1; Param1; Param2; Param3 SwBlock2; Param1; Param2 SwBlock3; Param1 2. S/W 블록의 이상동작(블럭 다운) 발생 시 재초기화를 수행한다. 즉, 해당 블록에 해당하는 프로세스를