Skip to content

태그: disk--dir

총 13개의 글이 있습니다.

Lustre는 대규모 HPC(High Performance Computing) 환경에서 사용되는 병렬 분산 파일시스템이다. 수천 개의 클라이언트가 동시에 접근하는 대용량 스토리지를 제공하며, 슈퍼컴퓨터 클러스터나 AI 학습 인프라에서 자주 사용된다. 구성 요소 MDS(Metadata Server): 파일/디렉토리 메타데이터(inode, 권한, 이름) 관리 OSS(Object Storage Server): 실제 파일 데이터를 저장하는 스토리지 서버 MGS(Management Server): Lustre 설정 정보 저장 클라이언트: `lustre` 커널 모듈을 통해 마운트 파일 데이터는 여러 OSS에 걸쳐 stripe(분산) 저장되고, 메타데이터는 MDS가 별도로 관리한다.

NFS(Network File System)는 네트워크를 통해 원격 서버의 파일시스템을 로컬처럼 사용할 수 있게 해주는 분산 파일시스템 프로토콜이다. 클라이언트에서 `/mnt/nfs/file.txt`를 열면, 커널의 VFS가 이를 NFS 모듈로 위임하고, NFS 모듈이 RPC를 통해 서버에 요청을 보낸다. 애플리케이션 입장에서는 로컬 파일과 완전히 동일한 시스템콜(`open`, `read`, `write`)을 사용한다. 마운트 NFS 마운트는 클라이언트가 서버의 특정 디렉토리를 자신의 경로에 연결하는 과정이다. bash nfs-client에서 실행 sudo apt install -y nfs-common sudo mkdir -p /mnt/nfs sudo mount -t nfs nfs-serve

SMB(Server Message Block): 네트워크를 통해 파일, 프린터, 시리얼 포트 등의 자원을 공유하기 위한 통신 프로토콜 포트: TCP/445 (구버전 TCP/139) 데몬 이름: smbd, nmbd (Samba 환경에서) Windows 환경에서 기본적으로 지원되며, Linux/Unix에서는 Samba 패키지를 통해 구현됨 SMB 버전별 특징 SMB 1.0: 초기 버전, 보안 취약점으로 인해 사용 권장하지 않음 SMB 2.0: 성능 개선, Windows Vista/Server 2008부터 지원 SMB 3.0: 암호화 지원 추가, Windows 8/Server 2012부터 지원 SMB 3.1.1: 최신 버전, 보안 강화 및 성능 최적화 주요 기능 파일 공유: 네트워크 상의 파일

`--local-no-set-modtime` local을 백엔드로 사용할 때, rclone은 기본적으로 업로드 이후 chtimes 명령어로 modtime을 갱신한다. (업로드가 완료된 시점을 modtime으로 기록하기 위해) 그런데, mountpoint-s3에선 modtime만 갱신하는 동작을 지원하지 않는다. (modtime 갱신에 대응하는 s3 API가 없기 때문) 이처럼 modtime 갱신이 불가한 파일 시스템, 혹은 마운트를 사용하는 경우 `--local-no-set-modtime` 옵션을 사용해야한다. 이 옵션을 사용하면 업로드된 파일의 mod time이 실제 업로드된 (이후의) 시각이 아닌, 파일 시스템에서 파일이 복사된 시간으로 기록된다. `--ig

Linux 디렉토리 구조

`/bin`: 기본 명령어 저장 --- `/sbin`: 시스템 관리를 위한 명령어들이 저장 --- `/etc`: 환경설정에 연관된 파일들과 디렉터리들이 저장 2016(1) `/etc/rc.d`: 시스템의 부팅과 런 레벨 관련 스크립트들이 저장 `/etc/inittab`: init을 설정하는 파일 `/etc/issue`: 로그인을 위한 프롬프트가 뜨기 전에 출력되는 메시지를 설정하는 파일 `/etc/issue.net`: issue 파일과 기능은 같으나, 원격지 상에서 접속(telnet 등)할 경우에 출력되는 메시지 설정 /etc/motd: 로그인 성공 후 쉘이 뜨기 전에 출력되는 메시지를 설정하는 파일 `/etc/nologin.txt`: 사용자의 쉘이 /sbin/nologin으로 지정

LVM이란 Logical Volume을 효율적이고 유연하게 관리하기 위한 커널의 한 부분이자 프로그램이다. 기존방식이 파일시스템을 블록 장치에 직접 접근해서 R/W를 했다면, LVM은 파일시스템이 LVM이 만든 가상의 블록 장치에 R/W를 하게 된다. 이처럼 LVM은 물리적 스토리지 이상의 추상적 레이어를 생성해서 논리적 스토리지(가상의 블록 장치)를 생성할 수 있게 한다. 직접 물리 스토리지를 사용하는 것보다 다양한 측면에서 유연성을 제공하기 위해, 유연한 용량 조절, 크기 조정이 가능한 스토리지 풀(Pool), 편의에 따른 장치 이름 지정, 디스크 스트라이핑, 미러 볼륨 등 기능을 가지고 있다. LVM의 주요 용어를 알아보자. PV(Physical Volume) LVM에서 블록 장치(블록 단위로

`od` is a command that dumps binary files to eight digits. bash od [-aBbcDdeFfHhIiLlOosvXx] [-A base] [-j skip] [-N length] [-t type] [[+]offset[.][Bb]] [file ...] |Option|Description| |-|-| |-A base|Specify the input address base. The argument base may be one of d, o, x or n, which specify decimal, octal, hexadecimal addresses or no address, respectively.| |-a|Output named chara

RAID(Redundant Array of Independent Disks) 직역하면 복수 배열 저가/독립 디스크이다. 저장장치 여러 개를 묶어 고용량, 고성능인 저장 장치 한 개와 같은 효과를 얻기 위해 개발된 기법이다. RAID의 주 사용 목적은 크게 가용성과 고성능 구현으로 구분된다. 동작 방식에 따라 Level 0~6으로 분류한다. 주로 사용되는 것은 0, 1, 5, 6이며 무정지 구현을 극도로 추구하면 RAID 1, 고성능 구현을 극도로 추구하면 RAID 0, RAID 5, 6은 둘 사이에서 적당히 타협한 형태이다.. RAID 10이나 RAID 01과 같이 두 가지 방식을 혼용하는 경우도 있다. RAID 0: 스트라이핑 기능(분배 기록) 사용 여러 개의 멤버 하드디스크를 병렬

Linux/UNIX 시스템에는 두 가지 유형의 링크가 있다. Hard link : Hard link는 둘 이상의 파일 이름을 동일한 i-node와 연결한다. Soft link : Soft link는 Windows(윈도우)의 바로 가기 같은 것으로, 파일 또는 디렉터리에 대한 간접 포인터이다. Hard link와 달리 심볼릭 링크는 다른 파일 시스템 또는 파티션의 파일이나 디렉터리를 가리킬 수 있다. ln ln은 파일 간의 링크를 만드는 명령어이다. 기본적으로 ln 명령은 Hard link를 생성한다. 심볼릭 링크를 만들려면 `-s` 옵션을 사용해야한다. 심볼릭 링크를 생성하기 위한 ln 명령 구문은 다음과 같다. bash ln -s [OPTIONS] FILE LIN

Day-zero Backup: 시스템을 설치한 후 사용자들이 시스템을 사용하기 전에 시스템을 백업하는 것 Full Backup: 주기적으로 시스템을 백업하는 것 Incremental Backup: 특정한 이벤트 후 또는 주기적으로 이전의 백업 후 변경된 파일들만 백업 하는 것 단순 백업: 첫 백업 때 풀 백업을 진행한 후, 그 다음부터 변경분 백업을 수행하는 것 다단계 백업(Multilevel Backup): 큰 규모나 중요한 시스템의 백업을 수행하는 것 디렉터리 단위 백업 명령어 `tar` 마운트된 파일시스템 내에서 백업 [-g]: 증분 백업을 위한 옵션 `cpio` 많은 양의 데이터를 테이프 드라이브에 백업하기 위한 명령어 네트워크를 통

파일 관리 명령어

디스크 사용량 `df` 파일 시스템별 디스크 사용량 bash $ df --help Usage: df [OPTION]... [FILE]... Show information about the file system on which each FILE resides, or all file systems by default. Mandatory arguments to long options are mandatory for short options too. -a, --all include pseudo, duplicate, inaccessible file systems -h, --hu

파일 시스템

ext 리눅스 초기에 사용되던 파일 시스템 ext2 ext3가 개발되기 이전까지 가장 많이 사용하는 파일 시스템으로 리눅스 파일 시스템 대부분의 기능을 제공하는 파일 시스템이다. ext2는 뛰어난 안정성과 속도로 가장 유명한 파일 시스템으로 자리잡았고 ext3 또한 ext2에 기반해서 개발되었다. 또한 쉽게 호환되며 업그레이드도 어렵지 않게 설계되어 있다. ext3 ext2에서 fsck의 단점을 보완하기 위해 저널링 기술을 도입한 파일시스템 저널링(Journaling) 기술: 데이터를 디스크에 쓰기 전에 로그에 데이터를 남겨 fsck보다 빠르고 안정적인 복구 기능을 제공 최대 볼륨크기 2TB~16TB 최대 파일크기 16GB~2TB 지원 하위

파일 형태로 표현된 커널 내 객체, 즉 OS의 자원이다. 유닉스 시스템은 OS 자원을 파일 형태로 표현한다. OS 자원이라고 함은 디스크, CPU, 네트워크, RAM 등을 말한다. 리눅스에서 이런 자원에 데이터 전송, 장치 접근 시 사용하는 파일을 특수 파일이라고 한다 device files, pipes, socket, ... 특수 파일은 장치와 데이터를 주고 받는 통로이다 데이터 블록이 없으며(디스크에 저장 X) 장치 번호를 inode에 저장한다. 모니터나 프린터 역시 특수 파일을 통해 데이터를 주고 받는다. 디바이스는 반드시 HW를 말하는것이 아니고 SW적인 디바이스도 있다. 파일 종류 문자 : 일반 파일 d : 디렉토리 b : 블록 장치 특수 파일 c : 문자 장치 특수