태그: LLM

총 5개의 글이 있습니다.

GGUF

llm

2026. 2. 11.

GGUF(GPT-Generated Unified Format)는 llama.cpp에서 사용하는 LLM 모델 파일 포맷이다. llama.cpp 개발자 Georgi Gerganov가 설계했으며(이름의 GG가 이니셜), 이전 포맷인 GGML의 한계를 극복하기 위해 등장했다. 기존에 LLM 모델을 배포하려면 여러 파일이 필요했다. PyTorch의 경우 가중치 파일(.bin 또는 .safetensors), 토크나이저 설정(tokenizer.json, tokenizer_config.json), 모델 설정(config.json), 생성 설정(generation_config.json) 등을 모두 갖춰야 추론이 가능하다. GGUF 이전에 사용되던 GGML 포맷은 모델 가중치를 하나의 파일로 담을 수 있었지만, 다음과 같은

Qwen3

llm

2026. 2. 11.

Qwen3는 Alibaba Qwen 팀에서 2025년 5월에 공개한 LLM 시리즈다. Dense 모델 6개(0.6B~32B)와 MoE 모델 2개(30B-A3B, 235B-A22B), 총 8개 모델로 구성된다. 전 모델이 thinking(Chain-of-Thought) 모드를 기본 지원하며, 사용자가 thinking ON/OFF를 전환할 수 있는 “hybrid thinking” 설계가 특징이다. (Qwen3 Blog, Technical Report) 모델 Dense 모델 Dense 모델은 모든 파라미터가 항상 활성화되는 일반적인 Transformer 구조다. 입력이 들어오면 모든 가중치를 거쳐 출력이 나온다. 모델파라미터용도Qwen3-0.

CTM

llm

2025. 5. 16.

참고 Continuous Thought Machine(CTM)은 생각한다는 행위를 계산 가능한 절차로 환원하기 위해 개발된 인공지능 아키텍처이다. 크게 Internal Ticks, MLM, SR 세 가지 개념으로 모델을 구성한다. 내부 사고 차원(Internal Ticks) CTM의 internal tick은 모델 내부에서 자율적으로 진행되는 사고 단계이다. 독립적

Curcuit Tracing

llm

2025. 4. 29.

위 글의 이해를 위한 번역, 정리글입니다. Circuit Tracing: Revealing Computational Graphs in Language Models 딥러닝 모델은 수많은 계산 단위(인공 뉴런)의 작용으로 출력을 생성한다. 딥러닝 모델을 인간이 이해 가능한 언어로 설명하는 것은 바이너리 프로그램을 리버스 엔지니어링하는 것과 유사한 역추적이 필요하며, 이 분야에 대한 연구를 Mechanistic interpretability(MI)라고 부른다. Anthropic 팀은 이를 이해하기 위해 우선 모델이 계산에 사용하는 특징(feature

Prompt Engineering

llm

2025. 4. 29.

Multi-head Attention Head는 하나의 어텐션 매커니즘을 의미, 입력 텍스트의 해석을 하나의 관점이 아닌 여러 관점에 집중 Head의 예시 문법적인 요소, 시제에 집중 Entity (사란, 장소, 물건 등)의 관계에 집중 문장 내에서 일어나는 환동에 집중 Word Rhyme(단어의 운율)의 집중 Query, Key, Value 벡터를 각각 h번 Linear projection으로 변환 Linear Projection(선형 투영)은 선형 대수학에서 나오는 개념, 여기서는 고차원의 벡터를 저차원으로 나눌 때 사용한다. Long context prompting tips 긴 문서나 입력을 프롬프트의 상단에 배치 (지시사항, 질문, 예시보다 더) 질문을 마지막에 배치하거나, 마지막