Home
Osori Blog
Cancel

다음 토큰이 태어나기까지: 임베딩·어텐션·KV 캐시 해부

지난 글에서 “대화가 길어질수록 매 턴 전체를 다시 보내야 해서 비용이 커진다”까지는 다뤘다. 근데 거길 파다 보니 자연스럽게 “그럼 프롬프트 캐싱이 정확히 뭘 저장하는 건데?”로 이어졌고, 그 질문에 제대로 답하려니 결국 트랜스포머 내부 — 임베딩, 어텐션, K/V/Q, 레이어와 헤드, 프리필과 디코드 — 까지 다 뜯어보게 됐다. 그 과정을 순서대로...

다음 단어 맞히기: LLM과 인간 뇌의 닮음과 차이

지난 글에서 LLM이 Stateless라는 걸 다뤘다. 그 얘기를 하다 보면 자연스럽게 나오는 질문이 있다. “결국 다음 단어를 맞히는 것뿐인 기계인데, 그럼 우리 뇌는 다른가? 사람도 결국 다음 단어 찾기 아닌가?” 이 질문을 정리해본다. LLM은 정말 “다음 단어 찾기”인가 맞다. 정확히 그렇게 동작한다. GPT나 Claude 같은 모델은 지금...

거품 뺀 AI 에이전트: 오해와 실체

회사에서 “AI 에이전트 만들자”는 요구가 나오면서, 챗봇과 에이전트가 기술적으로 뭐가 다른지, 왜 프롬프트를 길게 쓴다고 되는 게 아닌지, RAG를 왜 쓰는지 정리했다. 사람들이 자주 오해하는 지점 위주로 적었다. 1. 챗봇과 에이전트의 차이 시스템 프롬프트에 규칙을 잔뜩 쓰고 MCP 툴 몇 개를 붙인 것은 1회성 툴 호출(Linear) 구조다....

AWS SAA-C03 (합격) 2편 — 막판 오답 노트

SAA-C03 합격 기록 시리즈 1편 — 문제은행 결정 키워드 정리 — 정답을 가르는 키워드와 오답 제거 기준을 훑은 초반 연구 노트 2편 (이 글) — 시험 직전 틀린 것만 추려 압축한 암기용 SAA-C03 기출을 풀면서 틀렸거나 헷갈렸던 것만 추려 시험 직전 암기용으로 요약한 노트다. 기본 개념과 서비스 선택 기준은 1편에 있고, 이 글...

AWS DEA-C01 핵심 정리 (유지보수 중)

AWS Certified Data Engineer – Associate(DEA-C01) 대비 핵심 개념 정리다. 특정 서비스 매뉴얼이 아니라 도메인을 가로지르는 주제별 요약이라, 공부하면서 계속 고쳐 나갈 예정이고 이 글이 원본이다. 인쇄용 스냅샷은 아래 PDF로 받으면 된다. 📄 DEA-C01 핵심 정리 PDF 다운로드 · 이 글의 인쇄용 e...

[인프런] AI 시대 전문성 갖추기

하용호님의 인프런 강의 AI 시대 전문성 갖추기를 듣고 기억해둘 내용을 정리한다. 핵심은 AI에게 일을 잘 시키는 프롬프트 하나를 만드는 데 있지 않았다. 결과를 계속 검증하고, 비판하고, 개선한 내용을 기억하는 시스템을 만드는 것이 더 중요하다. 런타임에서 중간 결과를 계속 검증하기 테스트 코드를 작성하는 것만으로는 부족하다. 테스트는 주로 실...

AWS SAA-C03 (합격) 1편 — 문제은행 결정 키워드 정리

SAA-C03 합격 기록 시리즈 1편 (이 글) — 문제은행을 훑으며 정답을 가르는 키워드와 오답 제거 기준을 정리한 초반 연구 노트 2편 — 막판 오답 노트 — 시험 직전 틀린 것만 추려 압축한 암기용 AWS Solutions Architect Associate(SAA-C03) 문제은행 684문항과 정답 해설, 직접 틀린 문제 메모를 기준으...

EKS에서는 Pod도 Subnet IP를 먹는다

Kubernetes 를 처음 배울 때는 보통 이렇게 이해한다. Pod 마다 고유한 IP 는 필요하지만, 그 IP 가 꼭 실제 VPC/Subnet IP 일 필요는 없다. 실제로 일반적인 Kubernetes 환경에서는 이 말이 맞다. 예를 들어 로컬 Mac 에 Kubernetes 를 설치해도 여러 Pod 를 띄우고 서로 통신시킬 수 있다. 내...

AMD 장기 투자 관점에서 CUDA와 GPU 생태계 이해하기

최근 AI 산업은 NVIDIA가 사실상 독주하고 있다. 그래서 자연스럽게 이런 의문이 생긴다. AMD가 앞으로 5~10년 안에 NVIDIA를 따라잡거나 의미 있는 점유율을 확보할 수 있을까? 처음에는 단순히 GPU 성능만 좋아지면 가능하다고 생각했다. AMD가 더 혁신적인 GPU를 만든다면? NVIDIA보다 성능이 뛰어난 AI ...

HTTPS 와 사내 TLS Inspection, Docker CA 삽질 정리

회사망에서 Docker image 를 빌드하다가 npm ci, apk add 가 인증서 문제로 깨졌다. 처음에는 그냥 “CA 파일 넣으면 되는 거 아닌가?” 정도로 생각했는데, 막상 삽질해보니 내가 HTTPS 와 사내 TLS inspection 을 정확히 이해하지 못하고 있었다. 그래서 쉬운 말로 다시 정리해본다. 일반적인 HTTPS 원래 HT...