요청이 가는 길

1. 1

   키가 눌린다

   키보드 안의 작은 컴퓨터가 어느 키가 움직였는지 알아채고, 그것을 숫자로 만들어 선으로 흘려보냅니다.

2. 2

   운영체제가 받는다

   커널의 드라이버가 그 숫자를 입력 사건으로 바꾸고, 지금 맨 앞에 있는 창을 향해 줄을 세웁니다.

3. 3

   프로그램이 줄에서 꺼낸다

   모든 프로그램은 사건을 하나씩 꺼내 처리하는 반복문을 돌고 있습니다. 입력칸에 글자가 찍히는 것이 이 단계입니다.

4. 4

   마이크는 다른 길로 간다

   소리는 1초에 수만 번 잰 숫자로 들어옵니다. 받아쓰기 모델이 말소리를 글자로 바꾼 뒤에 글 모델에게 넘깁니다 — 다만 요즘은 소리를 직접 듣는 모델도 있습니다.

1. 5

   시스템 프롬프트

   프로그램을 만든 사람이 미리 써 둔 규칙이 맨 앞에 붙습니다 — 너는 무엇이고 어떻게 답해야 하는지.

2. 6

   지금까지의 대화

   앞서 주고받은 말이 순서대로 들어갑니다. 한도가 있어서 앱이 오래된 것부터 빼거나 줄이거나 요약합니다 — 빠진 것은 모델이 그냥 보지 못합니다.

3. 7

   내가 붙인 것

   이미지나 파일은 서비스가 받는 모양으로 붙습니다 — 날것의 바이트, 파일 번호, 링크, 또는 base64 라는 긴 글자 줄. PDF 는 서비스에 따라 안의 글을 뽑거나, 쪽마다 그림으로 찍거나, OCR 로 읽습니다.

4. 8

   내 자료 뒤지기(RAG)

   이것이 RAG 입니다. 질문을 숫자(또는 핵심 낱말)로 바꾸고, 내 문서에서 가장 잘 맞는 조각을 찾아 함께 싸 넣습니다. 모델을 다시 학습시키는 것이 아니며, 찾아온 조각도 맞는지 확인해야 합니다.

5. 9

   도구 목록

   앱이 허락한 도구마다 이름과 입력 모양을 차림표처럼 적어 넣습니다. 앱이 자기 도구를 직접 적기도 하고, MCP 서버에게서 받아 오기도 합니다.

6. 10

   스킬과 커맨드

   누군가 미리 써 둔 지시문 묶음 — 스킬 — 을 일에 필요할 때 끼워 넣습니다. 스킬에는 스크립트와 참고 파일도 들어 있을 수 있으니, 믿기 전에 읽어 보세요.

7. 11

   한도에 맞추기

   가방 전체를 토큰으로 세어 봅니다. 한도를 넘으면 앱이 무언가를 자르거나 줄이거나 빼야 합니다 — 대개 오래된 것부터.

1. 12

   주소 찾기

   서버의 이름을 숫자로 된 주소로 바꿉니다(DNS).

2. 13

   길을 열고 자물쇠를 채운다

   보내기 전에 내 컴퓨터와 서버가 길을 열고 비밀 열쇠를 나눠 가져, 중간에서 아무도 못 읽게 잠급니다(TCP 와 TLS. 새 HTTP/3 은 QUIC 으로 둘을 한 번에 합니다).

3. 14

   누구인지 밝히기

   요청 머리에 열쇠(API 키)나 표(토큰)를 붙입니다. 누구 몫으로 계산할지가 여기서 정해집니다.

4. 15

   요청 보내기

   지금까지 싼 것을 요청 하나로 — 대개 JSON 으로 — 만들어 보냅니다. 실시간 음성처럼 양쪽이 계속 주고받아야 하면 연결을 열어 둡니다.

1. 16

   문지기

   열쇠가 맞는지, 너무 자주 부르지는 않는지 보고, 한가한 계산 기계에게 넘깁니다.

2. 17

   대기줄

   요청은 바로 계산되지 않고 잠깐 줄을 섭니다. 차례가 되면 런타임이 이미 올려 둔 한 벌의 숫자로 기다리던 여러 질문을 한꺼번에 계산합니다.

3. 18

   들어온 것 살피기

   계산을 시작하기 전에 규칙에 어긋나는 요청은 아닌지 먼저 봅니다.

1. 숫자 파일이 잠들어 있다

   학습이 끝난 모델은 저장 장치에 놓인 커다란 파일입니다. 그 자체로는 아무 계산도 하지 않습니다. 이 사이트의 음성 모델도 파일 네 개, 다 합쳐 약 398MB 입니다.

2. 런타임이 한 번 올린다

   서버가 켜질 때(또는 앱이 준비될 때) 런타임이 그 파일을 읽어 실행할 수 있게 준비하고 메모리에 올려 둡니다. 질문마다 다시 여는 것이 아닙니다. 메모리가 모자라거나 서버가 다시 켜지면 다시 불러와야 합니다.

3. 가속기가 곱셈을 맡는다

   같은 곱셈을 엄청나게 많이 해야 해서, 바로 그 일을 위해 만든 부품에 맡깁니다. 그 옆의 빠른 기억에 숫자들이 머뭅니다. 보통 CPU 로도 할 수 있고, 그때는 느릴 뿐입니다.

여러 요청을 묶는 일은 17번, 해 둔 계산을 아껴 두는 일은 27번 — 둘 다 이 프로그램이 합니다.

1. 19

   토큰으로 자르기

   글을 이 모델의 토크나이저가 아는 조각으로 자르고, 조각마다 정해진 번호(ID)를 붙입니다. 다른 모델은 같은 글을 다른 조각으로 자를 수 있습니다.

2. 20

   번호를 숫자 목록으로

   번호마다 학습 때 익혀 둔 긴 숫자 목록(임베딩 벡터)을 꺼냅니다. 번호의 크기 자체에는 뜻이 없습니다 — 비슷하게 쓰이는 조각끼리 비슷해질 수 있는 것은 이 숫자 목록입니다.

3. 21

   순서 표시하기

   몇 번째 토큰인지도 숫자로 알려 줍니다. 이것이 없으면 "개가 사람을 문다"와 "사람이 개를 문다"를 가르지 못합니다. 모델마다 방법이 다르며, 회전 위치 임베딩(RoPE)이 흔한 방법 가운데 하나입니다.

4. 22

   서로 쳐다보기(어텐션)

   어텐션 — 토큰마다 앞의 어느 토큰을 얼마나 볼지를 계산하고, 그 비율대로 서로의 정보를 섞습니다. 앞쪽만 봅니다. 아직 쓰이지 않은 뒤쪽 토큰은 보지 않습니다.

5. 23

   층층이 곱하고 더하기

   숫자들이 여러 층 — 큰 모델은 수십 층 — 을 통과합니다. 층마다 어텐션과 한 차례의 곱하고 더하기를 합니다. 층을 지날 때마다 값이 조금씩 옮겨 가며, 층이 몇 개인지는 모델마다 다릅니다.

6. 24

   전부에 점수 매기기

   마지막 층이 아는 토큰 전부에 점수를 냅니다. 모델에 따라 수만~수십만 개에 한꺼번에 점수가 붙습니다.

7. 25

   하나 고르기

   마지막 점수를 확률로 바꿉니다(softmax). 온도는 확률을 뾰족하게 또는 평평하게 만들고, top-k 와 top-p 는 가능성이 높은 몇 개만 남긴 뒤 하나를 뽑습니다. 언제나 가장 높은 점수만 고르는 것을 탐욕 선택이라고 합니다.

1. 26

   뒤에 이어 붙이기

2. 27

   해 둔 계산 아껴 쓰기

   앞 토큰들에서 이미 계산한 값을 저장해 두고(KV 캐시) 다시 계산하지 않습니다. 시간을 아끼는 대신 메모리를 쓰며, 전체 빠르기는 여전히 글의 길이·서버가 얼마나 바쁜지·네트워크에 따라 달라집니다.

3. 28

   22번으로 되돌아감

   토큰 하나만큼 길어진 글이 모델을 한 번 더 통과합니다 — 앞서 해 둔 계산은 27번 덕분에 다시 씁니다. "끝"을 뜻하는 토큰이 나오거나 정해 둔 길이에 닿을 때까지 돌고 돕니다.

1. 29

   토큰 번호를 읽을 수 있는 글자로 되돌리기

2. 30

   나오는 대로 흘려보내기

   답 전체를 기다리지 않고, 만들어지는 대로 작은 덩어리로 밀어 보냅니다(SSE).

3. 31

   나가는 것 살피기

   나가는 글도 규칙에 어긋나지 않는지 봅니다.

4. 32

   쓴 만큼 적어 두기

   보낸 토큰과 받은 토큰의 수를 셉니다. 요금이 나오는 곳이 여기입니다.

1. 33

   도착한 조각을 순서대로 잇기

2. 34

   화면에 그리기

   마크다운을 읽어 제목·목록·코드 상자로 바꿔 그립니다. 타자를 치는 것처럼 보이는 부분이 이것입니다.

3. 35

   도구 요청 찾아내기

   답 안에 정해진 형식의 도구 호출이 섞여 있는지 프로그램이 지켜봅니다.

4. 36

   인자 확인하기

   그런 도구가 실제로 있는지, 인자 모양이 맞는지를 실행 전에 검사합니다.

1. 37

   허락 묻기

   파일 지우기나 명령 실행처럼 위험한 일이라면, 잘 만든 앱은 먼저 나에게 묻습니다. 그 확인은 모델이 아니라 앱 안에 있고, 그것을 꺼 두는 것도 사람이 정하는 일입니다.

2. 38

   실제로 하기

   앱이 모델이 부탁한 일을 합니다 — 파일을 고치거나, 명령을 실행하거나, 다른 프로그램(MCP 서버)을 부릅니다. 받은 권한 안에서만.

3. 39

   결과 담기

   무엇이 나왔는지, 실패했다면 왜인지를 6번의 대화에 새 줄로 담습니다.

4. 40

   15번으로 되돌아감

   그 결과를 담아 다시 채운 가방을 또 보냅니다. 모델이 끝났다고 하거나, 한도·취소·오류로 앱이 멈출 때까지 이 반복이 이어집니다.