OK 스터디
KO English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

알림을 켜는 방법

이 브라우저 또는 주소에서는 알림을 사용할 수 없습니다. 지원되는 브라우저로 보안 연결된 배움노바 사이트에 접속해 주세요.

알림이 차단되어 있으면 브라우저 설정에서 허용해 주세요.

  1. 주소 표시줄 옆의 사이트 설정 또는 브라우저의 사이트 설정을 열고, 이 사이트의 알림을 허용으로 바꾸세요.
  2. 기기 설정에서 브라우저 알림을 허용하고 방해 금지 또는 집중 모드를 확인하세요.
  3. 배움노바로 돌아와 페이지를 새로고침하세요. 알림이 켜지면 벨은 사라집니다.

iPhone 또는 iPad에서는 배움노바를 홈 화면에 추가하고 거기에서 연 뒤 알림을 허용하세요.

BPE 토크나이저 — 가장 자주 붙는 두 조각을 합치는 바이트 쌍 인코딩

BPE(Byte Pair Encoding)는 글을 모델이 다루는 숫자 조각인 토큰으로 나누는 방법입니다. 가장 자주 붙어 나오는 두 조각을 하나로 합치는 일을 반복합니다. 왜 필요한지, 어떻게 학습하고 쓰는지, 관련 용어를 설명합니다.

용어집으로 돌아가기 2026-11-11 에 출처를 확인했습니다
긴 컨베이어 벨트 위에 작은 블록들이 줄지어 있다. 가운데에서 로봇 팔이 나란히 붙은 주황 블록과 민트 블록 한 쌍을 찾아 붙이고, 오른쪽 쟁반에는 두 블록이 하나로 합쳐진 긴 블록이 쌓여 있다

그림으로 보면

  1. 작은 조각

    글을 가장 작은 단위로 쪼갭니다.

  2. 자주 붙는 쌍

    가장 자주 붙어 나오는 두 조각을 찾습니다.

  3. 새 조각

    그 쌍을 새 조각 하나로 합칩니다.

BPE 란

BPE 는 Byte Pair Encoding( 쌍 인코딩)의 약자입니다. 글을 모델이 다룰 수 있는 숫자 조각인 으로 나누는 방법입니다.

원래는 1994년에 나온 압축 방법입니다. 지금은 를 만드는 방법으로 쓰입니다. 계열 모델이 모두 이 방식을 씁니다.

핵심 생각은 하나입니다. 가장 자주 붙어 나오는 두 조각을 하나로 합치는 일을 반복합니다.

자주 하는 말에 짧은 이름을 붙이는 것과 같습니다. 사람들이 매일 쓰는 긴 말을 줄여 부르듯이, BPE 는 글자를 그렇게 줄입니다.

왜 필요한가

모델은 글자를 직접 읽지 못하고 숫자만 다룹니다. 글을 숫자로 바꾸는 방법은 세 가지가 있습니다.

글을 숫자로 바꾸는 세 가지 방법
방법 장점 단점
글자 단위 가 작고 모르는 낱말이 없습니다 글이 너무 길어져 이 느립니다
낱말 단위 글이 짧아집니다 어휘가 수백만 개로 늘고, 처음 보는 낱말을 처리하지 못합니다
BPE (조각 단위) 둘의 중간입니다. 자주 나오는 것은 통째로, 드문 것은 잘게 나눕니다 직접 학습시켜야 합니다
낱말 ⁦"lower"⁩ 를 세 방법으로 나누면
  • 글자 단위 lower 조각 5개
  • 낱말 단위 lower 조각 1개
  • BPE (조각 단위) lower 조각 2개

한국어에서는

한국어는 먹었습니다, 먹었어요, 먹었는데처럼 어미가 다양합니다. 그래서 낱말 단위가 특히 불리합니다. BPE 는 먹었 + 습니다처럼 스스로 나누는 법을 배웁니다.

BPE 가 배운 나눔
  • 먹었습니다
  • 먹었어요
  • 먹었는데

같은 조각어미

학습 과정

BPE 토크나이저는 학습용 글 모음(말뭉치)을 보고 어떤 쌍을 합칠지 배웁니다. 네 단계입니다.

  1. 쪼개기

    글 전체를 가장 작은 단위(바이트 또는 글자)로 쪼갭니다. 이것이 처음 어휘입니다.

  2. 쌍 세기

    붙어 있는 두 조각의 쌍이 각각 몇 번 나오는지 셉니다.

  3. 합치기

    가장 많이 나온 쌍을 새 조각 하나로 합치고, 어휘에 추가합니다.

  4. 반복

    원하는 어휘 수가 될 때까지 2~3번을 반복합니다.

원하는 어휘 수가 될 때까지 2~3번 반복

예로 따라 하기

글 ⁦"aaabdaaabac"⁩ 로 직접 해 봅니다. 글자 11개에서 시작합니다.

  1. 처음

    aaabdaaabac

    조각 11개

  2. ⁦"aa"⁩ 가 가장 많습니다(4번). ⁦Z⁩ = ⁦"aa"⁩ 로 합칩니다.

    ZabdZabac

    조각 9개

  3. ⁦"ab"⁩ 가 가장 많습니다(2번). ⁦Y⁩ = ⁦"ab"⁩ 로 합칩니다.

    ZYdZYac

    조각 7개

  4. ⁦"ZY"⁩ 가 가장 많습니다(2번). ⁦X⁩ = ⁦"ZY"⁩ 로 합칩니다.

    XdXac

    조각 5개

다음에 합칠 쌍새로 생긴 조각

2번째 단계에서는 ⁦"Za"⁩ 도 2번으로 횟수가 같습니다. 횟수가 같을 때 어느 쌍을 고를지는 토크나이저마다 정해 둔 규칙을 따릅니다. 여기서는 ⁦"ab"⁩ 를 골랐습니다.

글자 11개가 조각 5개로 줄었습니다. 합친 순서(⁦aa → Z, ab → Y, ZY → X⁩)가 곧 토크나이저가 배운 내용입니다. 어휘는 처음 글자 4개에 병합 3번을 더해 7개가 되었습니다.

사용 과정

학습이 끝난 토크나이저는 두 가지 일을 합니다.

인코딩

새 글을 가장 작은 단위로 쪼갭니다. 그다음 학습 때 배운 병합 규칙을 배운 순서대로 적용해 목록으로 바꿉니다.

디코딩

토큰 번호를 다시 조각으로 바꿔 이어 붙이면 원문이 됩니다.

위에서 배운 규칙으로 새 글 ⁦"baaab"⁩ 를 바꾸기
글
baaab
조각
bX
토큰 번호
[1, 6]
글
baaab

어휘(번호 : 조각)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X

인코딩 후 디코딩한 결과는 원문과 똑같아야 합니다.

용어

BPE 를 설명할 때 함께 나오는 낱말입니다.

조각과 번호

토큰 token
모델이 다루는 글의 최소 조각입니다. 글자 하나일 수도, 낱말 일부나 전체일 수도 있습니다.
토큰 ID token ID
토큰마다 붙은 번호입니다. 모델에 실제로 들어가는 값입니다.
어휘 vocabulary, vocab
토큰 전체 목록입니다.
어휘 크기 vocab size
처음 단위 수에 병합 횟수를 더한 값입니다. 크면 글이 짧아지지만 모델의 표가 커집니다. 예를 들어 는 바이트 256개에 병합 50,000번과 1개를 더해 50,257개입니다.

합치기

쌍 pair
나란히 붙어 있는 두 토큰입니다.
병합 merge
쌍 하나를 새 토큰 하나로 합치는 일입니다.
병합 규칙 merge rules
병합한 쌍을 순서대로 적은 목록입니다. 토크나이저를 저장한다는 것은 이 목록을 저장하는 것입니다.
말뭉치 corpus
토크나이저를 학습시키는 데 쓰는 글 모음입니다.

더 알아 둘 것

바이트 단위 BPE byte-level BPE
글자가 아니라 바이트(0~255)에서 시작하는 방식입니다. 처음 어휘가 256개로 고정됩니다. 어떤 글자나 이모지가 와도 처리하지 못하는 일이 없습니다.
특수 토큰 special token
글 내용이 아닌 신호용 토큰입니다. 글의 끝을 알리는 <eos>, 길이를 맞추는 <pad> 등이 있습니다.
OOV out of vocabulary
어휘에 없는 낱말입니다. 바이트 단위 BPE 에서는 생기지 않습니다.

출처

이 페이지는 아래 논문과 문서를 쉬운 말로 줄인 것이고 2026-11-11 에 확인했습니다. 서로 다르면 원문이 맞습니다.

예약할 수 있는 시간이 지났습니다

리엔과 음성 대화 언어와 주제를 골라 리엔과 말로 대화해요

리엔은 English · 한국어 · 日本語 · हिन्दी 로 소리 내어 말해요. 다른 언어는 글로 답해요.

리엔과 음성 대화는 회원만 할 수 있어요. 먼저 회원 가입을 해 주세요.