tiktoken （a fast BPE tokeniser for gpt4、chatgpt）

OpenAI在其官方GitHub上公开了一个最新的开源Python库：tiktoken，这个库主要是用做字节对编码(BPE)的。相比较HuggingFace的tokenizer，其速度提升了好几倍。

chatgpt 按token 数量收费，1000个token大约700个单词，可以用tiktoken统计token数量，自己估算费用或者做token数量限制！

安装

pip install tiktoken

gpt2 demo

import tiktoken
enc = tiktoken.get_encoding("gpt2")
# 字节对编码过程，我的输出是[31373, 995]
encoding_res = enc.encode("hello tiktoken, what's chatgpt going on?")
print(encoding_res)
# 字节对解码过程，解码结果：hello world
raw_text = enc.decode(encoding_res)
print(raw_text)

BPE简介

字节编码对（Byte Pair Encoder，BPE）是一种子词处理的方法。其主要的目的是为了压缩文本数据。主要是将数据中最常连续出现的字节（bytes）替换成数据中没有出现的字节的方法。
其它一些流行的子词标记化算法包括WordPiece、Unigram和SentencePiece。而BPE用于GPT-2、RoBERTa、XLM、FlauBERT、chatgpt、gpt4等语言模型中。这些模型中有几个使用空间标记化作为预标记化方法，而有几个使用Moses, spaCY, ftfy提供的更高级的预标记化方法。