tiktoken is a fast BPE tokeniser for use with OpenAI's models.
TikToken 是一款高效的 BPE 分词器，适用于 OpenAI 模型的使用。【此简介由AI生成】