tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Estrelas

19,619

Forks

1,669

Linguagem

Python

Categoria

Libraries & Tools

Obter o código

# Clone o repositório
git clone https://github.com/openai/tiktoken

O que é tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

É seguro usar tiktoken?

tiktoken é um projeto open source de openai no GitHub. Revise o código-fonte e a licença antes de usar em produção.

Como começar com tiktoken?

git clone https://github.com/openai/tiktoken

Em qual linguagem tiktoken é escrito?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.