tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Estrellas

19,619

Forks

1,669

Idioma

Python

Categoría

Libraries & Tools

Obtener el código

# Clona el repositorio
git clone https://github.com/openai/tiktoken

¿Qué es tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

¿Es seguro usar tiktoken?

tiktoken es un proyecto de código abierto de openai en GitHub. Revisa el código fuente y la licencia antes de usarlo en producción.

¿Cómo empiezo con tiktoken?

git clone https://github.com/openai/tiktoken

¿En qué lenguaje está escrito tiktoken?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.