tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Étoiles

19,619

Forks

1,669

Langage

Python

Catégorie

Libraries & Tools

Obtenir le code

# Clonez le dépôt
git clone https://github.com/openai/tiktoken

Qu'est-ce que tiktoken ?

Fast BPE tokenizer for use with OpenAI's models.

tiktoken est-il sûr à utiliser ?

tiktoken est un projet open source de openai sur GitHub. Vérifiez le code source et la licence avant de l'utiliser en production.

Comment commencer avec tiktoken ?

git clone https://github.com/openai/tiktoken

Dans quel langage tiktoken est-il écrit ?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.