tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Stelle

19,619

Fork

1,669

Linguaggio

Python

Categoria

Libraries & Tools

Ottieni il codice

# Clona il repository
git clone https://github.com/openai/tiktoken

Cos'è tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

È sicuro usare tiktoken?

tiktoken è un progetto open source di openai su GitHub. Esamina il codice sorgente e la licenza prima di usarlo in produzione.

Come iniziare con tiktoken?

git clone https://github.com/openai/tiktoken

In quale linguaggio è scritto tiktoken?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.