tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Sterren

19,619

Forks

1,669

Taal

Python

Categorie

Libraries & Tools

Code ophalen

# Kloon de repository
git clone https://github.com/openai/tiktoken

Wat is tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

Is het gebruik van tiktoken veilig?

tiktoken is een open-sourceproject van openai op GitHub. Bekijk de broncode en licentie voordat je het in productie gebruikt.

Hoe begin ik met tiktoken?

git clone https://github.com/openai/tiktoken

In welke taal is tiktoken geschreven?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.