tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Bintang

19,619

Fork

1,669

Bahasa

Python

Kategori

Libraries & Tools

Dapatkan kode

# Clone repositori
git clone https://github.com/openai/tiktoken

Apa itu tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

Apakah tiktoken aman digunakan?

tiktoken adalah proyek open source dari openai di GitHub. Tinjau kode sumber dan lisensi sebelum menggunakannya di produksi.

Bagaimana memulai dengan tiktoken?

git clone https://github.com/openai/tiktoken

tiktoken ditulis dalam bahasa apa?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.