tiktoken

yazan: openai

Fast BPE tokenizer for use with OpenAI's models.

Yıldız

19,619

Çatallar

1,669

Dil

Python

Kategori

Libraries & Tools

Kodu al

# Depoyu klonla
git clone https://github.com/openai/tiktoken

tiktoken nedir?

Fast BPE tokenizer for use with OpenAI's models.

tiktoken kullanımı güvenli mi?

tiktoken, openai tarafından GitHub'da geliştirilen açık kaynak bir projedir. Üretimde kullanmadan önce kaynak kodu ve lisansı inceleyin.

tiktoken ile nasıl başlanır?

git clone https://github.com/openai/tiktoken

tiktoken hangi dilde yazıldı?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.