tiktoken
автор: openai
Fast BPE tokenizer for use with OpenAI's models.
Звёзды
19,619
Форки
1,669
Язык
Python
Категория
Libraries & Tools
Получить код
# Клонируйте репозиторийgit clone https://github.com/openai/tiktoken
Частые вопросы
Что такое tiktoken?
Fast BPE tokenizer for use with OpenAI's models.
Безопасно ли использовать tiktoken?
tiktoken — open-source проект openai на GitHub. Проверьте исходный код и лицензию перед использованием в продакшене.
Как начать с tiktoken?
git clone https://github.com/openai/tiktoken
На каком языке написан tiktoken?
openSource.faqWhatLanguageAnswer
Похожие проекты
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k