tiktoken
von openai
Fast BPE tokenizer for use with OpenAI's models.
Stars
19,619
Forks
1,669
Sprache
Python
Kategorie
Libraries & Tools
Code holen
# Repository klonengit clone https://github.com/openai/tiktoken
Häufige Fragen
Was ist tiktoken?
Fast BPE tokenizer for use with OpenAI's models.
Ist die Nutzung von tiktoken sicher?
tiktoken ist ein Open-Source-Projekt von openai auf GitHub. Prüfe Quellcode und Lizenz, bevor du es in Produktion nutzt.
Wie starte ich mit tiktoken?
git clone https://github.com/openai/tiktoken
In welcher Sprache ist tiktoken geschrieben?
openSource.faqWhatLanguageAnswer
Verwandte Projekte
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k