tiktoken
द्वारा openai
Fast BPE tokenizer for use with OpenAI's models.
स्टार
19,619
फोर्क
1,669
भाषा
Python
श्रेणी
Libraries & Tools
कोड प्राप्त करें
# रिपॉजिटरी क्लोन करेंgit clone https://github.com/openai/tiktoken
अक्सर पूछे जाने वाले प्रश्न
tiktoken क्या है?
Fast BPE tokenizer for use with OpenAI's models.
क्या tiktoken का उपयोग सुरक्षित है?
tiktoken GitHub पर openai का ओपन-सोर्स प्रोजेक्ट है। प्रोडक्शन में उपयोग से पहले सोर्स कोड और लाइसेंस देखें।
tiktoken के साथ कैसे शुरू करें?
git clone https://github.com/openai/tiktoken
tiktoken किस भाषा में लिखा गया है?
openSource.faqWhatLanguageAnswer
संबंधित प्रोजेक्ट्स
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k
