tiktoken
بواسطة openai
Fast BPE tokenizer for use with OpenAI's models.
النجوم
19,619
التفرعات
1,669
اللغة
Python
الفئة
Libraries & Tools
الحصول على الكود
# استنسخ المستودعgit clone https://github.com/openai/tiktoken
الأسئلة الشائعة
ما هو tiktoken؟
Fast BPE tokenizer for use with OpenAI's models.
هل استخدام tiktoken آمن؟
tiktoken مشروع مفتوحة المصدر من openai على GitHub. راجع الكود المصدري والترخيص قبل استخدامه في الإنتاج.
كيف أبدأ مع tiktoken؟
git clone https://github.com/openai/tiktoken
بأي لغة كُتب tiktoken؟
openSource.faqWhatLanguageAnswer
مشاريع ذات صلة
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k
