tiktoken
作者： openai
Fast BPE tokenizer for use with OpenAI's models.
星数
19,619
派生数
1,669
语言
Python
分类
Libraries & Tools
获取代码
# 克隆仓库git clone https://github.com/openai/tiktoken
常见问题
tiktoken 是什么？
Fast BPE tokenizer for use with OpenAI's models.
tiktoken 使用安全吗？
tiktoken 是 openai 在 GitHub 上的开源项目。在生产环境使用前请先审阅源代码与许可证。
如何开始使用 tiktoken？
git clone https://github.com/openai/tiktoken
tiktoken 是用什么语言写的？
openSource.faqWhatLanguageAnswer
相关项目
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k