tiktoken
作者： openai
Fast BPE tokenizer for use with OpenAI's models.
スター
19,619
フォーク
1,669
言語
Python
カテゴリ
Libraries & Tools
コードを取得
# リポジトリをクローンgit clone https://github.com/openai/tiktoken
よくある質問
tiktoken とは何ですか？
Fast BPE tokenizer for use with OpenAI's models.
tiktoken は安全に使えますか？
tiktoken は openai による GitHub 上のオープンソースプロジェクトです。本番利用前にソースコードとライセンスを確認してください。
tiktoken の始め方は？
git clone https://github.com/openai/tiktoken
tiktoken はどの言語で書かれていますか？
openSource.faqWhatLanguageAnswer
関連プロジェクト
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k