tiktoken
개발자: openai
Fast BPE tokenizer for use with OpenAI's models.
스타
19,619
포크
1,669
언어
Python
카테고리
Libraries & Tools
코드 받기
# 저장소 클론git clone https://github.com/openai/tiktoken
자주 묻는 질문
tiktoken은(는) 무엇인가요?
Fast BPE tokenizer for use with OpenAI's models.
tiktoken 사용이 안전한가요?
tiktoken은(는) openai의 GitHub 오픈소스 프로젝트입니다. 프로덕션 사용 전에 소스 코드와 라이선스를 확인하세요.
tiktoken은(는) 어떻게 시작하나요?
git clone https://github.com/openai/tiktoken
tiktoken은(는) 어떤 언어로 작성되었나요?
openSource.faqWhatLanguageAnswer
관련 프로젝트
Transformers
huggingfaceThe model-definition framework for state-of-the-art ML models across text, vision, and audio.
169k35.1k
Diffusers
huggingfaceState-of-the-art diffusion models for image, video, and audio generation in PyTorch.
34.9k7.5k
Gradio
gradio-appBuild and share machine learning demos and apps entirely in Python.
44.0k3.7k