tiktoken

Fast BPE tokenizer for use with OpenAI's models.

Sao

19,619

Fork

1,669

Ngôn ngữ

Python

Danh mục

Libraries & Tools

Lấy mã nguồn

# Clone kho lưu trữ
git clone https://github.com/openai/tiktoken

tiktoken là gì?

Fast BPE tokenizer for use with OpenAI's models.

Sử dụng tiktoken có an toàn không?

tiktoken là dự án mã nguồn mở của openai trên GitHub. Hãy xem mã nguồn và giấy phép trước khi dùng cho môi trường thật.

Làm sao bắt đầu với tiktoken?

git clone https://github.com/openai/tiktoken

tiktoken được viết bằng ngôn ngữ nào?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.