tiktoken

autor: openai

Fast BPE tokenizer for use with OpenAI's models.

Gwiazdki

19,619

Forki

1,669

Język

Python

Kategoria

Libraries & Tools

Pobierz kod

# Sklonuj repozytorium
git clone https://github.com/openai/tiktoken

Czym jest tiktoken?

Fast BPE tokenizer for use with OpenAI's models.

Czy korzystanie z tiktoken jest bezpieczne?

tiktoken to projekt open source autorstwa openai na GitHub. Sprawdź kod źródłowy i licencję przed użyciem na produkcji.

Jak zacząć z tiktoken?

git clone https://github.com/openai/tiktoken

W jakim języku napisany jest tiktoken?

openSource.faqWhatLanguageAnswer

The model-definition framework for state-of-the-art ML models across text, vision, and audio.

State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

Build and share machine learning demos and apps entirely in Python.