Tiktokenizer — визуализация токенизации Tiktoken: показывает, как модели «режут» текст на токены. Для разработчиков LLM.
Возможности:
- Разбор текста на токены моделей OpenAI
- Понимание стоимости и лимитов контекста
- Учебный tool для prompt/LLM инженеров
- Наглядная токенизация в браузере
Попробовать
Отзывы








