Русские тексты потребовали почти втрое больше токенов, чем их английские переводы. Такие результаты получил автор Хабра donseo.
Токены — это фрагменты, на которые нейросеть делит текст и по которым считает стоимость обработки. Donseo сравнил, сколько токенов уходит на русский текст и на его английский вариант. Оказалось, что зарубежные модели тратят на русский больше. В замере русский текст занимал на 19% больше токенов у GPT, на 20% у Gemini, на 38% – у DeepSeek, на 52% – у Qwen и на 86% у Kimi.
Изображение сгенерировано нейросетью
Claude Opus 5 потребовал почти втрое больше токенов для русского текста, чем для английского перевода. При сравнении одного русского текста с GPT-5.5 разница достигла 3,9 раза.
У YandexGPT 5 Lite и GigaChat 3 русские тексты, напротив, занимали на 9% и 4% меньше токенов, чем английские переводы.
