70 токенов в секунду в qwen3.8-27b на RTX 3090

На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению прямой путь — скачать модель с официального аккаунта qwen на huggingface -> запустить в своем любимом инференс-движке может не привести к хорошему результату, поэтому я решил написать эту статью.

План действий такой:

Читать далее

Щелкните ниже, чтобы поставить оценку!
Всего: 0 В среднем: 0

Написать комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *