Тема: inference
...и выкопал стюардессу
Комментарий читателя про HyperQwen и gpu-unlock: 2000 токенов в секунду prefill на 32K контекста одной 3090. Разбираем, откуда цифра, кому анлок реально поможет на 2080, 3090, 4060 Ti и 4090, почему 5070 Ti мимо, и при чём тут APU на 128 ГБ.
На CPU Q4_K_M сократил время обработки документа на 22%
Это пятая часть серии про спекулятивное декодирование и оптимизацию локального инференса: Часть 1 - четыре метода на RTX 4060 Часть 2 - DFlash и граница применимости Часть 3 - EAGLE-3, acceptance 0.
Словарь LLM: от цепи Маркова до каталога моделей
Подписчик написал: «Коля,очень интересно, но ничего не понятно, "я ничего не понял, но ты достучался до моего сердца" буквально :) "». Справедливо.
От 96K до следующей лаборатории: Lucebox, EAGLE-3, MLX и ROCm
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 3 - EAGLE-3.
DFlash 2: ускоряет код в 1.8 раза и роняет документы в 0.25 - где проходит граница
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1 - общая картина, часть 3 - EAGLE-3, часть 4 - 96K и Lucebox.
EAGLE-3 на 4060: acceptance 0.17 при любой квантизации - домен решает, не битрейт
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 4 - 96K и Lucebox.
Проверяем спекулятивное декодирование на одной RTX 4060: четыре метода, ноль API
Спекулятивное декодирование на одной RTX 4060: четыре метода без единого API, живой замер скорости и качества и честные выводы, где выигрыш реальный, а где маркетинг.