Тема: exllamav3
EXL3-2: тысяча квантов, один подходит. Учимся считать бюджет до закачки
В первой части я похоронил ExLlamaV3 на 8 ГБ: релиз с кодбуком mcg молча не выгружает экспертов, и 35B MoE падает по памяти. Обещал продолжение - вот оно.
EXL3 на 8 ГБ: вечер с ExLlamaV3, который закончился кодбуком
Замерить хотел одно, нашёл другое. Разбираю вечер с ExLlamaV3 на RTX 4060 8 ГБ: почему в 8 ГБ VRAM не влезает даже 2-битная 35B MoE, при чём тут кодбуки mcg и mul1, и почему движок молчит, когда фича не работает.