Тема: benchmarks
Платоновская гипотеза стала теоремой
Авторы октябрьской статьи Balestriero и LeCun доказали то, что все подозревали и никто не мог доказать: разные модели, обученные на разных модальностях, приходят к одному представлению мира. И главное
...и выкопал стюардессу
Комментарий читателя про HyperQwen и gpu-unlock: 2000 токенов в секунду prefill на 32K контекста одной 3090. Разбираем, откуда цифра, кому анлок реально поможет на 2080, 3090, 4060 Ti и 4090, почему 5070 Ti мимо, и при чём тут APU на 128 ГБ.
На CPU Q4_K_M сократил время обработки документа на 22%
Это пятая часть серии про спекулятивное декодирование и оптимизацию локального инференса: Часть 1 - четыре метода на RTX 4060 Часть 2 - DFlash и граница применимости Часть 3 - EAGLE-3, acceptance 0.
DFlash 2: ускоряет код в 1.8 раза и роняет документы в 0.25 - где проходит граница
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1 - общая картина, часть 3 - EAGLE-3, часть 4 - 96K и Lucebox.
EAGLE-3 на 4060: acceptance 0.17 при любой квантизации - домен решает, не битрейт
Автор: Гусев Николай. Серия про спекулятивное декодирование на 8 ГБ: часть 1, часть 2 - DFlash, часть 4 - 96K и Lucebox.
Проверяем спекулятивное декодирование на одной RTX 4060: четыре метода, ноль API
Спекулятивное декодирование на одной RTX 4060: четыре метода без единого API, живой замер скорости и качества и честные выводы, где выигрыш реальный, а где маркетинг.
Почему при доступности фронтирных LLM их использование не всегда оправдано, или "Не забиваем гвозди микроскопом"
Фронтирная модель на всех задачах подряд: эксперимент с GPT-6.1 Sol в роли рантайма и скриптов. Где оправдана, где это гвозди микроскопом и во сколько обходится не тот инструмент.
Фронтир подешевел: считаем экономику GPT-6 Sol и Opus 5.5
22 сентября 2026 года OpenAI выпустила GPT-6 Sol и Luna, а Anthropic в тот же день уронила цену Opus 5.5. Лента кричит про бенчи и революцию.
Qwen-Image-2.1 на RTX 4060: текст, прозрачность, референсы
## Qwen-Image-2.1 на RTX 4060: текст в кадре, прозрачность и референсы вместо IP-Adapter…
Четыре эвала для модели решений: Jev в бою
Jev не пишет текст - возвращает типизированные вердикты с вероятностями.…
Любовь - это русские придумали, чтобы денег не платить, или как добить бесплатных Бертов до платного Jev
В прошлой части ответ был "плати за калибровку". Спойлер: не обязательно.
Bonsai 2 в пайплайне: история одного разочарования
…
Bonsai 2 27B на RTX 4060: замер скорости, качества и контекста
Bonsai 2 27B на RTX 4060: живой замер скорости, качества и длины контекста. Влезает ли модель на 27 миллиардов параметров в 8 ГБ видеопамяти и какой ценой.
Очень хороший прогресс для локальных моделей.
PrismML выпустила Bonsai 2 27B на базе Qwen3.
38 задач, 8 русских моделей: YandexGPT и GigaChat в одном замере
Я сравнил два русских API, доступных физлицу без корпоративной карты: GigaChat Freemium с 365 млн токенов в год и Yandex Cloud со стартовым грантом 4000 руб.…
Живой замер API: 38 задач, 14 моделей и одна несуществующая статья ТК
## Живой замер API: 38 задач, 14 моделей и одна несуществующая статья ТК…
Diff недели: агентные тесты новых моделей на RTX 4060
Неделю назад я проверил десять моделей на девяти агентных тестах и нашёл лидера для русскоязычного локального агента.…
Русский токенизатор GigaChat против open-моделей: замер на 519 живых запросах
Все измерения выполнялись 12 сентября 2026 через реальные API: GigaChat PERS Freemium (6 моделей) и OpenCode Go подписка (8 моделей).…
State и поиск: от замера до пул-реквеста в Hermes Agent
В четвертой части я закончил на рабочем пункте: session_search должен уметь искать не только по content, но и по полю reasoning. Тогда это было следствием замера на живой сессии.…
State вместо истории: как малая модель с окном 32k тянет многоходовый чат
Проверил на своей 4060 три механики длинных сессий: классический ReAct со сквозным транскриптом, SKILL.
125B на одной RTX 4090: AirLLM принес к костру модель весом 360 ГБ
## 125B на одной RTX 4090: AirLLM принес к костру модель весом 360 ГБ…
ИИ - это не только кодописание. Часть 1: выбирать модель по задаче, а не по HumanEval
Закон об ИИ перевёл выбор модели из гонки бенчмарков в инженерную задачу: класс задачи, контур данных, локализация. Разбор Alice AI-T5-35B-A0.
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в [нашем инференс движке](https://github.com/trymirai/uzu).
Для начала Qwen3.
Десять локальных моделей на RTX 4060: кто годится в агенты
Сложность: средняя…
K2 Horizon: первая фронтир-линейка из ОАЭ, которая сама себе снизила бенчмарки
3 сентября IFM - институт базовых моделей при университете MBZUAI из Абу-Даби - выпустила K2 Horizon: сразу шесть моделей от 0.
Диспетчер за полтора гигабайта: локальный оркестратор для AI-агента на MiniCPM5-2B
Джилл разруливает: очередь, сортировка, делегация, подача, экономия, смена закрыта…
Бонус 2. Комикс по ТЗ на 8 GB VRAM: три попытки и найденный метод
## Бонус 2. Комикс по ТЗ на 8 GB VRAM: как мы искали идеальный пайплайн…
Бонус: колибри кормит кита. Часть 1 - 744B локально на 16-24 GB VRAM
## Бонус: колибри кормит кита - 744B локально на 16-24 GB VRAM…
Бенчмарки врут красиво: 6 локальных моделей на выходные под 8 GB VRAM
Знакомая картина: выходит флагман, пресс-релиз пишет "на 3 пункта лучше конкурента", твиттер разносит скриншоты таблиц, и все уже "поняли", что новая модель вдвое умнее.
26B на игровой видеокарте: тест FreeToken
## 26B на игровой видеокарте: тест FreeToken - движка для тех, кому нужна умная модель, а не апгрейд железа…
Домашний Perplexity, часть 2: кто думает над выдачей
В первой части персональный ассистент научился доставать факты из веба: лестница инструментов прошла поиск, антибот и капчу. Остался вопрос, кому доверить мышление над найденным.…
Контекст 900 тысяч токенов и вспомогательные модели: настраиваем Codex и Hermes Agent
На этой неделе подписчик канала поймал изменение, о котором нигде не было объявления: "Стал юзать Hermes через codex api, и контекст стал 900к, хотя был 240-270к.…
Vision в API за копейки: разбор DeepSeek V4-Flash-Vision-Exp и локальный стек, который делает то же самое
DeepSeek выпустила экспериментальную модель V4-Flash-Vision-Exp: та же дешёвая V4 Flash, но принимающая картинки.…
Как собрать свой домашний Perplexity на нулевом бюджете
Perplexity устроен почти неприлично удобно. Задаешь вопрос и получаешь готовый ответ со ссылками на источники.…
Видит ли ассистент то, что видите вы?
Вы думаете, зачем здесь эти картинки? А вот сейчас и расскажу в статье.
book2rag: как загнать книги из Telegram в RAG
Превратить Telegram-канал с техническими книгами в поисковую базу знаний - задача, которая решается один раз и работает годами.…
pxpipe: как сократить токены Claude Code в 2-3 раза, рендеря контекст в изображения
pxpipe: как сократить токены Claude Code в 2-3 раза, рендеря контекст в изображения…
DCD: Domain–Collection–Document ↗️
Выпустили статью на arXiv, в которой представили DCD Design — архитектурный подход к организации пространства знаний и обработке запросов в RAG-системах.
Ponytail: ленивый сеньор-дев для AI-агентов
GitHub-проект DietrichGebert/ponytail — набор правил для AI-агентов, который заставляет думать перед тем как писать. 80-94% меньше кода по бенчмаркам.
Я попробовал разные варианты построения RAG и вот к чему пришел
Два RAG, два сервера, два подхода. Каждый оказался сильнее в чём-то своём.
Вот одна из причин почему я так заморачиваюсь с призм анализом, точными rag, гвардрейлами, clarity protocol, изучаю бенчмарки pii и прочие скучные вещи, а не пишу "клод сделай мне CRM чОткую"
KPMG отозвал отчет об ИИ. Не потому что ИИ оказался плох.
21 тип персональных данных: как открытый бенчмарк PII меняет правила игры для AI-ассистентов
Есть задача - пропустить текст через языковую модель. Текст может быть чем угодно: протокол совещания, переписка в чате, голосовое сообщение после транскрибации.…
Talos V2: FPGA, микротрансформер и российское железо
Два студента собрали трансформер на ПЛИС за $150. Не софт, скомпилированный под FPGA, а чистый RTL — каждый слой нейросети как цифровая схема.