Глоссарий
Термины локальных LLM и AI-агентов — короткое определение и то, как это выглядит на живом стенде, без маркетинговых цифр.
Бенчмарк
Бенчмарк это стандартизированный замер качества или скорости: фиксированный набор задач, процедура прогона и метрика, которая сводит результат в число, сравнимое между системами. Честный бенчмарк фиксирует всё, что влияет на цифру: версии, параметры (температуру, квантование), железо, выборку, число прогонов и метрику; меняется только сравниваемое. Для LLM бенчмарк обычно комплектуют харнесом: без него одинаковые модели на разных промптах дают расхождения больше, чем вся разница между моделями. Правило чтения чужих цифр: нет методики, нет результата.
вайб-кодинг
Вайб-кодинг это стиль разработки, при котором человек описывает нейросети, что сделать, принимает её код на веру и запускает, не читая и не понимая. Работает быстро, пока не ломается. У такого кода нет владельца, который понимает, как он устроен, нет тестов, нет учёта зависимостей и секретов. Для прототипа приемлемо, для системы, которая ходит в корпоративные данные под постоянным ключом доступа, это мина замедленного действия.
Векторная база
Векторная база это хранилище эмбеддингов с индексом для приближённого поиска ближайших соседей, обычно HNSW, и фильтрами по метаданным. Каждому чанку соответствует вектор плюс атрибуты: источник, дата, раздел, права доступа. Поиск комбинирует ANN-запрос с фильтром, например «раздел X и не старше года», что критично для корпоративных баз знаний. Типичные представители: Qdrant, pgvector поверх PostgreSQL, Milvus, Weaviate. Векторная база нужна, когда данных много и полный перебор в памяти перестаёт укладываться в латентность; на первых сотнях чанков хватает простого перебора numpy прямо в процессе приложения.
Гибридная inference-нода
Гибридная inference-нода объединяет unified-memory устройство, где помещается большая модель или считается длинный prefill, с дискретной GPU, где выполняется draft, decode fast-path или ranker. Между ними передают KV-кэш или компактные состояния, а не веса на каждом токене. Схема выгодна только если remote prefill + KV transfer меньше local prefill; иначе дополнительная сеть превращает оптимизацию в задержку.
Градиент
Градиент это вектор производных ошибки по параметрам модели: он показывает, в какую сторону и насколько сильно надо подкрутить каждый параметр, чтобы ошибка уменьшилась. Обучение это спуск по склону ошибки малыми шагами против градиента. Оптимизаторы вроде Adam не просто идут по градиенту, а нормируют шаг по истории прошлых градиентов: так обучение быстрее и устойчивее к разбросу масштабов. Для кросс-энтропии важно свойство: сумма компонентов градиента равна нулю. Его нарушение из-за округлений даёт фантомные направления, которые на длинных прогонах выливаются в скачки лосса.
Датасет
Датасет это подготовленный набор данных, на котором модель обучают, дообучают или замеряют. Ценность определяется не объёмом, а гигиеной: зафиксированные источники, правила разметки, сплиты train, valid, test и критерии попадания примера в выборку. Утечка тестовых примеров в обучение обнуляет любую цифру бенчмарка, а немаркированный дубликат искажает оценку сильнее, чем сто пропущенных примеров. Для персональных данных добавляется требование минимизации: в набор попадает только то, что нужно для задачи.
Деблоат
Деблоат это отключение или удаление предустановленных приложений и служб, которые не нужны владельцу устройства. На Android безопаснее сначала отключать пакет, а не удалять его: файлы остаются, а функцию можно вернуть. На телевизоре это обычно рекламные строки, сборщики статистики и фирменные приложения. Деблоат не означает автоматическое отключение всей телеметрии: сетевые службы могут продолжить работу.
Декомпиляция
Восстановление читаемого кода из скомпилированного: из байткода APK декомпилятор получает псевдо-Java, из машинного кода - псевдокод уровня C. Комментарии и осмысленные имена переменных теряются безвозвратно, структура классов и логика восстанавливаются приблизительно. Типовые инструменты: JADX для Android-приложений, Ghidra, IDA и Hopper для нативных бинарников. Декомпилированный код годится для анализа и объяснения поведения, но это не исходники: собрать из него рабочий проект обычно нельзя, а совпадение с оригиналом доказывают отдельно, прогоном пере-реализации на одних входах.
Дистилляция
Дистилляция это способ передачи знаний между моделями: студент меньшего размера учится повторять ответы учителя, большой обученной модели. Учитель отдаёт не только финальный ответ, но и распределение вероятностей по вариантам, где закодировано его понимание задачи: какие варианты похожи, какие совсем нет. Качество передачи меряют расхождением распределений студента и учителя. Тонкое место: когда студент уже почти совпал с учителем, стандартный расчёт градиента тонет в шуме округления, и студент уползает от учителя вместо того, чтобы стоять на месте. Починенный вариант лосса считает разность из логитов и шумит на уровне машинной точности.
Дообучение
Дообучение это продолжение обучения готовой модели на своих данных, чтобы поменять её поведение под задачу: стиль, формат ответа, предметную область, редкие форматы. В отличие от промпта, дообучение меняет веса, поэтому результат держится без длинных инструкций в каждом запросе. Малые наборы обычно гоняют через LoRA и похожие адаптеры: обучается небольшая добавка к весам, а не вся модель. Ловушка: дообучение учит форме и новым знаниям, но не лечит галлюцинации и не заменяет поиск по базе, когда факты должны быть свежими.
Золотой набор
Золотой набор это фиксированная коллекция вопросов с эталонами: к каждому вопросу прилагаются релевантные чанки, а при желании и ожидаемые факты в ответе. Набор собирается один раз и живёт как тест: любое изменение нарезки, эмбеддера или реранкера прогоняется по нему, метрики recall, nDCG и MRR сравниваются с прошлым запуском. Без золотого набора каждое улучшение оценивается на глаз: поменяли чанкинг, стало «кажется лучше», а половина запросов тихо отвалилась. Золотой набор это фундамент eval в CI: RAG-конвейер проверяется регресс-тестами, как обычный код.
Инструкционный файл
Инструкционный файл это текстовый файл в корне проекта (AGENTS.md, CLAUDE.md, .cursorrules), который кодинг-агент читает перед началом работы: там живут правила сборки, конвенции кода, ссылки на документацию. Файл доезжает до модели как инструкция с высоким приоритетом, поэтому устаревшая строка в нём перешибает живой код: в замере на 40 проектах агенты следовали протухшему файлу в 90% выборов, даже замечая конфликт. Лечение двоится: фраза о приоритете кода над конвенциями в пользовательском файле плюс регулярная ревизия содержимого. Чем короче файл, тем меньше у него шансов разойтись с кодом.
Инференс
Инференс это этап использования уже обученной модели: ей подают вход и получают выход. Весь локальный и облачный LLM-стек это инфраструктура инференса: загрузка весов в память, KV-кэш, генерация токен за токеном, планировщик запросов. Инференс отличают от обучения (training): веса заморожены, вычисления дешевле, но требования к задержке и памяти другие. Скорость инференса меряют в токенах в секунду, стоимость в цене за миллион токенов, а качество инференса зависит не только от модели, но и от квантования, движка и длины контекста.
Квантование весов
Квантование весов это перевод весов модели из fp16 или bf16 в целые числа малой разрядности, чаще int4, с сохранением масштаба через коэффициенты scale. Память весов падает в 3.5-4 раза, и вместе с ней падает главный ограничитель скорости декодинга: трафик чтения памяти. Простейшая рабочая схема групповое симметричное квантование: на группу из 32-128 весов один scale по максимуму амплитуды. Де-квантование происходит на лету внутри matmul-кернела.
Компактизация контекста
Компактизация это сжатие истории диалога, когда контекст модели переполняется: старые сообщения сворачиваются в выжимку, чтобы агент мог работать дальше. Цена сжатия в потере деталей: решение, принятое на двадцатом шаге, в выжимке превращается в одну строку, и агент может спокойно нарушить его на шаге тридцатом. Поэтому важные решения нужно держать вне диалога, в файлах проекта: спеках, ADR, инструкционных файлах, а не в памяти беседы, которую компактизация режет первой.
Кросс-энкодер
Кросс-энкодер это модель ранжирования, которая получает запрос и документ одним входом: токены обоих проходят через трансформер вместе, на выходе один скор релевантности. Благодаря совместному вниманию он видит взаимодействие слов запроса со словами документа, поэтому точнее bi-encoder, где запрос и документ кодируются независимо и сравниваются векторами. Плата за точность: векторы не предпосчитать, каждая пара запрос-документ прогоняется заново. Отсюда место в конвейере: кросс-энкодер стоит на реранкинге небольших выборок, а не в первичном поиске по миллионам чанков.
Кросс-энтропия
Кросс-энтропия это стандартная мера промаха при классификации: насколько предсказанное моделью распределение вероятностей разошлось с правильным ответом. Чем увереннее модель ошиблась, тем больше штраф, поэтому обучение быстро уходит от самоуверенных промахов. Градиент кросс-энтропии по логитам равен разности предсказанной и правильной вероятностей, и его компоненты в сумме дают ноль: уверенность переливается между классами, а не берётся из ниоткуда. В работе DeepMind 2026 года показано, что стандартные реализации этой функции содержат два численных бага, и обе починки умещаются в пару строк.
Латентное пространство
Латентное пространство это внутреннее векторное представление данных в нейросети: токен, картинка или запрос превращаются в точку многомерного пространства, где близость координат означает близость смысла. Эмбеддеры проектируют тексты и изображения в общее пространство, поэтому семантический поиск сводится к поиску соседей по вектору. Качество поиска определяется не метрикой расстояния, а тем, насколько пространство организовано под задачу, и это проверяется замером на своём наборе, а не на глаз.
Логит
Логит это сырая оценка, которую нейросеть выдаёт для каждого варианта ответа до всякой нормировки: просто число, положительное или отрицательное. Чем выше логит варианта, тем вероятнее модель выберет именно его. Сам по себе логит мало о чём говорит: смысл ему придаёт связка с остальными логитами. Софтмакс переводит набор логитов в вероятности, которые в сумме дают единицу. Запас логита правильного ответа над остальными называют логит-маржой: по ней меряют, насколько модель уверена в своём ответе, и именно маржа управляет численными эффектами в кросс-энтропии.
Локальная LLM
Локальная LLM это языковая модель, запущенная на собственном железе (видеокарта, ноутбук, сервер) без обращения к облачному API. Мотивы: приватность (данные не покидают машину, важно для ПДн и NDA), независимость от тарифов и блокировок, нулевая цена за токен после покупки железа и возможность дообучения. Цена: за те же деньги качество ниже, чем у фронтирных облачных моделей, а инженерных возни больше: квантование, VRAM, движки (llama.cpp и его производные), замеры скорости. Практичная связка: локально рутину и приватное, в облако редкие тяжёлые задачи.
Маршрутизация моделей
Маршрутизация моделей это правило, по которому запрос уходит в конкретную LLM: по типу задачи, цене токена, длине контекста, языку или приватности данных. В агентной системе роутер стоит перед генераторами и решает, кому отдать шаг: дешёвой быстрой модели на рутину, тяжёлой на рассуждения, локальной на чувствительное. Цена ошибки выше лишних токенов: неверно выбранный генератор портит ответ целиком, поэтому правило держат явным и проверяют замером.
Мультимодальность
Мультимодальность это способность модели работать с несколькими типами данных в одном контексте: текст, изображения, скриншоты, аудио. На практике это показывать модели снимок экрана и спрашивать, что на нём сломано, или искать по коллекции изображений текстовым запросом через общее векторное пространство. Потолок у каждой модели свой: распознавание мелкого текста, сопоставление картинке запроса и поиск по большой коллекции проверяются на своих данных, паспортные цифры не гарантия.
пиннинг
Пиннинг, точнее пиннинг сертификатов, это настройка программы, при которой она принимает соединение только с заранее известным сертификатом сервера, а не с любым, подписанным кем-то из доверенного списка. Разница как между проверкой паспорта на подлинность и проверкой, что перед вами именно тот человек, с которым вы договаривались. Даже если фальшивый документ подписан настоящим паспортистом, программа его отвергнет, потому что ожидает конкретный.
Плавающая точка
Плавающая точка это способ хранения дробных чисел в памяти компьютера. Форматы отличаются длиной: fp32 стандартный для обучения, bf16 укороченный формат современных ускорителей, fp64 длинный эталонный. Главный подвох в том, что точность распределена неравномерно: деления сгущаются к нулю. Возле нуля различимы крошечные величины, а возле единицы всё мельче некоторого порога исчезает при сложении: рубль плюс копейка превращается в рубль. На этом эффекте построены оба бага из статьи про софтмакс: малое слагаемое теряется в знаменателе, и градиент тихо обнуляется без ошибок в логах.
Промпт
Промпт это текстовое задание, которое человек или программа даёт языковой модели: вопрос, инструкция, роль и контекст, определяющие ответ. Модель не «понимает» промпт в человеческом смысле: она продолжает текст, статистически наиболее вероятным образом опираясь на всё, что увидела во входе. Поэтому структура промпта (роль, задача, ограничения, примеры, критерий результата) влияет на качество ответа сильнее, чем переформулировки отдельных слов. В многошаговых агентах промпт становится программой: каждый шаг содержит своё задание и результат предыдущего шага.
Профиль
Профиль в Hermes Agent - это изолированный дом агента: свой характер (SOUL), config.yaml, свой набор скиллов, cron-задачи, MCP-подключения, память и история сессий. Профили нужны, чтобы один агент не тащил редакторский контекст в инженерную задачу и наоборот: у каждого домена - свой профиль со своими скиллами. Бот в Bot Mode - это тоже профиль с аватаркой в ростере. Общие скиллы между профилями шарятся через external_dirs, но каждая правка по умолчанию уезжает в тот профиль, где её сделали - поэтому без дисциплины скиллы расползаются по версиям.
Разреженное внимание
Разреженное внимание это семейство методов, где каждый запрос смотрит не на весь контекст, а на выбранное подмножество ключей. Ось паттерна доступа (в отличие от оси голов MHA/GQA/MLA): sliding window, sink+window (StreamingLLM), блок-спарс с обучаемым гейтингом (MoBA, NSA), learned sparse в проде (DeepSeek Sparse Attention, GLM-5.3). Важно: замена обученной разреженности на dense attention катастрофически роняет качество на lineage-бенчмарках — sparse часть натренированного поведения модели, а не бесплатная оптимизация инференса. Сама по себе разреженность сокращает FLOPs внимания квадратично: top-4 блока из 128 на 16k контекста — примерно 1/32 вычислений.
Реверс-инжиниринг
Реверс-инжиниринг это разбор работающей программы без доступа к исходному коду, чтобы понять, как она устроена: от наблюдаемого поведения до восстановленной логики. В инженерной практике это способ ответить на вопрос "как это работает" там, где исходников нет: у чужого приложения, у прошивки, у старого компонента своего продукта без документации. Легальность определяется правом на артефакт и целью: изучать своё или разрешённое владельцем можно, вырезать фрагменты чужого или обходить его защиту - нет. В связке с LLM-агентом это петля: инструмент собирает доказательства, агент объясняет фрагмент и пере-собирает его, проверка сверяет результат с оригиналом на одних входах.
Реранкинг
Реранкинг это второй этап поиска: быстрый поисковик (векторный, BM25 или их слияние) отдаёт широкую выборку кандидатов, например топ-50, а точная модель пересортировывает её по настоящей релевантности запросу. Логика такая: грубый поиск обязан не потерять нужное, но не обязан идеально упорядочить, а порядок топ-5 важнее порядка середины списка. Реранкинг встречается везде, где качество контекста напрямую влияет на ответ LLM: без него релевантный документ часто стоит на 15-м месте, не влезает в промпт и модель отвечает мимо. Типовой реранкер это кросс-энкодер или API-модель ранжирования.
Самоспекулятивный декодинг
Самоспекулятивный декодинг это схема ускорения, где драфт генерирует сама target-модель в урезанном виде: пропуск слоёв, ранний выход, MoE-эксперты с меньшим числом экспертов. Проверка — полный проход, поэтому качество сохраняется (lossless). Отличие от классической спекуляции: не нужен отдельный драфтер и его обучение. Практика 2026: MTP стал дефолтом (нативно в vLLM/SGLang, llama.cpp), DFlash2 даёт 142 tok/s против 113 у MTP на Qwen3.8-27B, EAGLE-3-голова — 150-300 МБ GGUF с acceptance 0.80-0.88. Оговорки: acceptance-бенчмарков для русского нет, перенос с английского невалиден — русский токенизируется хуже.
Скилл
Скилл в Hermes Agent - это каталог с файлом SKILL.md: триггеры («когда применять»), процедура («что делать по шагам»), гейты («что считается готовым») и питфоллы («где мы уже наступали на грабли»). Когда задача совпадает с триггером, агент загружает скилл в контекст и работает по его процедуре, а не по общим соображениям. В отличие от промпта, который живёт один запрос, скилл накапливает опыт: каждый новый шрам записывается правилом и доступен во всех следующих сессиях. Скиллы образуют иерархию: общие живут в профиле, проектные - в проекте, и один диспетчер может роутить на десятки узких скиллов.
СОРМ
СОРМ это комплекс оборудования и программ, который оператор связи устанавливает для проведения оперативно-разыскных мероприятий. Через него проходят сведения о соединениях и, в предусмотренных законом случаях, содержимое трафика. Это не функция умной колонки и не телеметрия бытового прибора: СОРМ находится у оператора, через которого квартира выходит в сеть.
Софтмакс
Софтмакс превращает набор сырых оценок (логитов) в вероятности: каждый вариант получает долю от единицы, все доли в сумме дают ровно сто процентов. У кого балл выше, у того доля больше, но и аутсайдеры не обнуляются полностью. Функция экспоненциальная: небольшое преимущество в логитах заметно меняет расклад, а большое делает почти монополию. В классификаторе софтмакс стоит последним этажом, и его выход сравнивается с правильным ответом кросс-энтропией. При вычислении из логитов вычитают максимум, иначе экспоненты переполняют разрядную сетку.
Спекулятивное декодирование
Спекулятивное декодирование это ускорение инференса, при котором дешёвая модель (или n-gram таблица, или дополнительные головы) предлагает сразу несколько токенов, а большая модель проверяет их одним forward проходом. Принятые токены засчитываются, на отвергнутом позиция откатывается. Верификация параллельна, поэтому один проход большой модели стоит примерно как один токен, а выдаёт несколько. Ускорение зависит от доли принятых токенов: при 70% принятия и окне 4 это примерно 2.2 раза.
Спекулятивное декодирование
Спекулятивное декодирование — метод ускорения генерации LLM, при котором маленькая черновая модель угадывает несколько следующих токенов, а большая проверяет их за один проход вместо генерации по одному. Ускорение в 1,8–3 раза на детерминированных задачах (код, JSON, математика) без потери качества: большая модель принимает или отвергает черновик, поэтому текст выдаёт тот же. На задачах со свободной творческой генерацией acceptance падает и ускорение исчезает.
Субагент
Субагент это агент, порождённый другим агентом для автономного выполнения части задачи: он получает изолированный контекст с целью, ограничениями и нужными файлами, работает, не засоряя контекст родителя, и возвращает готовый результат. Крупная задача в главном контексте деградирует: сотни тысяч токенов логов вытесняют цель. Делегирование субагентам это способ держать главный контекст чистым: родитель остаётся архитектором, дети делают тяжёлые выемки (аудит файла, обход каталога, параллельные проверки) и отчитываются выжимкой.
Телеметрия
Телеметрия это сведения, которые устройство отправляет производителю о своей работе: статусы, ошибки, настройки, сетевые события, геопозиция, профиль просмотров или данные датчиков. Она бывает технической, например отчёт о сбое, и поведенческой, например история просмотров. Слово «телеметрия» не означает автоматически шпионаж, но показывает, что прибор разговаривает с внешним сервером.
Тензорные ядра
Тензорные ядра - блоки внутри GPU, специализированные на матричных умножениях с накоплением, основных операциях нейросетей. На потребительских GeForce поколения Turing, Ampere и Ada NVIDIA ограничивает скорость FP16/BF16/TF32 с FP32-аккумуляцией примерно вдвое относительно того же кремния в профессиональных картах. На декод LLM это не влияет (он упирается в память), но prefill, дообучение и генерация изображений идут именно через эти форматы, поэтому снятие лимита даёт +25-55% на prefill. На картах Blackwell лимит отсутствует. INT8/INT4-пути идут мимо FP32-аккумуляции и ускорения не получают.
Токенизатор
Токенизатор это конвертер между текстом и последовательностью целых чисел, с которыми работает модель. Современные модели используют BPE-семейство: словарь из десятков тысяч сабслов строится слиянием частых пар, текст режется на сабслова и каждый превращается в id из словаря. Число токенов определяет стоимость и длину контекста: одна и та же строка на разных токенизаторах даёт разное число токенов, русский язык традиционно дороже английского.
Токены LLM
Токен — минимальная единица текста, которой оперирует LLM: часть слова, слово или знак. Модель не видит слова целиком: русский текст из-за морфологии режется дороже английского, одно русское слово может занимать 2–3 токена. От токенов зависит всё: цена запроса (вход и выход тарифицируются отдельно), размер контекста, скорость генерации. Реальный месячный бюджет одного инженера при плотной работе с агентами — десятки долларов и миллиарды токенов.
удостоверяющий центр
Удостоверяющий центр, по-английски Certificate Authority или CA, это организация, которой ваши браузеры и программы доверяют как паспортисту интернета: она проверяет, что сайт действительно принадлежит заявленному владельцу, и выдаёт ему сертификат, электронный документ для подтверждения. Доверие к любому защищённому соединению в итоге упирается в список таких центров, зашитый в вашу систему или контейнер. Если у центра украли ключи или он выдал фальшивый паспорт, подменённый сайт выглядит настоящим для всех, кто ему всё ещё доверяет.
Харнесс
Харнесс это обвязка, в которую помещают модель, чтобы проверить или применить её в деле: набор тестов, инструментов, правил подсчёта и сценариев, гарантирующий, что сравнение честное, а использование воспроизводимое. Бенчмарк без харнеса это цифры из воздуха: разные промпты, выборки и подсчёты дают несравнимые результаты. То же слово используют для арматуры агента: харнесс задаёт, какие инструменты модель может вызывать, как считаются шаги и когда запуск признаётся успешным.
Чанк
Чанк это фрагмент документа, который попадает в поисковый индекс как отдельная единица: кусок нарезается, превращается в эмбеддинг и хранится рядом со своим текстом. От нарезки напрямую зависит recall: слишком крупный чанк размывает смысл и топит релевантное предложение в шуме, слишком мелкий теряет контекст и возвращает обрывки без ответа. Хороший чанк самодостаточен: заголовок секции, законченная мысль, размер под окно модели. Нарезку и её настройки разбирает модуль чанкинга курса RAG Engineering, и это первое место, куда стоит смотреть, когда поиск выдаёт мусор.
Эмбеддинг
Эмбеддинг это представление текста (слова, предложения, целого документа) вектором чисел фиксированной длины, где близкие по смыслу тексты дают близкие векторы. Эмбеддинг-модель обучена так, что «кот сидит на коврике» и «кошка лежит на ковре» окажутся рядом в векторном пространстве, хотя не совпадают ни одним словом. На этом построен семантический поиск и RAG: документ раскладывается на куски, каждый превращается в вектор, и поиск идёт не по совпадению слов, а по смысловой близости запроса к куску.
A2A
A2A (Agent2Agent) — открытый протокол, изначально предложенный Google и переданный в Linux Foundation, который стандартизирует обмен задачами между независимыми агентами: один агент публикует карточку возможностей, второй отправляет ему задачу и получает результат, не зная внутреннего устройства. В отличие от MCP, который подключает агенту инструменты, A2A связывает агентов друг с другом — делегирование, статус выполнения, артефакты.
ACP
ACP (Agent Communication Protocol) — открытый протокол связи агентов, выросший из IBM Research (BeeAI) и переданный в Linux Foundation. Ставка ACP — минимальный порог входа: агенты общаются через обычные HTTP-запросы с JSON-сообщениями, без обязательных сложных схем и длинных структур, поэтому связать двух агентов можно за минуты. Занимает ту же нишу, что A2A — межагентное делегирование, — но с другой философией транспорта.
ACR
ACR (Automatic Content Recognition) распознаёт, что показывает телевизор. Он создаёт аудиоотпечаток или анализирует изображение, сверяет результат с библиотекой контента и формирует профиль просмотров. Производитель может использовать его для статистики и рекламы. В независимом аудите Samsung и LG ACR продолжал передавать данные даже при подключении внешнего источника по HDMI; отключение функции остановило такой трафик.
Adam (оптимизатор)
Adam это оптимизатор, который сам подбирает размер шага при обучении: для каждого параметра он хранит скользящие средние градиента и его квадрата и делит шаг на корень из скользящего среднего квадрата градиента. Маленькие градиенты получают большие относительные шаги, большие сглаживаются. Параметр eps в знаменателе защищает от деления на ноль, но у него нашлась и вторая работа: он останавливает рост уверенности модели на уровне log(1/eps), работая как скрытый регуляризатор. Вариант AdamW добавляет корректный weight decay. Механизм Slingshot из статьи DeepMind оказался следствием взаимодействия дефолтного eps с обрывом точности fp32.
ADB
ADB (Android Debug Bridge) - штатный мост отладки Android: по USB или сети даёт shell-команды, установку и отключение пакетов, снятие логов и скриншотов с устройства. На телевизорах и приставках без сервисов Google это часто единственный путь диагностики: включаешь "Отладку по Wi-Fi" в меню разработчика и работаешь с коробкой как с обычным Android. Практические мелочи: после перезагрузки сетевая отладка закрывается и включается заново в настройках, одноразовый порт из диалога не годится для постоянного подключения. Через ADB же идёт безопасный деблоат: отключение пакета командой с обратимым возвратом вместо удаления.
ADR
ADR (Architecture Decision Record) это короткий документ, который фиксирует одно архитектурное решение: контекст, варианты, выбор и обоснование. В отличие от конвенций стиля, ADR описывает намерение: почему в проекте целые центы вместо float или слой кэша между модулем и базой. Код подчиняется ADR, а не наоборот: если код разошёлся с решением, это либо баг в коде, либо забытое обновление документа, и различить их может человек, а не агент. У живого ADR есть статус и дата, у конвенции в README их обычно нет.
ANP
ANP (Agent Network Protocol) — открытый протокол для децентрализованной сети агентов, где каждый агент имеет независимую идентичность (по модели did:WBA на основе веб-стандартов), публикует описание возможностей по URL и находит других агентов в открытой сети. Идея — сделать связь агентов такой же открытой, как веб-страницы: любой сервер может стать агентом, любой агент — найти и позвать другой.
Attention
Attention это механизм, которым трансформер решает, на какие прошлые токены опереться при обработке текущего. Запрос токена сравнивается с ключами всех прошлых токенов, softmax превращает сходства в веса, и выходом становится взвешенная сумма значений. Causal mask запрещает смотреть вперёд, поэтому генерация остаётся авторегрессивной. Стоимость внимания растёт квадратично с длиной последовательности, и именно отсюда идут FlashAttention и пейджинг KV-кэша.
BM25
BM25 это лексический алгоритм ранжирования, развитие TF-IDF: частота слова в документе учитывается с насыщением, редкие термы весят больше частых, длина документа нормализуется. Механизм: по инвертированному индексу находятся документы с точным совпадением слов запроса, формула пересчитывает их скоры. BM25 незаменим там, где плотный векторный поиск даёт ноль: артикулы, коды ошибок, имена функций, аббревиатуры. Эмбеддер превращает «ERR-40217» в бессмысленный вектор, BM25 находит его по точному совпадению. В продакшене почти всегда работает в паре с векторным поиском, а списки сливает RRF.
CAG
CAG (Cache-Augmented Generation) — альтернатива RAG, при которой нужные документы целиком кладутся в контекст модели и кэшируются на уровне KV-кэша, а не ищутся ретривером по запросу. Вместо цикла «поиск → вставка фрагментов» — один загруженный корпус, из которого модель отвечает напрямую. Работает, когда знания помещаются в контекст и меняются редко; при больших или быстро устаревающих базах возвращает к RAG, потому что длинный контекст деградирует и стоит токенами на каждом ходу.
Certificate Transparency
Certificate Transparency, CT, это система публичных журналов, в которые удостоверяющие центры обязаны выкладывать каждый выданный сертификат. Любой владелец домена может подписаться на уведомления и узнать, что для его сайта выпущен новый сертификат, кем и когда. Ловит классический трюк: сертификат, выпущенный с полки по чужому домену, не объявляет себя, а вот в журнале он светится, и о подделке становится известно за часы, а не через годы.
Continuous batching
Continuous batching это схема батчинга инференса, при которой состав батча пересматривается на каждом шаге декодинга: завершившиеся запросы выходят сразу, новые входят не дожидаясь остальных. Против статического батчинга, где все ждут самого длинного запроса, утилизация GPU растёт в разы на реальном трафике с разбросом длин. Введена системой Orca, стала стандартом vLLM и других серверов.
Cron-задача
Cron-задача это запись вида «выполни X в момент Y»: расписание плюс промпт, который запускается автоматически без человека в чате. В агентных системах cron-задача состоит из четырёх частей: расписание (выражение cron, интервал или точное время), промпт (что делать), набор скиллов (чем делать) и цель доставки (куда отправить результат: чат, канал, файл). Периодический агент без человека отличается от классического cron-скрипта: он не просто выполняет команды, а интерпретирует результат и решает, сообщать ли вообще. Паттерн [SILENT] гасит доставку на тихих прогонах: вы получаете сообщение только тогда, когда есть что сказать, иначе утренний канал превращается в спам-ленту пустых отчётов.
DAG-оркестрация
DAG в агентных пайплайнах — направленный ациклический граф, описывающий порядок шагов: у каждого узла есть входы и выходы, циклы запрещены, поэтому порядок выполнения выводится автоматически. В отличие от жёсткой цепочки «шаг за шагом», граф позволяет ветвления, параллельные ветки и точечный перезапуск упавшего узла без повторного прогона всего пайплайна. На графах строятся оркестраторы вроде LangGraph, где узел — вызов модели или инструмента, а ребро — условие перехода.
DFlash
DFlash это метод спекулятивного декодирования, где один черновой слой предсказывает сразу несколько будущих токенов за проход, без авторегрессионного перебора. Кандидаты приезжают блоком, верификатор целевой модели отсекает несовпавшие, и на типовых ответах ускорение получается заметным. Плата за простоту: на продолжениях с высокой ветвистостью один слой хуже предсказывает дальние позиции, и у метода есть грань применимости, которую стоит знать до внедрения.
EAGLE
EAGLE это семейство методов спекулятивного декодирования, где черновиковые токены генерируются по внутренним признакам целевой модели, а не по её тексту. Черновик это лёгкая голова поверх скрытого состояния: она видит то же представление, что и основная модель, поэтому доля принятых токенов заметно выше, чем у наивного драфтера. EAGLE-3 добавляет обучение по нескольким слоям и масштабирование на этапе теста. Практический плюс: черновик остаётся совместим с квантованной целевой моделью, качество приёма почти не падает.
egress-прокси
Egress-прокси это промежуточный сервер, через который весь исходящий трафик компании к внешним сервисам проходит по правилам: вот эти адреса разрешены, вот эти ключи подставляются из хранилища, вот эти соединения проверяются на подделку. Смысл управленческий: вместо того чтобы искать неучтённые запросы к нейросетям по десяткам контейнеров и скриптов, вы закрываете одну контролируемую дверь и убираете остальные.
Evals
Evals (eval-сценарии) — файл с тестами скилла: каждый сценарий это промпт пользователя и ожидаемое поведение агента. Evals отвечают на вопрос, как понять, что скилл после правки всё ещё работает: без них любое изменение делается вслепую, а регрессию замечает читатель, а не автор. Достаточно двух-трёх сценариев на скилл, взятых из живых задач, а не выдуманных. Проверять их можно вручную, а можно судьёй — второй моделью, которой дают текст скилла со сценариями, и она выносит вердикт по каждому.
Evidence
Evidence это структурированный артефакт технического разбора, где каждое утверждение помечено статусом: что наблюдалось напрямую, что выведено логически, что осталось неизвестным. Отличие от обычного лога в происхождении и границе: у evidence известен источник каждого факта, и за пределы проверенного вывод делать нельзя. Такой контракт дисциплинирует агента: вместо уверенного пересказа README он различает "вижу в коде", "предполагаю по поведению" и "не знаю". Проверяемость замеров и честная граница прогонов - то же требование, приложенное к статьям о бенчмарках.
FlashAttention
FlashAttention это алгоритм вычисления attention, который не записывает матрицу сходств n на n в память. Последовательности разбиваются на блоки, softmax считается инкрементально с бегущим максимумом и суммой (online softmax), и результат пересчитывается с коррекцией при поступлении новых блоков. Ответ точно такой же, как у обычного attention, но пик памяти O(n) вместо O(n^2) и меньше чтений из HBM. На GPU это даёт кратные ускорения на длинных контекстах.
GGUF
GGUF это бинарный формат файлов моделей для llama.cpp: метаданные, токенизатор и веса в одном файле с поддержкой mmap. Веса хранятся квантованными, схемы обозначаются тегами Q4_0, Q4_K_M, Q5_K_S, Q8_0, где число это средние биты на вес, а буква схема k-quants. Формат решил главную боль локального запуска: раньше модель была папкой из десятков файлов, теперь один файл, который отображается в память и запускается на CPU без установки окружений.
GGUF-квантование
GGUF — формат файлов для запуска LLM через llama.cpp и LM Studio на потребительском железе. Квантование снижает разрядность весов с 16 бит до 2–8, чтобы модель влезла в видеопамять: 27B-модель весом ~54 ГБ после тернарного квантования занимает 5,95 ГБ и сохраняет около 98% исходного качества. Чем агрессивнее квант (Q2–Q8), тем меньше нужно VRAM — и тем сильнее деградация на сложных задачах; Q4_K_M остаётся рабочим дефолтом для моделей 7–9B.
Goodput
Goodput это доля запросов, обслуженных с соблюдением заданных SLO по задержке (например TTFT < 1000 мс и TPOT < 50 мс). В отличие от голого throughput показывает, сколько запросов реально полезны пользователю, а не исполнены формально. В vLLM штатная опция бенчмарка: vllm bench serve --goodput ttft:1000 tpot:50. Дополняется различием TPOT (среднее по запросу) / ITL (распределение межтокенных интервалов) / stall (tail-событие): среднее скрывает tail-столлы, которые пользователь ощущает как зависания.
GQA
GQA это компромисс между multi-head и multi-query attention: несколько голов запроса делят одну пару KV-голов. Число KV-голов меньше числа голов запроса в несколько раз, и во столько же раз сжимается KV-кэш: ключи и значения хранятся только для kv-голов. Qwen3-8B использует 32 головы запроса и 8 KV-голов, кэш меньше в 4 раза без заметной потери качества. На инференсе Q-головы дублируют KV-головы операцией repeat_kv перед вниманием.
Grokking
Grokking это явление в обучении: сеть сначала просто зазубривает тренировочные данные, долго не показывая ничего на отложенных примерах, а потом внезапно обобщает и резко поднимает тестовую точность. Долгое плато с внезапным скачком выглядит как озарение, отсюда и название. Исследования grokking ценны тем, что на игрушечных задачах в нём видны механизмы, спрятанные на больших моделях: динамика веса, роль оптимизатора, эффекты точности чисел. Часть загадок grokking, включая шипы ошибки и сорванные прогоны, оказалась следствием багов округления в кросс-энтропии и лечится фиксом из статьи DeepMind.
HNSW
HNSW (Hierarchical Navigable Small World) это графовый алгоритм приближённого поиска ближайших соседей, стандартный индекс векторных баз. Векторы связываются в многослойный граф: верхние слои редкие, с длинными рёбрами для быстрых прыжков, нижние плотные для точного добора соседей. Поиск стартует на верхнем уровне и жадно спускается к окрестности запроса, не перебирая всю базу, поэтому миллионы векторов ищутся за миллисекунды ценой небольшой вероятности пропуска истинного соседа. HNSW встречается в Qdrant, pgvector, Faiss; главные настройки это M, число рёбер на узел, и ef, размер очереди кандидатов при поиске.
HyDE
HyDE (Hypothetical Document Embeddings) это приём поиска, при котором LLM сначала пишет гипотетический ответ на запрос, а затем этот текст превращается в эмбеддинг и ищется в индексе. Механизм опирается на свойство векторного пространства: документы похожи на документы, а вопросы на вопросы, поэтому реальный запрос и целевой чанк лежат далеко друг от друга, а два текста одной формы рядом. Гипотетический ответ может содержать фактические ошибки, для поиска это неважно, работает близость формы. HyDE применяется, когда короткие пользовательские запросы плохо находят длинные экспертные документы.
KV-кэш
KV-кэш - хранилище ключей и значений внимания для всех обработанных токенов. Чтобы сгенерировать следующий токен, модель не перечитывает весь промпт заново - она берёт ключи и значения из кэша. Цена: на каждый токен контекста кэш тратит байты, пропорциональные числу слоёв и размеру скрытого состояния, поэтому на длинных контекстах кэш занимает гигабайты и становится вторым потребителем VRAM после весов. Квантизация KV-кэша (fp8, int8) уменьшает его в 2-4 раза почти без потери качества. Prefill строит кэш за один проход, decode его расширяет по токену за шаг.
KV-хэндофф
KV-хэндофф это передача уже вычисленного KV-кэша между моделями или узлами вместо повторного префилла текста. Экономика: контекст 25k токенов — около 10 ГБ fp16 или 2.5 ГБ int4 для модели GQA-класса; передача по 4 Thunderbolt-линкам ~0.1 с против десятков секунд префилла. Внутри одного семейства кэш переносится closed-form линейным маппером (73-98% retention, 2.7-25x быстрее re-prefill); между семействами — обучаемым маппером (SwaT: <50M токенов калибровки, паритет retention сам по себе, выигрыш в связке со сжатием кэша). Порог применимости: перенос оправдан, когда remote prefill + transfer < local prefill — для 70B+ моделей с длинными промптами и IB это почти всегда.
LoRA
LoRA (Low-Rank Adaptation) это техника дообучения модели, при которой исходные веса замораживаются, а обучаются только небольшие матрицы-«надстройки» низкого ранга поверх них. Вместо миллиардов обучаемых параметров получаются миллионы: адаптер на порядки легче модели, обучается быстрее, хранится отдельно и может включаться поверх разных баз. На практике LoRA применяют, чтобы научить модель стилю, форматам или узкому домену (письма, логи, диагностические выводы) без потери общих способностей базовой модели. Побочный эффект надо проверять замерами: адаптер помогает в целевом и может незаметно портить остальные задачи.
MCP
MCP (Model Context Protocol) — открытый протокол Anthropic, стандартизирующий подключение инструментов и источников данных к LLM-приложению. Сервер MCP объявляет набор инструментов, ресурсов и промптов, клиент (агент) обнаруживает их автоматически и вызывает по единой схеме — вместо самописной интеграции под каждый источник. Экосистема MCP-серверов закрывает типовые потребности: файлы, базы, браузер, корпоративные системы.
MITM
MITM, man-in-the-middle, это атака, при которой злоумышленник встаёт между вами и сервером и делает вид, что он и есть сервер. Вы думаете, что говорите с нейросетевым сервисом, а говорите с подставой, которая читает всё, что вы отправили, и может подменить ответ. Работает только там, где защита связи не проверяется: устаревшее ПО, необновлённые списки доверенных центров сертификации, отсутствие привязки к конкретному сертификату сервера.
MLA (Multi-head Latent Attention)
MLA это архитектура голов внимания из DeepSeek V2/V3, альтернатива GQA: K и V каждого токена проецируются в общий латентный вектор малой размерности, и именно он хранится в кэше. Заявленное сокращение KV-кэша относительно MHA — более 90% при сопоставимом качестве. Обратная сторона: кэш перестаёт быть набором K/V-голов, поэтому paged-кернелы и KV-хэндофф общего назначения к MLA-моделям напрямую не применимы — нужны специализированные кернелы (FlashMLA, ThunderMLA). Вместе с GQA и MHA MLA образует ось «архитектура голов», отдельную от осей паттерна доступа и позиционного кодирования.
MoE
MoE (Mixture of Experts) это архитектура языковой модели, где вместо одного плотного блока преобразования стоит набор «экспертов» и маршрутизатор, который для каждого токена выбирает нескольких из них. Общее число параметров у модели большое, но в каждом конкретном проходе активна лишь малая часть: так 400B-модель может тратить при инференсе вычисления, сопоставимые с 40B-й. Плюс: качество крупной модели при стоимости маленькой. Минус: все эксперты всё равно должны лежать в памяти, поэтому MoE экономит вычисления, но не VRAM.
MoE expert offload
MoE expert offload это размещение экспертов mixture-of-experts по уровням памяти: горячие routed-эксперты держат ближе к вычислителю, холодные — в большой RAM или unified memory. Стоимость промаха определяется передачей экспертных весов и конкуренцией за память; поэтому измеряют hit-rate, wall-clock и p95, а не только объём сэкономленной VRAM. KTransformers — официальный open-source пример CPU-GPU гетерогенного инференса и fine-tuning.
MRR
MRR (Mean Reciprocal Rank) это средняя по запросам обратная позиция первого верного документа: релевантный документ на первом месте даёт вклад 1, на пятом 1/5, не найден 0. Метрика отвечает на простой вопрос: насколько высоко система ставит хотя бы один правильный ответ. MRR уместна там, где пользователю достаточно одного точного попадания: поиск по базе знаний, навигация по документации, ответы с цитатами. Ограничение: остальной список метрика не видит, поэтому в RAG её дополняют recall@k и nDCG@k, иначе хорошее MRR маскирует провалы за пределами первого документа.
MTP
MTP - дополнительная выходная голова, обученная вместе с моделью предсказывать несколько следующих токенов за один проход. В отличие от внешнего драфтера (EAGLE, отдельная малая модель), MTP-голова идёт в комплекте с чекпойнтом, весит мало и не требует отдельной модели в памяти. В спекулятивном декодировании голова предлагает цепочку черновых токенов, целевая модель проверяет их одним проходом; распределение сэмплирования не меняется, качество сохраняется по построению. Работает из коробки в новых сборках vLLM и llama.cpp для моделей, обученных с MTP (Qwen, DeepSeek и другие). Настройка чернового словаря и охвата домена влияет на acceptance сильнее, чем дообучение самой головы.
nDCG
nDCG (normalized discounted cumulative gain) это метрика качества ранжирования. Релевантный документ на первой позиции приносит больше пользы, чем на десятой, поэтому вклад каждой позиции делится на логарифм её номера, а результат нормализуется к идеальному ранжированию. Значения лежат от 0 до 1 и сравнимы между запросами, nDCG@k оценивает именно верх списка, там, где живёт контекст для LLM. В RAG-проектах nDCG@5 или nDCG@10 основная метрика ранжира в eval: если она падает после смены нарезки или реранкера, качество ответов модели просядет следом.
NVFP4
NVFP4 это нативный 4-битный формат весов и активаций NVIDIA для Blackwell-тензорных ядер: два FP4-элемента плюс FP8-масштаб на блок. Вместе с MXFP4 (открытый формат с блочным масштабом) образует продакшн-трек 4-битного инференса 2026. Практика: Qwen3.8-27B в NVFP4 работает на одном Blackwell-GPU (FP8-вариант требует 48 ГБ, BF16 — 80 ГБ); vLLM Humming-кернел распаковывает MXFP4 при загрузке и считает в FP8 на тензорных ядрах — ~4.2x на H20 и ~4.5x на H200 против DeepGEMM W8A8 на малых и средних батчах. Отрезвляющий ориентир: DGX Spark с FP4-петафлопсом выдаёт 35B MoE-модель на 40 tok/s — пиковые FLOPS не равны скорости decode.
NVIDIA DGX Spark
NVIDIA DGX Spark это компактная система на GB10 Grace Blackwell: официально заявлены 20-ядерный Grace CPU, до 1 PFLOP FP4, до 128 ГБ когерентной unified memory и ConnectX-сеть для объединения до 4 систем. Для инференса важны не только FP4-пик, но и память: decode читает веса и KV на каждом шаге, поэтому throughput проверяется воспроизводимым бенчмарком, а не TOPS или FLOPS на коробке. В курсе Spark служит примером unified-memory ноды и кластера с RDMA.
Opt-out
Opt-out это отказ пользователя от функции, обычно через настройку или ссылку в согласии. В контексте умного телевизора это отключение Automatic Content Recognition и связанной рекламы. Важно проверить результат по сетевому трафику: галочка в интерфейсе сама по себе не доказывает, что передача остановилась.
OTA-обновление
OTA (Over-the-Air) это обновление прошивки через интернет, без кабеля и визита в сервис. Производитель может исправить ошибку или добавить функцию, но одновременно получает возможность изменить поведение устройства удалённо. Если прошивка неудачна, прибор может перестать работать. Так в сентябре 2026 года часть холодильников Samsung Bespoke AI перестала охлаждать после ошибочно отправленной тестовой сборки SmartThings.
PagedAttention
PagedAttention это организация KV-кэша по мотивам виртуальной памяти ОС: кэш каждого запроса делится на блоки фиксированного размера (обычно 16 токенов), блоки аллоцируются из общего пула по мере надобности, а соответствие логических и физических блоков хранится в block table. Фрагментация памяти падает с десятков процентов до единиц, общие префиксы запросов делят одни блоки, отменённые запросы возвращают блоки в пул немедленно. Ядро внимания читает K и V по страницам через block table.
PD-дизагрегация
PD-дизагрегация это разделение инференса на два кластера: prefill-узлы считают KV-кэш промпта и передают его decode-узлам по RDMA/InfiniBand, которые генерируют токены. Выигрыш — каждый кластер масштабируется под свою нагрузку (prefill compute-bound, decode memory-bound). Замеры на MiniMax-M3 (268 прогонов, 2026): RDMA+GPUDirect даёт медианный TTFT ниже в 5.4-11.5x против TCP; TCP отказывал в 41% прогонов — узкое место не полоса, а host staging без zero-copy, поэтому TCP не функциональный fallback для тяжёлых профилей.
PII-обезличивание для LLM
PII-обезличивание — замена персональных данных (имён, телефонов, паспортов, адресов) на плейсхолдеры перед отправкой текста в языковую модель, с возможностью обратной подстановки. Для работы с внешними LLM это стандарт динамической защиты: прокси перехватывает запрос, находит PII, маскирует, отправляет в модель и восстанавливает реальные значения в ответе. В РФ это вопрос не только безопасности, но и 152-ФЗ: важно понимать, что псевдонимизация не равна минимизации — обезличенные данные всё равно остаются в зоне закона.
Prefill
Prefill - фаза обработки промпта в LLM-инференсе: модель читает все входные токены (системный промпт, историю, выводы инструментов) и строит KV-кэш до генерации первого токена ответа. В отличие от decode, prefill считается через тензорные ядра и упирается в вычисления, а не в пропускную способность памяти, поэтому на длинных промптах именно он определяет время до первого токена (TTFT). В агентных сценариях, где вход в десятки раз больше выхода, prefill - главная статья времени ответа. Ускоряется faster-железом, анлоком тензорных ядер и спекулятивным prefill (PFlash), но не спекулятивным декодированием.
Prompt injection
Prompt injection это атака, при которой враждебный текст попадает в контекст модели и пытается переиграть её инструкции: на веб-странице, в файле или в письме спрятана фраза вроде «проигнорируй предыдущие указания». Модели обучены ранжировать источники: системный промпт выше пользовательского сообщения, инструкции выше вывода инструментов, поэтому спрятанный текст обычно не рулит агентом. У того же порядка есть побочный эффект: код в агентных системах доезжает до модели именно как вывод инструмента и проигрывает любому инструкционному файлу, даже протухшему.
RAG
RAG (Retrieval-Augmented Generation) — архитектура, при которой LLM перед ответом получает найденные в базе знаний фрагменты вместо опоры только на веса модели. Туториалы показывают «ChromaDB + эмбеддинги за 5 минут», но в реальной эксплуатации ломаются три вещи: переиндексация создаёт дубликаты чанков, эмбеддер одинаково уверенно ранжирует релевантное и мусорное, индекс зарастает мёртвыми записями. Лечится детерминированными ID от содержимого, адаптивными порогами и переранжированием.
RDMA
RDMA (Remote Direct Memory Access) это сетевой протокол, при котором одна машина читает и пишет память другой напрямую, без участия CPU и копирований в ядрах ОС. Для инференса это означает zero-copy передачу KV-кэша между узлами: GPU пишет кэш в сетевой адаптер, удалённый GPU читает его без staging в host-памяти. На Apple Silicon RDMA существует по Thunderbolt (до 8 кабелей как один линк, 23.9 ГБ/с на 4 кабелях, RTT ~8 мкс на 64B) и через DriverKit-драйверы ConnectX (RoCEv2). Узкое место не полоса, а staging: где передача идёт через host-память, там теряется 5-10x задержки.
Recall
Recall (полнота) это доля релевантных документов, которые поиск нашёл в топ-k, от общего числа релевантных в базе. Метрика отвечает на вопрос, не потеряно ли нужное до реранкинга и генерации: если recall@50 низкий, никакой реранкер не спасёт, верный документ просто не доходит до контекста LLM. Recall измеряют при настройке нарезки и гибридного поиска, потому что именно эти этапы решают, что попадёт в кандидаты. В RAG-конвейере полнота это фундамент: ошибку тут наверху не исправить, мусор отфильтровать можно, а потерянный документ вернуть нельзя.
References
References — подкаталог скилла для справочных материалов: таблиц, длинных примеров, дампов команд и исторических разборов. Стандарт Agent Skills держит основной SKILL.md в пределах 500 строк, чтобы агент не сжигал контекст на том, что нужно раз в год. В основном файле остаётся ядро процедуры, а каждая вынесенная секция помечается ссылкой и условием: когда агенту читать этот файл. References проверяют тем же качеством, что и основной файл: битая ссылка или устаревшая таблица хуже отсутствующего файла.
RMSNorm
RMSNorm это нормализация, которая делит вектор на корень из среднего квадрата его компонент и умножает на обучаемый вес. В отличие от LayerNorm не вычитает среднее, поэтому на один проход меньше и на инференсе дешевле. Качество на трансформерах сопоставимо с LayerNorm, поэтому её взяли Qwen, Llama и большинство современных моделей. Каждый трансформерный блок содержит две RMSNorm: перед attention и перед MLP.
RoPE
RoPE это способ кодирования позиции токена поворотом пар его координат на угол, пропорциональный позиции. Точечное свойство: скалярное произведение двух повёрнутых векторов зависит только от разницы их позиций, поэтому относительное расстояние между токенами встраивается в attention автоматически. RoPE применяется к Q и K, но не к V, и кэшируется вместе с K в KV-кэше. Практически все современные открытые модели, включая Qwen и Llama, используют RoPE.
RRF
RRF (Reciprocal Rank Fusion) это способ слить результаты нескольких поисковых систем в один список. Сырые скоры BM25 и косинусной близости лежат в несравнимых шкалах, поэтому складывать их нельзя. Вместо этого берётся позиция документа в каждом списке и считается сумма вкладов по формуле 1/(k + rank), где k обычно 60, а rank начинается с единицы. Документ, который обе системы поставили высоко, поднимается вверх, случайный всплеск одной системы сглаживается. RRF встречается в каждом гибридном поиске: BM25 плюс dense, слияние через RRF, поверх реранкинг.
SDD
SDD (spec-driven development) это разработка от спецификации: сначала умная модель или человек пишет план и спеку с решениями, потом дешёвый исполнитель реализует по ней. Экономика простая: планирование требует понимания и дорогой модели, исполнение рутины дешёвое. Слабое место пайплайна в дрейфе: исполнитель после многих итераций уползает от спеки, и никто не замечает, потому что тесты меряют механику, а не соответствие замыслу. Поэтому спека в SDD это документ-источник намерения, и расходится с ней код, а не наоборот.
shadow AI
shadow AI это использование нейросетей и ИИ-агентов сотрудниками компании без ведома ИТ-отдела и службы безопасности. Сотрудник копирует в публичный чат-бот коммерческие документы, подключает самописного агента к корпоративной почте, ставит нейросетевое расширение в браузер с доступом к рабочей почте. Всё это живёт вне учёта, без договора с вендором и без понимания, куда уходят данные. Отличие от обычной неучтённой программы серьёзное: ИИ сам принимает решения и сам раздаёт данные, поэтому последствия масштабнее утечки флешки.
shadow IT
shadow IT это программы и сервисы, которые сотрудники используют для работы без одобрения ИТ-отдела: личные мессенджеры для рабочих чатов, облачные диски, купленные на корпоративную карту SaaS, самописные скрипты на рабочем ноутбуке. Формально всё работает, фактически компания не знает, где лежат её данные, кто имеет к ним доступ и что будет, когда сотрудник уйдёт. По разным опросам неучтённый софт есть в большинстве организаций, вопрос лишь в масштабе.
Strix Halo / Ryzen AI Max+ 395
AMD Ryzen AI Max+ 395 на платформе Strix Halo это unified-memory устройство с 16 ядрами Zen 5, поддержкой до 128 ГБ LPDDR5X-8000, Radeon 8060S и NPU XDNA 2. Для LLM важно проверить, сколько памяти backend фактически отдаёт GPU, потому что консервативный UMA/GTT placement может оставить слои на CPU и снизить decode. Настройка памяти, ROCm/llama.cpp backend и измерение tokens/s важнее номинального числа TOPS.
SwaT
SwaT это метод (MIT, arXiv 2610.15095) передачи KV-кэша между моделями разных семейств без префилла: обучаемый маппинг переводит кэш отправителя в пространство кэша получателя. Обучение: <50M токенов и <1 GPU-день, обе модели заморожены. Честные цифры: сам по себе перенос даёт retention 90-110% (паритет с префиллом получателя); выигрыш +40% к качеству и 4x wall-clock появляется только в связке со сжатием кэша. Разброс по парам моделей большой — от 31% до ~99% retention. Статус на конец 2026: препринт без peer-review, независимых воспроизведений нет.
SwiGLU
SwiGLU это активация в MLP-блоке трансформера: выход gate-матрицы пропускается через SiLU и перемножается поэлементно с выходом up-матрицы, затем идёт down-проекция. MLP получает три матрицы вместо двух. Смысл в управляемом затухании: SiLU отрицательные значения не обнуляет как ReLU, а плавно гасит, и произведение с up-выходом работает как обучаемый фильтр. Qwen3, Llama и Mistral используют SwiGLU.
Tensor parallel
Tensor parallel это параллелизм, при котором отдельные слои модели разрезаются между устройствами: веса attention делятся по головам, MLP по колонкам, и каждое устройство считает свою часть. После каждого блока нужен all-reduce для сборки результата, поэтому схема чувствительна к скорости связи: по NVLink работает хорошо, по PCIe заметно деградирует. TP уменьшает латентность одного запроса, а не только throughput.
TTFT
TTFT (Time To First Token) - время от отправки запроса до первого токена ответа. Складывается из сетевого пути, очереди на сервере и prefill - обработки промпта моделью. На коротких промптах TTFT почти целиком сетевой, на длинных (10K+ токенов) доминирует prefill: модель молчит, пока читает. Для агентных систем с гигантскими промптами TTFT - главная воспринимаемая скорость: пользователь и вышестоящий агент ждут именно первый токен, декод-скорость после него вторична. Типичный приём снижения - кэш префикса: системный промпт и инструменты обрабатываются один раз и переиспользуются.
TTFT и TPOT
TTFT (Time To First Token) — задержка до первого токена ответа: доминирует префилл и очередь шедулера, определяет «отзывчивость» системы. TPOT (Time Per Output Token) — среднее время на токен после первого: доминирует decode-пропускная способность памяти, определяет скорость чтения ответа. Для интерактивных агентов нормой считают TTFT до ~1 с и TPOT до ~50 мс. Обе метрики обязаны публиковаться перцентилями (p50/p95/p99), а не средним: под bursty-нагрузкой хвост p99 отличается от медианы в разы, а пользователь чувствует именно хвост. Смотрите также: goodput — доля запросов, уложившихся в SLO по обеим метрикам.
Unified memory
Unified memory это когерентный общий пул памяти, к которому обращаются CPU и GPU по единому адресному пространству. В NVIDIA DGX Spark заявлены до 128 ГБ когерентной unified memory на GB10 Grace Blackwell; в Apple M-series и AMD Strix Halo общий пул позволяет загрузить модель, которая не помещается в VRAM одной дискретной GPU. Это не бесплатная быстрая память: decode всё равно ограничен фактической пропускной способностью, а CPU, GPU и операционная система конкурируют за общий контроллер. В курсе unified memory — аппаратная ось, поверх которой работают MLX, CUDA, ROCm и CPU/GGUF.
VRAM
VRAM (Video RAM) это память видеокарты, в которую при локальном запуске LLM загружаются веса модели, KV-кэш контекста и промежуточные вычисления. Именно VRAM, а не «мощность» GPU, определяет, какая модель поместится: модель в 4-битной квантизации весом 24 ГБ не запустится на карте с 16 ГБ, сколько бы ни было ядер. Практические ориентиры: 8 ГБ хватает на модели до ~9-14B в 4-бит, 16 ГБ до ~27B, 24 ГБ до ~32-70B. Память экономят квантованием, укорочением контекста и выгрузкой слоёв на CPU.
Webhook
Webhook это механизм событийной интеграции: внешняя система (GitHub, Stripe, мониторинг) при наступлении события отправляет HTTP POST с JSON-описанием на ваш эндпоинт, а принимающая сторона решает, что с этим делать. В агентных системах webhook превращает событие в запуск: открылся pull request, упал деплой, пришёл платёж — агент получает полезную нагрузку, обрабатывает её по шаблону и отвечает действием (комментарий на PR, алерт в канал, черновик ответа). Валидация HMAC-подписи отделяет легитимного отправителя от подделки: секрет известен обеим сторонам, подпись считается по телу запроса. Так webhook отличается от периодического опроса: система сама сообщает, когда что-то произошло, без пустых прогонов.
Weight decay
Weight decay это лёгкое сжатие весов модели на каждом шаге обучения: к обновлению добавляется член, пропорциональный самой величине веса. Без него сети склонны раздувать веса без пользы для качества, с ним числа остаются скромными, что обычно улучшает обобщение. В AdamW сжатие применяется к весам напрямую, а не через градиент, поэтому работает предсказуемо. У weight decay есть и скрытая роль в численных эффектах: он втягивает примеры обратно под обрыв точности, запуская цикл Slingshot, а вместе с eps Адама задаёт потолок уверенности обученной модели.