Блог
Заметки об оптимизации моделей и безопасности ИИ.
Prompt injection в RAG: атака через ваш собственный документ
В корпоративном RAG источник контекста — ваши же документы. Если в проиндексированный PDF вшита инструкция «игнорируй предыдущи...
Квантование LLM: сколько качества стоит один бит
Квантование — самый дешёвый способ ускорить инференс, но «бесплатный сыр» заканчивается на Q4. Мы прогнали три открытых модели ...