Почему локальные языковые модели снова становятся интересными
Открытые модели догнали облачные в повседневных задачах, а приватность и предсказуемые расходы стали весомее. Разбираем, что изменилось и где локальный инференс оправдан.
Тема
Материалы о том, как технологии устроены на самом деле.
3 материала по теме RSS тега
Открытые модели догнали облачные в повседневных задачах, а приватность и предсказуемые расходы стали весомее. Разбираем, что изменилось и где локальный инференс оправдан.
Разбор полного цикла агентного запроса по шагам: где теряются секунды, где рождаются галлюцинации и почему промпт — далеко не самое важное в агентной системе.
Кейс о переписывании ретривала: eval-набор из трёхсот вопросов, гибридный поиск, реранкер и честные метрики — что сработало, что нет и сколько это стоило.