Нейронки теперь обучают друг друга: GPT-6 Astra прокачала знания по математике у Qwen3.5-0.8B

В ходе обучения Qwen3.5-0.8B улучшила показатели в математических тестах в 6 раз, хотя доля изменений в механизме работы составила менее 1 %.

Фото: ChatGPT

Систему «дообучения ИИ» создали исследователи Массачусетского технологического института (MIT). Технология Weight-Space Programming — «программирование в пространстве весов», находит проблемные участки в нейронке и предлагает точечные изменения параметров. Благодаря этому общие показатели работы улучшаются.

Во время эксперимента точность Qwen3.5-0.8B на тесте MATH-500 выросла с 7,9 % до 48,1 %. При этом изменили всего 0,016 % весов нейросети.

Что мешало раньше показывать такие результаты? Повторяющиеся рассуждения. Qwen зацикливалась на одном вопросе, допускала ошибки и в финале решения задачи давала неправильный ответ.

Теперь все модели будут так дообучать? Система Weight-Space Programming звучит как готовый план. Берём более прокаченную модельку и направляем её навыки на более слабую. Быстро, качественно, удобно. Но некоторые эксперты настроены скептически.

Но под постом в X с этой новостью разгорелась целая дискуссия о безопасности метода. Возможность ИИ улучшать другие модели потенциально предполагает то, что модели научатся обучать самих себя. А это уже риск неконтролируемого развития нейросетей и безопасности данных. Вспомним хотя бы то, что уже сейчас ИИ спокойно взламывает базы данных крупнейших компаний. Об этом мы писали здесь.

Поэтому пока наблюдаем, насколько такой метод дообучения закрепится на рынке ИИ.