Весной 2025 года на факультете вычислительной математики и кибернетики МГУ имени М.В. Ломоносова состоялась презентация значимого исследования, посвященного пониманию внутренней работы нейросетевых моделей при помощи современного анализа чувствительности. Этот проект не только расширяет наши знания о возможностях глубокого обучения, но и открывает новые перспективы для его применения в медицине и других наукоемких областях.
Почему важна интерпретируемость нейросетей
Мощные искусственные нейросети уже давно доказали свою эффективность при решении сложных задач, но чаще всего воспринимаются специалистами и пользователями как непредсказуемые «черные ящики». Непрозрачность их решений становится особенно критичной, когда речь идет о диагностике и принятии решений в здравоохранении, биологии и других науках, определяющих качество жизни людей. Авторы исследования в МГУ сосредоточились на задачах, в которых важно не только достичь высокой точности, но и четко понимать, какие данные и параметры действительно определяют решения алгоритма.
Глобальный анализ чувствительности: от табличных данных к надежным моделям
Первая часть работы была посвящена анализу небольшой полносвязной нейросети, тренированной на клинических таблицах пациентов с диабетом. С применением глобального анализа чувствительности (метод Соболя) ученые смогли выделить четыре ведущих параметра, определяющих результат классификации. Эти данные совпали с результатами, полученными через метод главных компонент, однако анализ чувствительности позволил более наглядно отразить вклад каждого признака.
Учитывая полученные результаты, авторы успешно обучили еще более компактную модель, используя лишь выбранные четыре параметра. Это позволило снизить сложность вычислений, не ухудшив итоговые метрики точности. Такой подход особенно ценен в медицинской практике, где каждая дополнительная переменная увеличивает стоимость и время диагностики.
Комментарий эксперта МГУ Сергея Матвеева
Доцент кафедры вычислительных технологий и моделирования ВМК МГУ Сергей Матвеев подчеркнул значимость проделанной работы следующим образом: «Анализ чувствительности раскрывает, насколько устойчива модель и какие именно данные оказывают на неё наибольшее влияние. Это позволяет нам создавать по-настоящему надежные и интерпретируемые решения, особенно востребованные в современных биомедицинских приложениях».
VGG-16 и ResNet-18: новые горизонты в анализе изображений
Вторая часть проекта была посвящена анализу чувствительности в сверточных нейросетях, таких как известные VGG-16 и ResNet-18, задействованных при обработке сложных многомерных изображений. Из-за огромного количества входных параметров (например, для изображений CIFAR-10 это 3072 пикселя) провести глобальный анализ оказалось затруднительно. В связи с этим специалисты перешли к локальным методам: использованию тепловых карт и технологии максимизации активации, позволяющим оценить влияние отдельных областей изображения на итоговое решение.
Эти эксперименты наглядно показали, что VGG-16 максимально эффективно выделяет контуры объектов, а технология остаточных связей в ResNet-18 обеспечивает сохранение чувствительности даже на самых глубоких слоях нейросети. Благодаря визуализации результатов стало проще понять, почему тот или иной архитектурный подход оказывается предпочтительнее для определенных задач.
Медицинские применения и борьба с COVID-19
Особое внимание ученые МГУ уделили медицинским приложениям глубоких нейросетей. Раннее модель VGG-16 продемонстрировала отличные результаты при анализе ультразвуковых снимков легких, позволяя различать такие патологии, как COVID-19, бактериальная пневмония и здоровое состояние тканей. В недавнем исследовании были рассмотрены методы максимизации активации и GradCam, с помощью которых удалось не только обнаружить ключевые паттерны нейросетевого решения, но и наглядно показать, каким образом сеть принимает свое заключение по снимку.
Сравнение двух подходов показало, что максимизация активации более четко локализует значимые зоны на изображении, непосредственно влияющие на итоговую классификацию. Это очень важно для понимания, как алгоритм может быть использован врачами в «полевых» клинических условиях.
Будущее: прозрачность и уверенность в диагностике
Исследование МГУ иллюстрирует, как методы анализа чувствительности могут преобразить отношение к нейросетям — из черных ящиков они постепенно становятся инструментами, понятными и надежными для специалистов. Такие решения существенно повышают прозрачность и доверие к системам искусственного интеллекта, особенно в медицине и смежных областях, где важно не только правильно распознать диагноз, но и объяснить, почему он был поставлен.
Таким образом, полученные результаты стимулируют дальнейшие разработки и внедрение новых интерпретируемых моделей ИИ, способствующих развитию персонализированной медицины и инноваций в диагностике.
Источник информации: факультет ВМК МГУ имени М.В. Ломоносова
