Учёные ЛЭТИ создали метрику для оценки минимальной точности ИИ-моделей
Учёные Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» совершили важное открытие в области искусственного интеллекта: они создали уникальную метрику для определения минимально допустимой точности нейросетевых моделей. Об этом сообщили в пресс-службе вуза агентству ТАСС. Новая разработка уже размещена в открытом доступе, и любой разработчик программного обеспечения может бесплатно проверить минимальную эффективность своего продукта, используя предложенный научный подход.
Актуальность разработки для различных отраслей
Предложенный метод оценки точности актуален для всех сфер применения искусственного интеллекта — от высокотехнологичной медицины, цифрового маркетинга и оптимизации логистических цепочек до банковского сектора, финансового анализа и промышленного производства. Универсальность метрики делает её ценным инструментом для специалистов, работающих с машинным обучением и нейросетевыми технологиями.
Проблема непредсказуемости нейросетей
Ключевая проблема, которую решили исследователи, заключается в том, что нейросети зачастую демонстрируют непредсказуемое поведение в процессе обучения и эксплуатации. Например, модель для анализа компьютерных томографических снимков после двух циклов обучения на одном и том же массиве данных может в первом случае показать точность девяносто процентов, а во втором — на десятки процентных пунктов ниже.
Как пояснил доцент кафедры математического обеспечения электронно-вычислительных машин Антон Филатов, стандартные подходы классической математической статистики не способны достоверно описать и предсказать минимальную точность нейросетей: результаты многократного обучения одной и той же архитектуры на идентичных данных дают вариабельные, труднопрогнозируемые результаты.
Эмпирический подход к решению
Исследователи ЛЭТИ решили эту сложную научную задачу эмпирическим путём. Они провели масштабный эксперимент: три активно применяемые в практике архитектуры нейросетей были обучены около тридцати раз на одном и том же объёме данных. После этого учёные детально проанализировали полученные результаты, выявили статистические закономерности и зависимости.
В итоге была разработана инновационная метрика, которая позволяет с высокой степенью достоверности определить минимальный порог точности обработки информации для конкретной нейросетевой модели. Этот инструмент даёт разработчикам возможность заранее оценивать риски и избегать ситуаций, когда нейросеть после переобучения выдаёт неприемлемо низкие результаты в реальных условиях эксплуатации.
Практическая значимость
Внедрение новой метрики повысит доверие к технологиям искусственного интеллекта в критически важных областях, где ошибки алгоритмов могут иметь серьёзные последствия: в медицинской диагностике, системах управления транспортом, финансовом мониторинге и промышленной автоматизации. Разработка российских учёных способствует дальнейшему развитию ответственного и надёжного ИИ.
