Исследователи Сбербанка представили инструмент для оценки долгосрочных прогнозов ИИ-моделей
Ученые Центра практического искусственного интеллекта Сбербанка представили первую открытую платформу для оценки способностей нейросетей к долгосрочному прогнозированию событий. Бенчмарк HoTPP (Horizon Temporal Point Process) и новая метрика T-mAP (Temporal mean Average Precision) позволят объективно измерять, насколько хорошо искусственный интеллект предсказывает активность человека на заданном горизонте времени. Статью о проведенном исследовании принял к публикации авторитетный научный журнал Neurocomputing (Q1). Об этом CNews сообщили представители Сбербанка.
Покупки, транзакции, визиты к врачу, действия в интернете складываются в уникальные цепочки. Современные ИИ-системы хорошо угадывают только ближайший шаг. Однако реальная ценность для человека и бизнеса, как отмечают исследователи Сбербанка, кроется в способности заглянуть дальше — предугадать, что произойдет через неделю или месяц. Раньше у науки не было единого инструмента, чтобы проверить эту способность у разных моделей.
Бенчмарк HoTPP — «измерительная линейка» для долгосрочных прогнозов. Он работает с данными из разных сфер: финансов, электронной коммерции, медицины. Ученые также создали новую метрику T-mAP, которая оценивает точность предсказания одновременно по двум параметрам — типу будущего события и времени его наступления. Это дает полную картину качества работы модели.
Исследование показало, что сложные нейросетевые архитектуры иногда предсказывают долгосрочные цепочки событий не точнее, чем простые статистические методы. Это указывает на фундаментальные ограничения текущих подходов и необходимость искать новые идеи. Еще один важный итог — значительное ускорение вычислений. Оптимизация алгоритмов для графических процессоров сделала обучение и работу моделей в десятки раз быстрее.
Разработка Сбербанка поможет банкам и финтех-компаниям лучше прогнозировать транзакционную активность клиентов. Ритейлеры и логисты смогут точнее планировать товарные запасы, понимая не только то, что именно купят люди, но и когда они это купят. В здравоохранении технология позволит анализировать последовательности визитов к врачу для ранней диагностики.
Андрей Савченко, научный директор центра практического искусственного интеллекта Сбербанка: «Прогнозирование событий — одна из ключевых задач искусственного интеллекта. Часто нам нужно предсказать не одно следующее действие, а целую траекторию на долгом горизонте. До сих пор у нас не было адекватных инструментов, чтобы сравнивать разные модели в таком сложном сценарии. Наш бенчмарк и метрика заполняют эту пустоту. Они позволяют объективно оценить, какая ИИ-модель действительно хорошо "видит" будущее, а какая — лишь удачно угадывает ближайший шаг. Особенно важно, что мы выявили проблему "схлопывания" предсказаний: сложные модели иногда выдают однотипные прогнозы, игнорируя редкие события. Это открытие задает вектор для новых исследований. Мы надеемся, что наша открытая платформа станет общим стандартом для научного сообщества и поможет быстрее создавать ИИ, который понимает многогранность и неопределенность мира».
