Сотрудники Центра практического искусственного интеллекта Сбера и Национального исследовательского университета «Высшая школа экономики» представили метрику Persistence. Она позволяет автоматически проверять качество ИИ-моделей без привлечения экспертов и специальных размеченных наборов данных.
Подбор архитектуры модели и момента остановки обучения требует длительных ресурсозатратных тестов.
Persistence анализирует качество и способы предоставления данных внутри модели, самостоятельно подбирая идеальные параметры — размер представлений, глубину сети, функцию потерь и точную эпоху остановки тренировок.
Такой подход исключает как переобучение, так и недостаточное обучение.
С реальными задачами новая метрика справляется стабильно лучше зарубежных аналогов.
Persistence сможет оптимизировать персональные рекомендации в видеосервисах и интернет-магазинах, усовершенствовать голосовых ассистентов и ускорить внедрение ИИ в медицину.
