Специалисты Оксфордского университета обнаружили интересную особенность глубоких нейронных сетей (DNN), благодаря которой они отлично справляются с обучением на основе данных. DNN «естественным» образом научились следовать принципу бритвы Оккама.
Речь идет о методологическом принципе, который кратко звучит так: «Не следует множить сущее без необходимости». Фактически DNN самостоятельно начали отдавать предпочтение более простым решениям, повысив способность обобщать данные. Это стремление к простоте прямо пропорционально экспоненциальному увеличению количества возможных решений по мере роста сложности задачи.
Ученые проиллюстрировали применение DNN бритвы Оккама на примере обучения нейросетей булевым функциям, в которых аргумент и результат могут принимать только одно из двух значений: «истина» или «ложь». ИИ технически мог подобрать к полученным данным любую функцию, но выбирал те, которые легче описать и обобщить.
Этот навык позволяет DNN хорошо работать с данными, подчиненными простым закономерностям. В противном случае эффективность действий нейросети сравнивается с простым угадыванием. Однако в реальной жизни данные чаще просты и структурированы.
Исследование позволяет понять, как DNN приходят к определенным выводам. Кроме того, результаты показывают тесную связь между ИИ и фундаментальными законами природы, которая требует дальнейшего изучения, сообщает The SciTechDaily.
