ИИ умеет отвечать на любые вопросы, но у него по-прежнему нет одного важного навыка — признать, что он чего-то не знает. Особенно это критично в таких сферах, как медицина, юриспруденция или инженерия, где неправильный ответ может стоить слишком дорого.
Ученые из Университета Джонса Хопкинса предложили способ это изменить — научить ИИ отказываться от ответа, если он не уверен в своей правоте.
Новая методика, разработанная исследователями Центра обработки речи и языка при инженерной школе Whiting, позволяет большим языковым моделям тратить больше времени на обдумывание задачи и оценивать свою уверенность перед тем, как выдать ответ. И если уверенность не достигает установленного порога, модель может честно сказать: «Я не знаю».
Команда обучила модели решать сложные математические задачи, создавая цепочки рассуждений разной длины. Затем они сравнили финальные ответы с уровнем уверенности и дали моделям право отказаться от ответа, если уверенность слишком низкая.
Оказалось, что более длительное размышление действительно повышает и точность, и уверенность. Однако, если модели дать слишком много времени без ограничения, она начинает фантазировать.
