Старшеклассник из США Ади Сингх запустил сайт MC-Bench, где пользователи могут сравнивать, как разные модели искусственного интеллекта строят объекты в Minecraft. Это новый и интересный способ оценить возможности генеративных нейросетей.
MC-Bench предлагает ИИ соревноваться в создании построек по заданным запросам, например, «снеговик» или «пляжная хижина». Посетители сайта голосуют за лучшую работу, не зная, какая нейросеть ее создала.
По словам Ади Сингха, Minecraft знакома многим, что позволяет даже тем, кто никогда в нее не играл, оценить качество реализации построек. Он считает, что такой подход помогает легче отслеживать прогресс в развитии искусственного интеллекта.
Проект MC-Bench привлек восемь добровольцев. Компании Anthropic, Google, OpenAI и Alibaba предоставили проекту доступ к своим ИИ-продуктам для проведения тестов.
В будущем создатели планируют усложнять задачи, чтобы проверять способность AI к планированию и достижению целей. Они считают, что игры могут стать безопасной и контролируемой средой для тестирования возможностей искусственного интеллекта.
Использование игр в качестве полигона для ИИ — неновая идея. Ранее для этих целей применялись Pokémon Red, Street Fighter и Pictionary. Стандартные тесты для ИИ часто оказываются неэффективными, так как модели, обученные на определенных данных, показывают хорошие результаты только в узкоспециализированных задачах. MC-Bench предлагает более наглядный и понятный способ оценки ИИ, сообщает The Tech Crunch.
