Систему испытывали при помощи теста Рейвена, который входит в список вопросов в известнейшем тесте Айзенка на определение коэффициента интеллекта (IQ). Результаты экспериментов они опубликовали в одном из научных журналов. Он оценивает уровень интеллекта человека, его способности к абстрактному мышлению и умение находить зрительные аналогии. Чтобы пройти тест Рейвена, ученые самостоятельно разделяют фигуру на отдельные небольшие объекты и точно указывают их границы. В рамках теста участнику предлагается несколько блоков занятий с возрастающей трудностью. Каждое задание представляет собой таблицу с фигурами, логически связанными между собой. Испытуемому необходимо вычленить эту связь и дополнить таблицу недостающим элементом.
В основе разработанной исследователями программы лежит созданная ими же в минувшем году система CogSketch и метод структурного отображения Structure mapping engine (SME). Система способна понимать пространственные отношения между объектами на двумерном изображении, но не имеет собственного «зрения». CogSketch может самостоятельно определить взаимное расположение фигур в двумерном пространстве, их топологию и ориентацию. По нормам, принятым в 1993-м году, этот показатель считается «выше среднего». Для сравнения ученые провели тест из 36 задач для группы из 42 студентов университета.
Вычислительные алгоритмы могут решать различные задачи. В процессе прохождения теста участник должен справиться с блоком занятий, сложность которых поэтапно возрастает.
«Модель решает задания не хуже 0,75 взрослых американцев, другими словами лучше, чем в среднем. Задачи, которые тяжки для человека, также тяжки и для модели, и это только подтверждает, что она удачно имитирует некоторые характеристики человеческого мышления», — отмечает один из создателей исследования.