AGI - это про генерализацию. Вот у нас был пример с заковыристым амперсандом. Я бы ни за что его не распознал на том изображении. И перцептрон мой не справился бы тоже, потому что его обучали только цифрам.
Но чисто гипотетически мой перцептрон можно натравить на любые символы, и он все равно споткнулся бы на этом довольно редком написании амперсанда или интереснее - на буквах "b" и "h".
Генерализация в данном случае - это когда знания о словах и предложениях или хотя бы буквосочетаниях позволяет решить неопределенность успешно. Это генерализация. И нет никаких признаков того, что нейросети не способны к генерализации.
Наивно также искать методы усиления эффекта генерализации, так как неясно как решать эту задачу. А в случае нейронной сети все прозрачно: она должна распространять ошибку в обратном направлении. Если некоторые слои нейросети распознали ошибку в слове, то в слой распознавания символов, который по идее располагается ближе к входу, должна распространиться ошибка и веса этого недообученного слоя должны скорректироваться.
Пример был приведен для того, чтобы нейросеть опозорить. А на деле все наоборот оказывается. Просто аргументация распространяется на изначально ограниченные трехслойные перцептроны. А это нечестно.