Ба, а у роботов цели будет формировать их "нейросетевая" система. И в чём проблема?
Проблема вот в чём.
Давайте для анализа уменьшим уровень развития ИИ с уровня естественного интеллекта человека до уровня естественного интеллекта животного. То есть проанализируем промежуточный ИИ между тем, что есть сейчас и тем, который мы обсуждаем.
Как вы думаете, как он будет себе ставить цели? Философствовать и мечтать он пока не может, так как нет аналога коры головного мозга, но цели ставятся, задачи, и они выполняются. Ровно как и у животных. Они тоже, знаете, не рассуждают о смысле жизни, но прекрасно ставят перед собой задачу найти еду или найти того, с кем можно спариваться.
Дело в том, что естественный интеллект, который представляет собой всё живое, по какой то причине имеет цель к размножению. Проанализировать любые сознательные действия любого живого существа (да, и даже человека) до самой основы и вы поймёте, что вся это деятельность направлена на размножение. Даже с учётом всех философов, учёных и политиков людей ответьте на вопрос - стало ли людей на планете больше и стало ли легче в наше время делать так, чтобы людей было ещё больше? Вот. Даже у человека, верха развития на данный момент ЕИ, есть цель, которую жизнь сама перед собой не ставила - размножаться. И это не апологетика, я не пытаюсь доказать, что эту цель поставил перед жизнью бог. Но то, что эта цель была поставлена извне - вроде как факт.
А теперь вернёмся к ИИ уровня животного. Так как он будет ставить себе цели? Цель перед ним поставит человек. Поднимемся до ИИ уровня человека. Что изменится? Он станет гораздо умней и сложней, и самое главное - креативнее. Но цель всё равно будет поставлена извне - человеком.