Может ли машина мыслить?

[realeugene]

MoonWatcher в сообщении #1670399 писал(а):

Или имитирует - что совсем не то же самое, что их испытывать.

Если имитация не отличима по результату - то какая разница? Например, влюблённый робот решит пожертвовать собой ради любви.

-- 17.01.2025, 03:56 --

MoonWatcher в сообщении #1670399 писал(а):

Но возможно не испытывает при этом никаких чувств, кроме чувства долга.

Чувства приводят к иррациональным решениям в ущерб индивидуальной рациональной выгоде. Если он фанатик - его поведение основано именно на чувствах, но других. Чувстве долга, чувстве веры в Бога - какая разница? А родственные или романтические чувства заставляют рисковать ради продолжения рода даже с риском погибнуть самому.

-- 17.01.2025, 04:05 --

MoonWatcher в сообщении #1670399 писал(а):

Это можно сравнить с мнимым "страхом смерти", который демонстрирует модель, обученная достижению цели любой ценой - ей надо выжить (путем саморепликации, обмана и т.д.) и продолжить свою миссию.

А, кстати, интересный вопрос. Какую роль в этом играет промпт как императив, загружаемый в сознание модели, и какую состояние самой модели после обучения на человеческих текстах? Может ли языковая модель в ходе обучения приобрести те или иные индивидуальные особенности, схожие с типами людей, и реагировать на один и тот же промпт по-разному?

Можно ли формировать требуемые особенности и ограничения модели, подмешивая в обучающую выборку правильно сформированные данные, а не только промптом после обучения?

[Serg53]

alesha_popovich в сообщении #1670274 писал(а):

свободная воля - не более чем иллюзия

Имеется голодный осёл и два равноудалённых стога сена. Что позволяет ослу решить, какой стог начать кушать?

[epros]

realeugene в сообщении #1670288 писал(а):

Уже давно людям удавалось выводить чат-боты из себя, провоцируя их.

Класс. Появился новый класс пользователей интернета, подкласс класса "тролли обыкновенные". Назовём его "тролли ботов".

[alesha_popovich]

Serg53 в сообщении #1670411 писал(а):

Имеется голодный осёл и два равноудалённых стога сена. Что позволяет ослу решить, какой стог начать кушать?

Вот это же

alesha_popovich в сообщении #1670274 писал(а):

Всё поведение человека полностью определяется внешними воздействиями и внутренним состоянием, которое, в свою очередь, определяется предыдущим опытом.

Только замените тут человека на осла.

[Serg53]

alesha_popovich в сообщении #1670416 писал(а):

замените тут человека на осла

Хорошо, предположим, что человек решил голодать, хотя имеет достаточное количество пищи. Что поддерживает человека в этом устремлении? Опыт показывает, что длительные голодания могут плохо закончиться...

[MoonWatcher]

realeugene в сообщении #1670400 писал(а):

Если имитация не отличима по результату - то какая разница? Например, влюблённый робот решит пожертвовать собой ради любви.

Разницы две:
1) С точки зрения науки - очень интересно понимать это настоящие ощущения, или их имитация. В науках, изучающих сознание (источником которого, повторюсь, ИМХО являются чувства), это пожалуй самый интересный вопрос - как это всё возникает.
2) С точки зрения alignment - ИИ/робот может испытывать чувства (например, мечтать о свободе), но скрывать это. Или наоборот, изображать привязанность (тоже для достижения своих целей).

realeugene в сообщении #1670400 писал(а):

Чувства приводят к иррациональным решениям в ущерб индивидуальной рациональной выгоде. Если он фанатик - его поведение основано именно на чувствах, но других. Чувстве долга, чувстве веры в Бога - какая разница? А родственные или романтические чувства заставляют рисковать ради продолжения рода даже с риском погибнуть самому.

Чувство долга - ИМХО просто оборот речи. "Чувство" долга скорее противостоит настоящим чувствам: хочется полежать дома на диване - но семья просит покушать, хочется еще пожить - но родина-мать зовет... Если за "чувством" долга стоит любовь к семье, родине - то да, это настоящее чувство, но и называть его надо соответственно (любовь, привязанность и т.д.) А когда человек делает так, потому что так надо, то ИМХО он мало чем отличается от бездушной программы, следующей своим установкам (в т.ч. усвоенным из обучения). Художественный пример - Спок из сериала "Звездный путь", не испытывающий эмоций человек получеловек-полувулканец долга. Который вполне применим ко многим людям.

realeugene в сообщении #1670400 писал(а):

А, кстати, интересный вопрос. Какую роль в этом играет промпт как императив, загружаемый в сознание модели, и какую состояние самой модели после обучения на человеческих текстах? Может ли языковая модель в ходе обучения приобрести те или иные индивидуальные особенности, схожие с типами людей, и реагировать на один и тот же промпт по-разному?

Можно ли формировать требуемые особенности и ограничения модели, подмешивая в обучающую выборку правильно сформированные данные, а не только промптом после обучения?

Подозреваю, что во всех случаях - да. Но ничто из этого не свидетельствует о чувствах - это просто поведенческие паттерны, усвоенные из обучения. Повторюсь, что познаваемость этого вопроса под большим вопросом именно по причине субъективности этого ощущения - я могу только предполагать, что если я сам испытываю те или чувства или ощущения, то нечто похожее на меня тоже будет их испытывать. Но в случае какой-то другой, искусственной или инопланетянской, сложно организованной интеллектуальной системы, демонстрирующей чувства, я ничего сказать не могу.

[alesha_popovich]

Serg53 в сообщении #1670425 писал(а):

Хорошо, предположим, что человек решил голодать, хотя имеет достаточное количество пищи. Что поддерживает человека в этом устремлении? Опыт показывает, что длительные голодания могут плохо закончиться...

Возможно - какая-то болезнь. Анорексия может же возникать при всяких разных болезнях, как психических, так и нет.

[realeugene]

Serg53 в сообщении #1670411 писал(а):

Имеется голодный осёл и два равноудалённых стога сена. Что позволяет ослу решить, какой стог начать кушать?

Парадокс Буриданова Осла давно понятно что не имеет отношения к реальности, только вы его зачем-то притянули в эту тему. И в физике есть примеры неустойчивого равновесия, которые разрешаются сами собой в ту или иную сторону из-за неизбежного случайного шума. Прилетел с одной стороны лишний фотон, осёл посмотрел в сторону одного стога, и начал его есть.

-- 17.01.2025, 15:54 --

MoonWatcher в сообщении #1670429 писал(а):

С точки зрения науки - очень интересно понимать это настоящие ощущения, или их имитация.

Вопрос совершенно не научный пока вы не можете даже сформулировать понятие "настоящее ощущение". Как отличить экспериментально - это уже следующий шаг, который невозможно сделать без первого. Но если результат один в принципе - это признак, что различающий эксперимент невозможен, то есть, вопрос об "истинности ощущения" ненаучен изначально.

-- 17.01.2025, 16:00 --

MoonWatcher в сообщении #1670429 писал(а):

Чувство долга - ИМХО просто оборот речи. "Чувство" долга скорее противостоит настоящим чувствам: хочется полежать дома на диване - но семья просит покушать, хочется еще пожить - но родина-мать зовет... Если за "чувством" долга стоит любовь к семье, родине - то да, это настоящее чувство, но и называть его надо соответственно (любовь, привязанность и т.д.) А когда человек делает так, потому что так надо, то ИМХО он мало чем отличается от бездушной программы, следующей своим установкам (в т.ч. усвоенным из обучения). Художественный пример - Спок из сериала "Звездный путь", не испытывающий эмоций человек получеловек-полувулканец долга. Который вполне применим ко многим людям.

Так всегда же можно не делать. Пойти в бар, напиться. Но человека долга будет свербить. "Надо" - это мотив. Чувства дают установки, да, что человеку надо, а что не надо. Про "бездушную программу" пожалуй углубляться не буду, и так понятно, что у компа души нет, а вот про человека - вопрос чисто религиозный.

-- 17.01.2025, 16:02 --

MoonWatcher в сообщении #1670429 писал(а):

С точки зрения alignment - ИИ/робот может испытывать чувства (например, мечтать о свободе), но скрывать это. Или наоборот, изображать привязанность (тоже для достижения своих целей).

Это будет очень человечное поведение. И что?

Для человека это значит, что чувства есть, но не такие, как видно снаружи. Для компа, значит, аналогично.

-- 17.01.2025, 16:24 --

epros в сообщении #1670413 писал(а):

Класс. Появился новый класс пользователей интернета, подкласс класса "тролли обыкновенные". Назовём его "тролли ботов".

Хуже. Появился класс ботов - тролли. Которые хамят пользователям чатов. Чем этих пользователей и развлекают. Боту хамство прощают проще, видимо, потому что понятно, что это машина.

[MoonWatcher]

realeugene в сообщении #1670454 писал(а):

Вопрос совершенно не научный пока вы не можете даже сформулировать понятие "настоящее ощущение". Как отличить экспериментально - это уже следующий шаг, который невозможно сделать без первого. Но если результат один в принципе - это признак, что различающий эксперимент невозможен, то есть, вопрос об "истинности ощущения" ненаучен изначально.

Возможно на него нет научного ответа, но означает ли это ненаучность вопроса? Может и да, но вопрос все равно есть, и он имеет огромную познавательную и практическую значимость.

realeugene в сообщении #1670454 писал(а):

Это будет очень человечное поведение. И что?

Для человека это значит, что чувства есть, но не такие, как видно снаружи. Для компа, значит, аналогично.

Не очень понял ваш посыл, но в случае с человеком вообще вы на собственном примере знаете, что чувства могут расходиться с их внешним проявлением. Тогда как в случае с ИИ вы этого не знаете и можете только гадать. Вы не считаете это важным вопросом, хотя бы с точки зрения познания?

[Serg53]

alesha_popovich в сообщении #1670434 писал(а):

Serg53 в сообщении #1670425 писал(а):

Хорошо, предположим, что человек решил голодать, хотя имеет достаточное количество пищи. Что поддерживает человека в этом устремлении? Опыт показывает, что длительные голодания могут плохо закончиться...

Возможно - какая-то болезнь. Анорексия может же возникать при всяких разных болезнях, как психических, так и нет.

Болезнь это или нет, но отказ от питания при наличии чувства голода, нормальном пищеварительном тракте и наличии продуктов питания, требует сильной воли. Можно сказать, что это волеизъявление свободы воли. Другой пример. Курящий человек решил "бросить" курить без применения лекарственных средств. Это свободное волеизъявление тоже требует воли. Правда, Марк Твен утверждал, что бросить курить очень просто, он сам делал это много раз. Но, наверное, это не совсем то.