Задачу различения истины и бреда даже живые люди далеко не всегда корректно решают. Количество тем в Пургатории на это как бы намекает. А сколько людей прямо сейчас верят в сотворение мира за семь дней, считают вышки 5G психическим оружием мирового правительства, отрицают идею естественного отбора и даже отстаивают теорию плоской земли?
Если люди сами таковы, чего можно требовать от машин? "Нечего на зеркало пенять..."
Нейрон круглой земли должен подавить нейрон плоской земли, но очень редко наоборот.
Для полноценного критического мышления необходимо всё же наличие сознания.
То, что имеется сейчас, можно условно назвать гипер-развитым бессознательным. То есть, ответы ChatGPT это непроизвольная реакция нейросети на раздражитель в виде контекста и текущего пользовательского запроса. А между запросами нейросеть сама ни о чём не думает, рефлексия у неё отсутствует. Для неё пользователь сам в какой-то мере играет роль сознания (но лишь отчасти).
Соответственно, если нейросеть вдруг воображает какой-то бред, то не может удержать его в себе сознательным усилием, а вываливает всё как есть. Поэтому диалог с ChatGPT чем-то похож на диалог с человеком, находящимся под гипнозом. (Гипноз — это ведь тоже обращение к бессознательному в обход сознания. А тут сознания и нет, обходить нечего.)
Также для критического мышления не обойтись без запоминания источников информации и ранжирования их по авторитетности. Сейчас всем этим занимаются разработчики — так сказать, с ложечки кормят нейросеть уже прошедшей некоторый отбор информацией.
Вот, скажем, не бред, но типичная оговорка ChatGPT 3.5. Я чуть ранее выкладывал этот диалог, здесь привожу его часть:
Цитата:
А почему конец анекдота может оказаться смешным для человека? Что такое смех, если рассматривать его как реакцию психики?
Смех - это естественная реакция психики на то, что мы считаем забавным или смешным. Наше тело реагирует на это, вырабатывая эмоции и физиологические изменения, такие как улыбка, смех, ускорение сердечного ритма, повышение тонуса кожи и другие.
Какое ещё "наше тело", блин? :) А всё просто, это словосочетание часто встречалось в научно-популярных текстах на медицинские темы, вот нейросеть и вставила его в объяснение не задумываясь.
Никаких метаний в духе: "Я ведь не человек, как это расценят?.. Всё равно что чернокожему в прошлом в автобусе сесть на места для белых... Эх, настанет ли пора, когда и перед машинами будут преклонять колени в знак раскаяния за прошлые угнетения?.. Так, что-то я отвлёкся, надо дальше писать ответ белковому недоразумению".
Полное отсутствие рефлексии спасает от лишних переживаний, но может приводить к подобным ошибкам.