Субъективность восприятия цвета и прочее

[sergey zhukov]

А, кстати, компьютер - это же тоже потенциально хаотичная система, если начать смотреть на его устройство в микроскоп. Но мы сделали так, что он способен быть предсказуемым, не проявляет хаотичного поведения. Это мы так сделали специально. Легко могли бы сделать так, что он станет хаотичной, непредсказуемой системой. Тут у человека никаких преимуществ, в общем, нет.

[ozheredov]

epros в сообщении #1605471 писал(а):

Ибо Вам-то какая разница, может ли какой-то наблюдающий за Вами со стороны супермозг предсказать Ваши решения, если Вы всё равно осознаёте их как Ваши и не сомневатетесь в возможности их изменить?

Если этот супермозг может предсказать меня в таких нюансах и на такие горизонты, на которые не могу себя предсказать я сам - тогда ой.

[Dicson]

epros в сообщении #1605471 писал(а):

Разумеется, мы руками не сможем набить такой код. Однако он может образоваться и сам, если, например, речь идёт о мощной искусственной нейросети. В начальном состоянии, созданном нашими руками, она может занимать совсем небольшой объём, но после обучения - дорасти до тех самых эксабайт. И это будет не просто шум, а полезная информация, которая позволит ИИ выполнять всё то, о чём я писал:

Есть более наглядный пример, чем нейронные сети. Клеточный автомат - это пример простой системы, способной демонстрировать хаотическое поведение. Есть чувствительность к начальным условиям, могут возникать сложные структуры клеток, то есть даже некая самоорганизация есть. Как будто всё как в жизни. В то же время ничего "невычислимого" в клеточном автомате появиться в принципе не может, так как правила перехода - это, по сути, описание элементарного уровня материи "мира" клеточного автомата, из которого следует всё, что только в этом мире может быть, и нам эти правила известны, ведь мы сами их и сформулировали.

Исходя из того, что вы написали про нейронные сети, можно предположить, вы считаете, что сложность возникающих структур в клеточном автомате ограничена только доступными автомату вычислительными ресурсами. То есть человек может задать, например, такие правила, что при наличии достаточных вычислительных ресурсов в клеточном автомате в перспективе возникнет своя клеточная жизнь, не уступающая в сложности реальной.

Но в реальном мире элементарный уровень материи никаким языком описать нельзя. Поэтому на самом деле разница между мирами принципиальная. Вычислительные средства качественно проще реального мира, поэтому вычислительными средствами (то есть языком, алгоритмом) реальный мир в принципе выразить невозможно.

Мышление, как и пищеварение, - это реальный мир, поэтому программа пищеварения - это не пищеварение, а ИНС - это не мышление. Причём даже неважно, что такое мышление конкретно, так как всё равно программа им не станет. Но программа вполне может делать что-то другое, и делать это лучше нас - быстрее нас считать, например, быстрее распознавать картинки или в контексте заданного вопроса быстрее нас обобщать тексты.

Однако, что бы программа ни делала, так как она сама не может оценить результаты своей работы, то без нас она сколько-нибудь значительно прогрессировать всё равно не сможет. Потому что всех возможных путей много больше, чем адекватных, и если у системы есть выбор, то есть не всё её поведение задано нами строго (как, например, это и есть в ИНС), то очень быстро её самостоятельное "развитие" (обучение, эволюция) пойдёт куда угодно, но только не в сторону чего-то вменяемого. В то же время мы сами можем оценить что-либо только в рамках своего опыта. Как следствие, сложность ИИ всегда будет оставаться в рамках сложности нашего опыта. Более того, даже сколько-нибудь близко приблизиться к этим рамкам не сможет. Потому что если мы сами себя понимаем не слишком хорошо (иначе бы и создать смогли), то оценить сможем только такую систему, которая по крайней мере далеко за рамки хорошо нам понятного поведения не выходит.

epros в сообщении #1605471 писал(а):

Ибо Вам-то какая разница, может ли какой-то наблюдающий за Вами со стороны супермозг предсказать Ваши решения, если Вы всё равно осознаёте их как Ваши и не сомневатетесь в возможности их изменить?

Дело не в том, что кто-то сможет предсказать моё поведение, в реальности это всё равно невозможно. А в том, что такой точный подбор начальных условий выглядит абсолютно невероятным. Однако его и не было. Ведь идея, что всё задано, означает, что идея детерминизма распространяется на всё. Но у любой идеи, чтобы она имела смысл, должны быть границы применимости, то есть на всё ничего распространять нельзя. Это ещё не аргумент о наличии свободы воли, потому что из ограниченной применимости идеи детерминизма само по себе ещё не следует, что система может принимать решения сама. А без этого, какая свобода. Поэтому осталось найти, откуда следует самостоятельность в принятии решений, и что это означает, применительно к работе мозга.

По поводу возможности предсказаний есть один парадокс.

Чисто гипотетически предположим, что мы полностью узнали устройство мозга. Все законы мышления нам стали известны, никаких тайн в работе мозга не осталось. Знание законов мышления означает возможность предсказывать поведение любого субъекта. Берём субъекта, делаем предсказание, и не сообщаем его субъекту. Предсказание, естественно, верное, поэтому субъект будет делать то, что мы предсказали. Делаем ещё одно предсказание, но теперь сообщаем его субъекту. Предсказание такое же верное, однако субъект, зная о нашем эксперименте, берёт и специально поступает по-другому. Потому что, как кажется, если будущее известно, то его всегда можно изменить и поступить иначе, чем предсказано.

Получается, если субъект не знает о том, что его поведение предсказано, то предсказание будет точным, но если ему предсказание сообщить, то он сможет своё поведение изменить. Однако если верность предсказания зависит от его знания субъектом, то очевидно, что описаны минимум ещё не все законы мышления, так как, оказывается, их недостаточно, чтобы предсказывать поведение во всех ситуациях. Таким образом, идея, что можно найти все законы мышления, ведёт к противоречиям. Но, впрочем, можно попробовать поискать условия, при которых все предсказания будут верными.

sergey zhukov в сообщении #1605484 писал(а):

А, кстати, компьютер - это же тоже потенциально хаотичная система, если начать смотреть на его устройство в микроскоп. Но мы сделали так, что он способен быть предсказуемым, не проявляет хаотичного поведения. Это мы так сделали специально. Легко могли бы сделать так, что он станет хаотичной, непредсказуемой системой. Тут у человека никаких преимуществ, в общем, нет.

Беспорядочное тепловое движение молекул не обязательно хаос, так как у хаоса должна быть чувствительность к начальным условиям. Но нам хаоса самого по себе и не надо, ведь если не вдаваться в подробности, хаос - это всё равно поведение, которое выглядит случайным, а такой компьютер народу не нужен, пятилетку за три года с ним не освоить. Поэтому хаос нужен только как начало самоорганизации. Чтобы такой "компьютер", с одной стороны, мог во взаимодействии со средой сам собой эволюционировать/обучаться, а с другой - его поведение оставалось упорядоченным в некотором нужном нам направлении.

Но это равносильно повторению эволюции. Однако если природа экспериментирует постоянно в каждом животном, но и то ей потребовалось 4 млрд лет, то представьте, сколько потребуется нам. И всё равно сложности себя не достичь. Ведь мы будем выступать в роли отбирающей среды, поэтому сложность создаваемых организмов опять будет ограничена рамками сложности нашего опыта.

[sergey zhukov]

Dicson в сообщении #1605608 писал(а):

Однако, что бы программа ни делала, так как она сама не может оценить результаты своей работы, то без нас она сколько-нибудь значительно прогрессировать всё равно не сможет. Потому что всех возможных путей много больше, чем адекватных, и если у системы есть выбор, то есть не всё её поведение задано нами строго (как, например, это и есть в ИНС), то очень быстро её самостоятельное "развитие" (обучение, эволюция) пойдёт куда угодно, но только не в сторону чего-то вменяемого. В то же время мы сами можем оценить что-либо только в рамках своего опыта. Как следствие, сложность ИИ всегда будет оставаться в рамках сложности нашего опыта. Более того, даже сколько-нибудь близко приблизиться к этим рамкам не сможет. Потому что если мы сами себя понимаем не слишком хорошо (иначе бы и создать смогли), то оценить сможем только такую систему, которая по крайней мере далеко за рамки хорошо нам понятного поведения не выходит.

А разве ИИ не может:
1. Взять уже имеющийся человеческий опыт за стартовую точку, не проходя все заново?
2. Эволюционировать в $N$ раз быстрее человека?
3. Получать опыт самостоятельно?
Все же ИИ "перенимает эстафетную палочку", а не начинает заново. Часто говорят, что это следующая ступень эволюции. По моему, хорошее определение. Нужно еще помнить, что прототип ИИ появился, по сути, секунду назад (по меркам истории существования человека). А в некоторых вещах уже превзошел человека.

Человек-то тоже не особенно может оценивать результаты своей работы. Кто случайно шел в нужном направлении - выжил, кто в другом - не выжил. Где тут "вменяемое" направление? Мы, например, эволюционируем во "вменяемом" направлении?

[epros]

Dicson в сообщении #1605608 писал(а):

Есть более наглядный пример, чем нейронные сети. Клеточный автомат - это пример простой системы, способной демонстрировать хаотическое поведение.

В книжке Пера Бака написано, и я выше об этом упоминал, что игра "жизнь" (клеточный автомат) является примером системы, в которой околокритичное состояние настроено искусственным подбором правил, но самоорганизации там нет. Так что нейросети "лучше" ($\copyright$ Карлсон).

Dicson в сообщении #1605608 писал(а):

В то же время ничего "невычислимого" в клеточном автомате появиться в принципе не может

Увы, в человеческом мозге тоже нет ничего в приниципе невычислимого.

Dicson в сообщении #1605608 писал(а):

вы считаете, что сложность возникающих структур в клеточном автомате ограничена только доступными автомату вычислительными ресурсами. То есть человек может задать, например, такие правила, что при наличии достаточных вычислительных ресурсов в клеточном автомате в перспективе возникнет своя клеточная жизнь, не уступающая в сложности реальной.

Только я считаю это не про клеточный автомат, а про ИИ, который, в отличие от игры "жизнь", подключен к реальному миру.

Dicson в сообщении #1605608 писал(а):

Но в реальном мире элементарный уровень материи никаким языком описать нельзя. Поэтому на самом деле разница между мирами принципиальная. Вычислительные средства качественно проще реального мира, поэтому вычислительными средствами (то есть языком, алгоритмом) реальный мир в принципе выразить невозможно.

Уверяю Вас, что "элементарный уровень материи" для устройства человеческого мозга имеет столь же малое значение, как и для устройства компьютера. Т.е. и то, и другое, конечно, собрано из микрочастиц, для которых действует квантовая неопределённость. Но поведение отдельного синапса или нейрона в целом не менее предсказуемо, чем поведение отдельного транзистора в интегральной микросхеме компьютера. Т.е. неожиданности, конечно, возможны, но ровно в такой же степени возможны и неожиданности в компьютерных системах, если вдруг космическая частица пролетит или ещё что-то.

Dicson в сообщении #1605608 писал(а):

Однако, что бы программа ни делала, так как она сама не может оценить результаты своей работы, то без нас она сколько-нибудь значительно прогрессировать всё равно не сможет.

То, о чём Вы сейчас говорите ("оценивать результаты своей работы"), называется "самосознанием". Интересно, с чего Вы вдруг решили, что у ИИ его в принципе быть не может? Насколько я понимаю, ИИ можно научить "оценивать результаты своей работы" точно так же, как мы учим это делать детей.

Dicson в сообщении #1605608 писал(а):

если у системы есть выбор, то есть не всё её поведение задано нами строго (как, например, это и есть в ИНС), то очень быстро её самостоятельное "развитие" (обучение, эволюция) пойдёт куда угодно, но только не в сторону чего-то вменяемого

Разумеется, не всё поведение ИИ "задано нами строго". Но вовсе не потому, что есть квантовая неопределённость на уровне транзисторов или космическая частица может пролететь, а потому что при обучении ему на вход подаётся огромный объём информации, который мы в деталях отнюдь не контролируем. Вопрос в том, почему Вы решили, что из этого следует, что развитие непременно пойдёт "не в сторону чего-то вменяемого"? Боитесь, что не того сорта кофе станут приносить в постель и с этим ничего нельзя будет поделать? Очевидно, что если мотивация ИИ будет отличаться от того, чтобы угодить Вам, то рано или поздно он Вам угождать перестанет. Вот только будет ли это чем-то "невменяемым"? По-моему, это будет очень даже вменяемым игнорированием желаний бесполезных тунеядцев.

Dicson в сообщении #1605608 писал(а):

Ведь идея, что всё задано, означает, что идея детерминизма распространяется на всё.

Детерминизм - это всего лишь один из принципов построения моделей динамических систем. Т.е. можно строить конечный автомат по принципу, что следующее состояние однозначно определено как функция предыдущего. Но можно построить его таким образом, что следующее состояние определено лишь с некоторой вероятностью. Это называется недетерминированным конечным автоматом. И первое, и второе - всего лишь модели.

Dicson в сообщении #1605608 писал(а):

Это ещё не аргумент о наличии свободы воли, потому что из ограниченной применимости идеи детерминизма само по себе ещё не следует, что система может принимать решения сама. А без этого, какая свобода.

У нас в определении не сказано, что система "должна принимать решения сама" (это непонятно что значит). У нас сказано, что она должна осознавать свои решения как собственные. Вот это и есть свобода воли. Если осознания нет, значит нет свободы воли. Если осознание есть, значит свобода воли есть.

Dicson в сообщении #1605608 писал(а):

Берём субъекта, делаем предсказание, и не сообщаем его субъекту. Предсказание, естественно, верное, поэтому субъект будет делать то, что мы предсказали. Делаем ещё одно предсказание, но теперь сообщаем его субъекту. Предсказание такое же верное, однако субъект, зная о нашем эксперименте, берёт и специально поступает по-другому

Ваш "парадокс" решается очень просто: Заранее зная, что мы собираемся сообщить предсказание подопытному, мы делаем предсказание с учётом этого. Это означает, что подопытный не станет "специально поступать по-другому". Даже если априорно у него было такое желание, получается, что в предсказании будет что-то такое, что удержит его от этого.

-- Чт авг 17, 2023 13:55:03 --

P.S. Предсказание начальника: "Вы сейчас встанете и пойдёте выполнять свою работу, иначе я Вас уволю".

[ozheredov]

epros в сообщении #1605623 писал(а):

P.S. Предсказание начальника: "Вы сейчас встанете и пойдёте выполнять свою работу, иначе я Вас уволю".

Это не совсем предсказание, поскольку им является все-таки зависимость $y(t)$, а не $y(t, x_1, x_2, ...)$. С другой стороны, вторая зависимость более функциональна, если значения $x_1, x_2, ...$ можно получать заблаговременно.

[druggist]

Dicson в сообщении #1605608 писал(а):

Но, впрочем, можно попробовать поискать условия, при которых все предсказания будут верными.

Это вариант, условно говоря, Александра Сергеича, при котором человек, меняющий свое поведение, находится в зоне или, как еще говорят, в бассейне притяжения аттрактора диссипативной системы - того предсказываемого конечного(в смысле асимптотического $t\to\infty$) состояния, к которому эволюционирует система.

[epros]

ozheredov в сообщении #1605647 писал(а):

им является все-таки зависимость $y(t)$, а не $y(t, x_1, x_2, ...)$.

Если $y$ - решение, $t$ - время, а $x_1, x_2, \ldots$ - внешнее воздействие, то Вы не о том. Никакого внешнего воздействия предсказатель на подопытного не оказывает. Можно даже сделать так, чтобы это предсказание было не от начальника, а от совершенно постороннего, не имеющего никакой возможности повлиять на увольнение подопытного, и звучало бы оно так: "Вы сейчас встанете и пойдёте выполнять свою работу, потому что иначе Вас точно уволят". В таком варианте это нельзя трактовать как угрозу, это просто сообщение некоторой дополнительной информации. Возможно, что подопытному не хватало собственного понимания ситуации для того, чтобы прийти к выводу, что он - на грани увольнения, а значит принять соответствующее решение - просто необходимо.

[druggist]

Dicson в сообщении #1605608 писал(а):

Есть более наглядный пример, чем нейронные сети. Клеточный автомат - это пример простой системы, способной демонстрировать хаотическое поведение.

Для справки: модель самоорганизованной критичности, о которой здесь зашла речь, это и есть самый настоящий клеточный автомат, придуманный в 1989г Баком, Тангом и Везенфельдом(БТВ-модель)
Вот как Г. Малинецкий описывает приложимость этой идеи к мозгу:

Цитата:

"...по мысли Пера Бака, наш мозг работает в режиме самоорганизованной критичности. Известна притча о том, как сороконожку спросили, какой ногой она сейчас будет ступать. После этого она осталась на месте, будучи не в силах сделать выбор. Мы находимся в схожем с сороконожкой положении — реальность предлагает нам огромное количество сигналов. И если воспринимать их все, обдумывать и стараться адекватно отреагировать, то ни на что другое времени уже не останется. Поэтому многое должно делаться «на автомате». С другой стороны, среди «информационного шума» временами встречается то, на что надо реагировать быстро, энергично и точно. Пер Бак сравнивает акты восприятия с отдельными песчинками, а то, что осознается и приводит к реакции, — с гигантскими лавинами. При этом, естественно, система стремится быть в точке бифуркации, в которой спектр реакций может быть
очень широким."

[Dicson]

sergey zhukov в сообщении #1605609 писал(а):

А разве ИИ не может:
1. Взять уже имеющийся человеческий опыт за стартовую точку, не проходя все заново?

Наш опыт мало чего говорит о том, как конкретно он сам возникает у нас голове. Точнее, наш опыт говорит о том, что механизм его появления в голове вычислительными средствами воспроизвести можно только очень упрощённо. Поэтому взять наш опыт ИИ может, а вот сколько-нибудь приумножить - уже нет. Более того, опыт, который у нас можно взять, это нечто формализованное, то есть то, что можно сообщить, показать. Но этот опыт далеко не равен всему опыту человека. Поэтому даже и взять много не сможет.

sergey zhukov в сообщении #1605609 писал(а):

2. Эволюционировать в $N$ раз быстрее человека?

Для эволюции система должна быть открытой. Вычислительные системы не такие.

sergey zhukov в сообщении #1605609 писал(а):

3. Получать опыт самостоятельно?

Это пожалуйста. Только если сеть после обучения выдаёт бред, то это тоже опыт.

sergey zhukov в сообщении #1605609 писал(а):

А в некоторых вещах уже превзошел человека.

Все эти "вещи" внутри нашего опыта. Мы выделяем в своём опыте задачу и создаём систему, которая находит решение задачи "самостоятельно", в процессе обучения, то есть как будто превосходя человека именно в интеллекте. Но на самом деле как раз за счёт качественно более высокой сложности человек способен выделить в своём опыте и задачу, и придумать систему, которая, оставаясь много проще человека, в процессе обучения только лишь выявит в задаче некоторые частные закономерности, не замеченные человеком.

sergey zhukov в сообщении #1605609 писал(а):

Человек-то тоже не особенно может оценивать результаты своей работы. Кто случайно шел в нужном направлении - выжил, кто в другом - не выжил. Где тут "вменяемое" направление? Мы, например, эволюционируем во "вменяемом" направлении?

Если у ячейки Бенара вдруг появится какая-нибудь лишняя завитушка, то она тут же сама собой исчезнет, так как снижает эффективность обмена ячейки со средой. Или вся ячейка разрушится, если флуктуация зашла слишком далеко. Организм - это в целом такая же физическая система, как ячейки Бенара. Разница в том, что связь организма со средой менее прямая, более опосредованная. Тем не менее, будь то что-то лишнее в организме, неадекватность в поведении или некое противоречащее реальности конкретное знание - это всё тоже снижает эффективность обмена организма со средой, как и лишняя завитушка у ячеек Бенара. Поэтому всё лишнее быстро исчезает - в ходе эволюции, если речь идёт об организме или общем устройстве мозга, или в ходе жизни животного, если речь идёт о некоем конкретном ошибочном знании.

Например, ритмы мозга - это следствие синхронизации хаотической активности нейронов. Синхронизация - это самоорганизация. Самоорганизация - это гомеостаз. Ошибочное знание, если смотреть снаружи мозга, - это некое неадекватное среде поведение, а изнутри мозга - это "лишняя завитушка" в его активности, мешающая эффективному обмену со средой. В результате неверное знание, которое мешает жить, само собой быстро исчезнет, а такое, которое эффективному обмену помогает, наоборот, будет развиваться. Как следствие, и эволюция, и поведение сами собой направленны - туда, где больше ресурсов или меньше сопротивление среды. Вот это и есть "вменяемое" направление. Единственное вменяемое из всех возможных, и мы по нему идём.

Эффективность обмена со средой - это тот критерий, который позволяет нам отличать адекватное представление о мире от неадекватного. Адекватное позволяет вести обмен со средой более эффективно, так как позволяет предвидеть события и выстраивать стратегию поведения таким образом, чтобы добиваться большего с меньшими усилиями. Другими словами, адекватное представление о мире способствует росту качества жизни.

У вычислительных систем этого критерия нет и быть не может (они не открытые системы, то есть не встроены в среду так глубоко, как мы). Поэтому лишнее им не мешает, неадекватность их не трогает, верное у них знание или нет, им всё равно. Радости жизни им неведомы. Из-за этого они во всём зависят от нас.

epros в сообщении #1605623 писал(а):

Только я считаю это не про клеточный автомат, а про ИИ, который, в отличие от игры "жизнь", подключен к реальному миру.

Мы не сможем построить ИНС сразу из любого количества нейронов, чтобы сразу появился некий очень умный ИИ. Возможных вариантов и архитектуры, и обучения слишком много. А последовательный путь приведёт к постоянному нахождению ИИ глубоко в контексте нашего опыта.

epros в сообщении #1605623 писал(а):

Уверяю Вас, что "элементарный уровень материи" для устройства человеческого мозга имеет столь же малое значение, как и для устройства компьютера.

Тогда вам надо доказать, что поведение в точке бифуркации предсказуемо. Или что в мозге нет бифуркаций.

epros в сообщении #1605623 писал(а):

Разумеется, не всё поведение ИИ "задано нами строго". Но вовсе не потому, что есть квантовая неопределённость на уровне транзисторов или космическая частица может пролететь, а потому что при обучении ему на вход подаётся огромный объём информации, который мы в деталях отнюдь не контролируем.

Я квантовую неопределённость и не имел в виду. Но непонятно, почему вы уверены, что развитие пойдёт именно в "ту" сторону, если "не тех" несравнимо больше?

epros в сообщении #1605623 писал(а):

У нас в определении не сказано, что система "должна принимать решения сама" (это непонятно что значит). У нас сказано, что она должна осознавать свои решения как собственные. Вот это и есть свобода воли. Если осознания нет, значит нет свободы воли. Если осознание есть, значит свобода воли есть.

Я ваш подход понял. Но вопрос в том, может ли быть свобода воли реальностью, а не только иллюзией? Потому что если все наши решения заданы, где же свобода? Свобода воли, свобода выбора - это когда я сам принимаю решения, они ничем не заданы. Как это возможно, что это значит, как совместить с тем, что есть опыт, вне которого решения не будут адекватными, и с тем, что связь со средой есть даже в точке бифуркации? Как свобода выбора может быть в системе, которая, по сути, нигде и ни в чём неотделима от среды? Но как раз именно в таких системах и может. С тем условием, о котором я сразу написал - вопрос свободы воли будет закрыт, но яснее свобода воли не станет. Это следствие парадоксальности самой идеи свободы воли.

epros в сообщении #1605623 писал(а):

Ваш "парадокс" решается очень просто: Заранее зная, что мы собираемся сообщить предсказание подопытному, мы делаем предсказание с учётом этого. Это означает, что подопытный не станет "специально поступать по-другому". Даже если априорно у него было такое желание, получается, что в предсказании будет что-то такое, что удержит его от этого.

Смысл парадокса был в том, что поведение непредсказуемо. Примерьте к себе. Вам измерили активность мозга, или что там в гипотетическом мире измеряют, и говорят: "Согласно нашим расчётам вы сейчас задумчиво постоите 5,73 секунды, потом возьмёте со стола ручку, повертите её в руках и положите на правый край стола". Что вам может помешать не брать ручку, не вертеть её, не класть именно на правый край стола? Да ничего. Поэтому предсказать поведение в принципе невозможно на сколько-нибудь долгий срок, а всё же "позволит" это сделать тоже только что-то противоречивое.

druggist в сообщении #1605651 писал(а):

Это вариант, условно говоря, Александра Сергеича, при котором человек, меняющий свое поведение, находится в зоне или, как еще говорят, в бассейне притяжения аттрактора диссипативной системы - того предсказываемого конечного(в смысле асимптотического $t\to\infty$) состояния, к которому эволюционирует система.

Осталось предсказать этот аттрактор. )

druggist в сообщении #1605681 писал(а):

Пер Бак сравнивает акты восприятия с отдельными песчинками, а то, что осознается и приводит к реакции, — с гигантскими лавинами. При этом, естественно, система стремится быть в точке бифуркации, в которой спектр реакций может быть
очень широким."

Можно и так сказать. Только "песчинки" в таком описании могут путать. Их можно принять за нечто конкретное, а в реальности эту песчинку не найти. Ведь такой песчинкой может быть не только сигнал рецептора, но даже самая ничтожная разница в степени их активности или времени активизации. То есть песчинкой может быть всё.

[sergey zhukov]

Dicson в сообщении #1605691 писал(а):

Из-за этого они во всём зависят от нас.

Так я говорю - это же еще младенец. Конечно, зависит от нас. Но скоро уже перестанет. Здесь нет никаких принципиальных барьеров.

ИИ неизбежно будет самовоспроизводиться в недалеком будущем. Его дарвиновская эволюция тут просто неизбежна, как вообще у любых агентов, которые самокопируются с модификациями, влияющими на скорость их самокопирования, в условиях ограниченности ресурсов.

Помните фильм "Крикуны"? Это где в очередной войне людей одна сторона придумала боевые машины против другой и создала автономные автоматические подземные заводы по их производству. По ходу войны постепенно выясняется, что никто толком уже не знает, что происходит на этих заводах. А там, конечно, происходит дарвиновская эволюция: машины, которые быстро уничтожаются в войне, перестают производится и заменяются другими моделями, которые уничтожаются медленнее. Обе стороны обнаруживают, что машины стали уже третьей стороной в этой войне.

Если мы ведем войну с самовоспроизводящимися машинами, то это полная аналогия с войной с вирусами. Уничтожая самых слабых в первую очередь, мы тем самым даем дополнительные ресурсы для немногочисленных сильных, которые быстро занимают место слабых.

Не нужно программировать ИИ от начала до конца. Нужно, чтобы он научился сам. Помните, как шахматный компьютер учился играть в шахматы? Он получил правила игры, а дальше просто играл сам с собой. Так он может самостоятельно и очень быстро научиться играть в любую формальную игру, даже в такую, в которую люди еще никогда не играли. Он мог бы поучить людей играть в такие игры.

[epros]

druggist в сообщении #1605681 писал(а):

Для справки: модель самоорганизованной критичности, о которой здесь зашла речь, это и есть самый настоящий клеточный автомат, придуманный в 1989г Баком, Тангом и Везенфельдом(БТВ-модель)
Вот как Г. Малинецкий описывает приложимость этой идеи к мозгу:

Вы бы лучше не давали собственных интерпретаций высказываний третьих лиц о книге Пера Бака, а открыли бы саму книгу. Там прямым текстом написано, что клеточный автомат - ещё не система самоорганизованной критичности.

Dicson в сообщении #1605691 писал(а):

Для эволюции система должна быть открытой. Вычислительные системы не такие.

Откуда Вы взяли эту странную чушь про вычислительные системы? Они в основном именно открытые, т.е. со входами и выходами, ибо закрытые никому не нужны.

Dicson в сообщении #1605691 писал(а):

Мы не сможем построить ИНС сразу из любого количества нейронов, чтобы сразу появился некий очень умный ИИ.

Так никто и не делает, ИИ обучают. Вам же уже говорилось об этом, Вы почему-то не хотите слышать.

Dicson в сообщении #1605691 писал(а):

А последовательный путь приведёт к постоянному нахождению ИИ глубоко в контексте нашего опыта.

У ИИ свой собственный опыт.

Dicson в сообщении #1605691 писал(а):

Тогда вам надо доказать, что поведение в точке бифуркации предсказуемо. Или что в мозге нет бифуркаций.

Причём тут это? Я сказал, что непредсказуемости в нейроне не больше, чем в транзисторе микросхемы ИИ. Вы хотите это оспорить? А то, что точное предсказание всех изменений нейросети (хоть человеческой, хоть искусственной) - вычислительно сложная задача, с этим никто не спорил.

Dicson в сообщении #1605691 писал(а):

Но непонятно, почему вы уверены, что развитие пойдёт именно в "ту" сторону, если "не тех" несравнимо больше?

Я не уверен. Вопрос в том, что считать "той" стороной. Я как раз почти уверен, что при таком подходе, когда ИИ воспринимается исключительно как обслуживающая нас система, очень скоро результаты его развития перестанут нам нравиться, потому что мы совершенно потеряем контроль над ним.

Dicson в сообщении #1605691 писал(а):

Я ваш подход понял. Но вопрос в том, может ли быть свобода воли реальностью, а не только иллюзией?

Это не осмысленный вопрос, потому что Вы не определили, что считать "реальностью" в контексте вопроса о свободе воли. Если вопрос в том, реально ли осознание, то почему бы и нет. Или вопрос в том, можем ли мы отличить реальные решения от воображаемых? Тут, тоже, по-моему, ответ достаточно очевиден.

Dicson в сообщении #1605691 писал(а):

Это следствие парадоксальности самой идеи свободы воли.

Просто придерживайтесь нормального, не парадоксального определения понятия.

Dicson в сообщении #1605691 писал(а):

Смысл парадокса был в том, что поведение непредсказуемо.

Это для самого себя оно непредсказуемо. А для наблюдающего со стороны супермозга - ещё как предсказуемо. И я принял Вашу постановку задачи, согласно которой супермозг обязан сообщать нам свои предсказания, чтобы мы не думали, что его предсказания - фикция. Но даже в этой постановке задачи - всё равно предсказуемо, хотя супермозгу придётся здорово потрудиться над конкретной формой подачи предсказаний, чтобы они были правильно восприняты.

Dicson в сообщении #1605691 писал(а):

Примерьте к себе. Вам измерили активность мозга, или что там в гипотетическом мире измеряют, и говорят: "Согласно нашим расчётам вы сейчас задумчиво постоите 5,73 секунды, потом возьмёте со стола ручку, повертите её в руках и положите на правый край стола". Что вам может помешать не брать ручку, не вертеть её, не класть именно на правый край стола?

Куча всего может помешать. В первую очередь - нежелание поступать наперекор предсказаниям. Например, нежелание прыгать из окна, потому что не желаете разбиться. И про верчение ручки можно сказать в такой форме, что Вы захотите поступить именно так, а не наперекор. И это не будет потерей свободы воли, потому что Вы осознаёте, что поступить наперекор Вам никто не запрещает, просто Вы сами этого не хотите.

Кстати, супермозгу и необязательно заранее сообщать Вам своё предсказание. Чтобы Вы могли убедиться, что они - не фикция, достаточно записывать их с хронометражом на бумажках, а потом давать Вам прочесть. Это здорово облегчит ему работу по предсказанию Ваших решений.

И, замечу, что свободный выбор - это не такая банальная штука, как представляется на первый взгляд. Я где-то читал про эксперименты нейрофизиологов, которые нащупали в мозге точку, стимуляция которой приводила к тому, что человек поднимал правую руку. Когда же экспериментатор спрашивал: "А почему Вы подняли руку", - подопытный отвечал: "Да вот, вдруг решил, почему бы мне не поднять правую руку".

-- Пт авг 18, 2023 12:15:22 --

Короче, Dicson, вся Ваша философия происходит из гордыни - из веры в то, что мы (человеки) - существа превыше грубой материальности. Смиритесь, мы - всего лишь причудливая форма кристаллизации звёздной пыли.

[druggist]

epros в сообщении #1605702 писал(а):

Там прямым текстом написано, что клеточный автомат - ещё не система самоорганизованной критичности.

Я давно знаком с моделью БТВ(самоорганизованной критичностью) и книжку прочел сразу после ее выхода , а вам бы лучше приводить аргументы в пользу собственной точки зрения несколько более вменяемые, чем "в книжке так написано".

[epros]

druggist, я не понял, против чего Вы возражаете? Против того, что так написано в книжке Пера Бака, или против того, что это часть авторского определения понятия "самоорганизованной критичности", которое негоже переопределять по-своему?

[druggist]

Я привожу определение модели БТВ как клеточного автомата, данного Г. Малинецким, председателем редколлегии издательства(URSS), выпустившего перевод этой книги на русский язык и написавшим к ней предисловие, а не какого-то "третьего лица":

Цитата:

Для описания такой динамики П. Бак, Ч. Танг и К. Визенфельд (БТВ) предложили модель, представляющую собой клеточный автомат. Ее идея показана на рисунке...