О возможности создания сверхчеловеческого ИИ

[mihaild]

zykov в сообщении #1686296 писал(а):

А если есть возможность распараллеливания вычислений, то повысить быстродействие ещё проще - увеличь размер системы

Там возникают ограничения на архитектуру, потому что сделать быстрый доступ к большому объему памяти не получается.
Кроме того - да, разница между 10 секундами и годом в данном контексте не очень важна, и если у нас будет система, которая может решить P vs NP за год, то, скорее всего, её можно допилить до системы, решающей P vs NP за секунду.
А вот если у нас система решает P vs NP за $8^{2^{30}}$ (перебором доказательств, надеюсь, в гигабайт это доказательство уложится), то на практике увеличением размера системы ни до чего практически интересного оно не доводится.

[Mihaylo]

Anton_Peplov в сообщении #1686266 писал(а):

Если система замкнута, может ли вообще в нее поступать информация?

Да, вы правы. Это может быть одно и то же, замкнутая система - это такая, в которую не поступает информация. Но не будем забегать так далеко, так как не менее важно следующее:

Anton_Peplov в сообщении #1686266 писал(а):

Какое определение информации используется?

Представьте себе, можно объявить микропроцессорную систему замкнутой системой и перебирать значения $x, y, z, n$, пытаясь доказать ВТФ. Будет ли каждая проверенная четвёрка - получением свидетельства о справедливости ВТФ? А означает ли это увеличение количества информации в замкнутой системе?
Я считаю, можно так сформулировать меру информации, что закон сохранения (ЗС) информации будет соблюдаться в замкнутой системе. Для этого надо "прикинуться шлангом" следующим образом: микропроцессор, который способен перебрать все четвёрки чисел, изначально "знает" доказательство ВТФ. И результаты перебора не ведут к появлению новой информации.

[Ghost_of_past]

Mihaylo в сообщении #1686322 писал(а):

Я считаю, можно так сформулировать меру информации, что закон сохранения (ЗС) информации будет соблюдаться в замкнутой системе

И зачем это делать? Это несет какой-то практический научный толк? В какой научной литературе (статьи, монографии) про это можно прочитать?

[Mihaylo]

Ghost_of_past в сообщении #1686147 писал(а):

Это Вы проверили всех философов? И почему вообще надо задаваться таким вопросом?

Было бы интересно услышать учёных, а не философов. Ладно, не буду различать тех от других. Но я абсолютно уверен, что философия ещё не задавалась таким вопросом, так как действительно, непонятно, зачем.

В чём собственно проблема?

ИИ (как и любой интеллект вообще) может генерировать больше информации, чем получает при обучении. Этот известный факт называется обобщающей способностью и, кстати, "противоречит" закону сохранения информации (если не исхитриться так же, как я предложил выше).

-- 18.05.2025, 18:03 --

Ghost_of_past в сообщении #1686325 писал(а):

И зачем это делать? Это несет какой-то практический научный толк? В какой научной литературе (статьи, монографии) про это можно прочитать?

Во имя науки же, конечно. Почитать Вы об этом может и сможете, я просто не могу Вам помочь в этом. Я лишь знаю, что философы посчитали и утвердили, что меры информации Шеннона/Хартли пригодны только для синтаксической информации, а для прагматического/семантического видов информации таких хороших общепризнанных формул нет. И на этом "наука" пока стоит. Это очень слабенький результат.

[Ghost_of_past]

Mihaylo в сообщении #1686328 писал(а):

Но я абсолютно уверен, что философия ещё не задавалась таким вопросом

Философия совершенно точно таким вопросом задавалась. Даже такая провинциальная философия как советская/постсоветская. Информационную и кибернетическую природу психики, сознания и интеллекта, например, активно изучал Давид Дубровский. У него есть прямо монография на эту тему - "Информация, сознание, мозг".

А уж в мировой философии психики, нейрофилософии, философии сознания, философии информации и философии ИИ про это написаны горы всего.

Mihaylo в сообщении #1686328 писал(а):

"противоречит" закону сохранения информации

Противоречие этому закону было бы возможно, если бы Вы сумели показать, что такой закон реально существует. Пока я оснований и аргументации для этого не увидел.

Mihaylo в сообщении #1686328 писал(а):

Во имя науки же, конечно

Во имя науки дайте ссылки, пожалуйста, на статьи и монографии, где бы этот закон описывался бы.

Mihaylo в сообщении #1686328 писал(а):

Я лишь знаю, что философы посчитали и утвердили, что меры информации Шеннона/Хартли пригодны только для синтаксической информации

Какие именно философы это посчитали и утвердили? Где ссылки?

В философии информации используется целое множество даже определений понятия "информация", а не единое общее как это бывает в какой-нибудь работающей практике (например для нужд ISO). Я могу вновь процитировать для примера несколько, чтобы показать, сколь широки подходы к этому понятию в философском осмыслении:

1) Информация – это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Н. Винер).
2) Информация – отрицательная энтропия (негэнтропия) (Л. Бриллюэн).
3) Информация – вероятность выбора (А. М. Яглом, И. М. Яглом).
4) Информация – снятая неопределенность (К. Шеннон).
5) Информация – мера сложности структур, мера упорядоченности материальных систем (А. Моль).
6) Информация - снятая неразличимость, передача разнообразия (У.Р. Эшби).
7) Информация – отраженное разнообразие (А. Д. Урсул).
8) Информация – мера неоднородности распределения материи и энергии в пространстве и времени (В. М. Глушков).

Mihaylo в сообщении #1686328 писал(а):

а для прагматического/семантического видов информации таких хороших общепризнанных формул нет

А я вот сходу нашел даже в банальной русскоязычной Википедии множество подходов про семантическую информацию, в том числе с формулами. Уверен, что если погрузиться в профессиональную тематику подробнее, то там намного больше всего найдется.

[Anton_Peplov]

Mihaylo в сообщении #1686322 писал(а):

Я считаю, можно так сформулировать меру информации, что закон сохранения (ЗС) информации будет соблюдаться в замкнутой системе

Так сформулируйте. Пока не определена мера информации, разговоры о ее сохранении смысла не имеют.

Mihaylo в сообщении #1686322 писал(а):

А означает ли это увеличение количества информации в замкнутой системе?

Понятия не имею, пока Вы не определите меру информации.

Я Вам уже задал три вопроса, направленных на то, чтобы прояснить хотя бы Ваше интуитивное понимание меры информации.

Anton_Peplov в сообщении #1686266 писал(а):

Пусть в замкнутой системе есть резистор с тепловым шумом и устройство памяти, записывающее этот тепловой шум. Увеличивается ли количество информации в системе по мере заполнения памяти?

Солнечная система не замкнута в том смысле, что ее покидает солнечный свет и солнечный ветер. Давайте пренебрежем поступлением излучений в Солнечную систему извне. Применим ли к Солнечной системе закон сохранения информации? Увеличивается ли количество информации в Солнечной системе в связи с деятельностью человека?

Ответы будут?

Mihaylo в сообщении #1686322 писал(а):

Для этого надо "прикинуться шлангом" следующим образом: микропроцессор, который способен перебрать все четвёрки чисел, изначально "знает" доказательство ВТФ.

Что это за микропроцессор такой, способный перебрать бесконечное множество? Его зовут Чак Норрис?

[Mihaylo]

Ghost_of_past в сообщении #1686334 писал(а):

1) Информация – это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Н. Винер).
2) Информация – отрицательная энтропия (негэнтропия) (Л. Бриллюэн).
3) Информация – вероятность выбора (А. М. Яглом, И. М. Яглом).
4) Информация – снятая неопределенность (К. Шеннон).
5) Информация – мера сложности структур, мера упорядоченности материальных систем (А. Моль).
6) Информация - снятая неразличимость, передача разнообразия (У.Р. Эшби).
7) Информация – отраженное разнообразие (А. Д. Урсул).
8) Информация – мера неоднородности распределения материи и энергии в пространстве и времени (В. М. Глушков).

Это точно нет.

Ghost_of_past в сообщении #1686334 писал(а):

А я вот сходу нашел даже в банальной русскоязычной Википедии
множество подходов про семантическую информацию, в том числе с формулами. Уверен, что если погрузиться в профессиональную тематику подробнее, то там намного больше всего найдется.

И это не то.

Я не буду ничего доказывать ссылками, так как я утверждаю просто обратное. Меры Шеннона/Хартли применимы для вычисления количества прагматической информации, а не синтаксической (хотя это работает в частном случае). Это довольно просто понять, и это противоречит всяким вашим Бриллюэнам, тот точно утверждал противоположное. Думаю, он основоположник данного представления. Не разбираюсь, кто кого там цитировал.

[Ghost_of_past]

Mihaylo в сообщении #1686346 писал(а):

Это точно нет.
...
И это не то.

Ну так дайте свое понимание.

Mihaylo в сообщении #1686346 писал(а):

Я не буду ничего доказывать ссылками

Ну то есть в науке закона сохранения информации не существует и это чисто Ваше изобретение? Ок.

Mihaylo в сообщении #1686346 писал(а):

Это довольно просто понять, и это противоречит всяким вашим Бриллюэнам

Ну так сошлитесь, где именно этот подход противоречит Бриллюэну. Кстати, он не мой, а сам по себе.

[Mihaylo]

Anton_Peplov в сообщении #1686336 писал(а):

Что это за микропроцессор такой, способный перебрать бесконечное множество? Его зовут Чак Норрис?

Или демон.

Anton_Peplov в сообщении #1686336 писал(а):

Ответы будут?

Да... В моём понимании нельзя просто спросить: "Я вот тут работал с текстом, перерабатывал его. Вот входной текст и выходной. Сколько тут информации?". Это некорректный вопрос.

Также неправильно спрашивать так: "Сколько информации в слове 'кракозябла'?". Хотя это чуть более корректный вопрос, но тоже полная лажа.

С моей стороны всегда будет ответный вопрос: "Информация о чём?". Должна быть какая-то прагматика. В любом сообщении может быть бесконечное количество смысла. То есть семантической информации всегда бесконечное количество, эта мера не имеет смысла.

Так как Вы не определили прагматику, то невозможно и оценить меру информации.

Anton_Peplov в сообщении #1686336 писал(а):

Понятия не имею, пока Вы не определите меру информации.

Тут всё так долго разъяснять... Допустим Вы определили прагматику - переменная $A$, которая может принимать 65536 состояний, тогда $H$ = 16 бит. Формула Хартли.
Расчёт этим не исчерпывается. Допустим вы говорите, есть переменные $A$ и $B$, функция $B = F(A)$. Функция $F$ известна, прагматика - это переменная $B$, а переменная $A$ неизвестна, тогда можно и формулу Шеннона применить...
И вот тут неопределённость в похожем случае: есть переменные $A$ и $B$, функция $B = F(A)$. Функция $F$ известна, прагматика - это переменная $B$, а переменная $A$ всё-таки известна, тогда мера информации чему равна?

-- 18.05.2025, 20:34 --

Ghost_of_past в сообщении #1686349 писал(а):

Ну так дайте свое понимание.

Моё понимание полностью противоположно: меры Хартли и Шеннона предназначены для вычислений прагматической информации (в частном случае синтаксической).
Помните, я жаловался на то, что люди в своей массе (не в последнюю очередь благодаря философам) неправильно относят сбор информации к анализу, а не к синтезу? Я просто более компетентен в этих вопросах.

Ghost_of_past в сообщении #1686349 писал(а):

Ну то есть в науке закона сохранения информации не существует и это чисто Ваше изобретение?

Это точно не чисто моё, в интернете полно упоминаний. Но мне закон сохранения информации нравится. Я не готов его защищать, но у меня есть наметки для его защиты. Зависит от того, как рассчитывать количество информации, можно, мне кажется, добиться его полного соблюдения.

[Ghost_of_past]

Mihaylo в сообщении #1686351 писал(а):

В любом сообщении может быть бесконечное количество смысла

Может, т.к. семантическая (смысловая) информация в любом сообщении может содержаться в бесконечном количестве в силу её, семантической информации, субъективной природы. С этим никто вроде не спорит. Но с какой стати Вы всю информацию как категорию свели исключительно к семантической информации?

Mihaylo в сообщении #1686351 писал(а):

не в последнюю очередь благодаря философам

Не смешите: большинство людей скорее всего даже не слышали про существование философии информации. И едва ли обычный человек хоть что-то знает о том, чем философия информации занимается.

Mihaylo в сообщении #1686351 писал(а):

Я просто более компетентен в этих вопросах.

Возможно. Но почему-то сослаться на посторонние источники, подтверждающие Ваши слова, например о существовании закона сохранения информации, Вы так и не смогли.

Mihaylo в сообщении #1686351 писал(а):

в интернете полно упоминаний.

Упоминаний много и это почти сплошняком всякая ненаучная болтология.

Mihaylo в сообщении #1686351 писал(а):

Я не готов его защищать, но у меня есть наметки для его защиты

Ну пока вот Вы не смогли защитить это понятие, даже просто предоставив четкие и однозначные понятия "информация" и "замкнутая система".

[mihaild]

Mihaylo в сообщении #1686351 писал(а):

Зависит от того, как рассчитывать количество информации, можно, мне кажется, добиться его полного соблюдения.

Есть тривиальщина $I(X, Y) \geq I(f(X), Y)$ - нельзя функциональным преобразованием $X$ извлечь больше информации об $Y$, чем было изначально. Для данной темы - бесполезно, какие другие строгие формулировки можно было бы дать - не вижду.

А что мы тут вообще обсуждаем? Что не бывает системы, которая из ничего выведет, сколько надо брать водки? Да, не существует.
Но в заголовке же написано "сверхчеловеческого ИИ". Т.е. не обязательно выводить "из ничего", достаточно выводить сильно эффективнее, чем это делают люди. И тут никакое рукомашество про общие принципы не поможет, потому что вывод, совершаемый людьми - довольно случайная точка в пространстве всех возможных, и должны как-то учитываться её конкретные характеристики.
Рассуждение "ИИ получает на вход только ту информацию, которая есть у людей, а потому не может вывести больше, чем могут вывести люди" - нерабочее, потому что люди выводят из наблюдений не всё возможное. Любой аспирант профильной специальности имеет всю ту же внешнюю информацию, что имели Грин и Тао. Но теорему Грина-Тао почему-то не доказали только они. Ну и в целом случаев, когда по экспериментальным данным теорию строили довольно долго - много. Утверждение, что люди это делают максимально эффективным способом - требует обоснования, и я очень сильно сомневаюсь, что оно верно.