2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней. На страницу Пред.  1 ... 5, 6, 7, 8, 9, 10, 11 ... 32  След.
 
 Re: Математика и интеллект.
Сообщение24.04.2011, 11:34 


15/11/09
1489
Хотелось бы подробнее остановиться на эвристиках. В своих рассуждениях я опять не буду выходить за рамки элементарных физических представлений и подходов теории эволюции.

Введу несколько новых понятий.

Детерминированная функциональная форма. Это форма, которая проявляется (формируется, воплощается), как следствие какой-то причины. Градусник это очевидно детерминированная форма. Сначала в окружающей среды должно установиться какая-то температура, и только затем эта температура появиться на градуснике.

Свободная функциональная форма, это форма которая проявляется без причины, какие-то конкретное проявления формы определяются случайно, как, например, происходит при формировании наследственного кода.

Множество функциональных форм буду называть видом. Жизнеспособным видом будем называть вид способный достаточно долго сохранять без потерь множество функциональных форм его образующих. Для сохранения функциональных форм совершенно не обязательно, чтобы все функциональные формы были физически реализованы. Допускается, что часть форм может «храниться в памяти». Ранее я уже писал как через абстракцию эта «память» организованна. Все множество функциональных форм разбито на классы. Функциональные формы внутри класса связаны некой абстракцией (закономерность получения формы из класса). На этой основе и организованна «память».

Подмножество форм собранное по одному представителю из каждого класса буду называть организмом. Вид материализуется как множество организмов. Если множество организмов достаточно большое, то может оказаться что все функциональные формы определяющие вид имеют реальное воплощение в данный момент времени (хотя это и необязательно). Множество всех потенциально возможных организмов для данного вида буду называть множеством потенциального многообразия вида. Мощность этого множества (число его элементов) ПОТЕНЦИАЛОМ МНОГООБРАЗИЯ.

Допустим вид определяют сто функциональных форм, которые в свою очередь разбиты на десять классов по десять форм в каждом классе. Если функциональные формы, входящие в класс, это свободные формы, то потенциал многообразия вида равен десять в десятой степени. Это слишком много. Ресурс среды обитания может не вместить такого количества различных организмов данного вида. Это притом, что подавляющее количество таких организмов будут неэффективны (отсеяны отбором). Выход связать разных представителей классов. Т.е. проявление определенного представителя из одного класса обуславливает проявление представителя из другого класса. Т.е. мы уже не можем делать произвольные наборы из разных классов, а только такие, которые отвечают определенным требованиям. Совокупность этих требований (условий) это и есть эвристики. По-сути эвристика это та же функциональная форма, но заданная уже на множестве потенциального многообразия вида, ставящая в соответствие огромному количеству потенциально возможных организмов сравнительно небольшое множество реально проявляющихся.

Эти реально проявляющиеся организмы выбраны неслучайно, они отражают процессы, проходящие в окружающей среде (законы которым подчиняются эти процессы). Но сами эти избранные организмы определенны эвристиками, эвристики задают законы (задают связи) между классами форм. С другой стороны, связи (законы) заданные эвристиками АНАЛОГИЧНЫ связям (законам) изменениям ситуации окружающей среды. Эвристик фактически моделируют (в какой-то части) окружающую среду.

Эвристики это свободные функциональные формы. Задав связи между формами, они просто уменьшают потенциал многообразия, в пользу повышения эффективности выживания.


Я не использую в своих рассуждения понятие «информация», оно мне ненужно, но я могу давать возможные объяснения этому термину. Эвристики чем-то похожи на «информацию», они так же отражают действительность. Эвристики создается на основе свободных функциональных форм. А само существование свободных функциональных форм возможно только при нарушении принципа причинности. Забавный вывод, информации невозможна (не определима) в детерминизме.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение27.04.2011, 12:02 


21/12/10
152
Всё никак не отвечу на все вопросы.
Circiter в сообщении #434891 писал(а):
2robez
Цитата:
Иначе у философов сразу возникает желание разделить и противопоставить сознании материю

Дык, это и так разные вещи. Софт & хард. Почему бы их и не различать...

Если такое различение используется в качестве единственного аргумента в пользу невозможность формализовать сознание? Тут я полностью на стороне Chifu по поводу возможности формализации мышления:
Цитата:
Комбинаторный поиск - это формализация процесса мышления вообще.

Я против наивного определения невозможности провести формализацию.

Circiter в сообщении #434891 писал(а):
2robez
Цитата:
Вы описали эксперимент, когда трехмерный объект отбрасывает тени (проекции) и у наблюдателя стоит задача по проекциям восстановить трехмерный объект. Задача выполнима только в случае правильного соотнесения проекций друг с другом и наблюдатель должен уметь в воображении представить себе объект как минимум.

Не соглашусь с вами. В большинстве случаев решать задачу "реконструктивной томографии" и полностью восстанавливать объект по его проекциям не нужно. Отдельные свойства вполне выводимы из частичной информации об объекте.

Однако здесь есть ряд вопросов. Например. Какого минимального подмножества проекций достаточно для реконструкции? Или такой вопрос. Набор проекций однозначно идентифицирует объект или же разные объекты могут давать один и тот же набор?

Дело не в этом. Даже ответив на ваши вопросы, мы получим вывод о невозможности восстановления всех свойств объекта по ограниченному набору данных. Таких вполне научных задачек полно, например о недоступности внутренних состояний системы по наблюдениям за внешними выходами и входами и т.п.. Назовем эти модели неизвестными объектами или неизвестными свойствами объектов. Проблема с ними в том, что они совершенно не учитывают возможности наблюдателя. Наблюдатель ведь может и камень в исследуемый объект запустить и молотком по нему стукнуть, осветить объект с другой стороны и, вообще, делать сколько угодно измерений, а не ограниченное количество, использовать и выдумывать новые приборы и т.д.. Для таких моделей неизвестного нельзя сказать – они сохраняют неизвестность при любых действиях со стороны наблюдателя.

Совсем другая картина у самого известного частично наблюдаемого физического объекта – квантовых частиц. Принцип неопределенностей утверждает, что ни при каких действиях наблюдателя невозможно узнать все свойства исследуемого объекта. Чувствуете разницу? У нас проблема как раз с этим Ненаблюдаемое – ни при каких действиях наблюдателя свойства объекта не будут измерены. Неформализуемого – ни при каком расширении математики объект (или абстракция) не может быть определена, описана и использована в формальных построениях. И хотя модели неизвестного это единственное что у нас есть, сами они не пригодны для решения указанных задач. У меня получается, что должно быть два участника, один получает полную информацию о действиях и результатах второго и из этого делает вывод о сохранении неизвестности свойств объекта или об успешном их иpмерении. На основании этого можно выделить период в продолжении которого объект оставался неизвестным, тогда все теоретические рассуждения второго в этот период и только они можно рассматривать как рассуждения о ненаблюдаемом объекте. По другому не получается, так как неизвестность не гарантируется только свойствами объекта, действиями наблюдателя и того кто прячет, могут быть внешние факторы, которые нарушат эксперимент. Прилетит метеорит разбомбит всю лабораторию и неизвестный объект сразу станет всем известен.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение29.04.2011, 19:31 
Заслуженный участник


26/07/09
1559
Алматы
2robez
Цитата:
Потому я предпочитаю простые модельки, а не туманные рассуждения непонятно о чем.

Понимаете, самомодифицирующиеся интеллектуальные агенты вовсе не являются "туманной" концепцией. Игрушечные прототипы существуют, да и самостоятельно все эти эксперименты легко повторяются. Конечно, результаты не претендуют на решение проблемы ИИ, ну а что вы ожидали. В тоже время, модели Каминского, как я понял, вообще пока "материального" обличия не имеют (у меня вот так руки и не дошли до экспериментов с зажатыми в узкие рамки клеточными автоматами), хотя могут применяться при анализе программных систем, функционирующих в условиях нехватки ресурсов (памяти).

Цитата:
как определяется непознаваемое для саморазвивающихся автоматов или самомодифицирующих себя программ? Неполнота не может выступать в качестве такого предела.
...
У вас есть более простое определение или модель непознаваемого, чем предлагает Каминский?

Как я уже говорил, идеи Геделя применимы и к самомодифицирующимся автоматам и вообще ко всем непротиворечивым формальным системам. Почему неполнота не может выступать в качестве предела познания я не понимаю. Вообще, проблем с непознаваемым у самомодифицирующихся автоматов может быть несколько:
  • Геделевская неполнота (существование истинных, но недоказуемых, т.е. невыводимых высказываний). Простой пример. Пусть имеется непротиворечивая формальная система $X$ и утверждение "это утверждение недоказуемо средствами системы $X$". Если это утверждение может быть выведено (доказано) средствами $X$, то оно, очевидно, истинно, но недоказуемо в этой системе (просто потому что оно эту недоказуемость и утверждает). И наоборот, если $X$ не может вывести такое утверждение, то оно получается невыводимым, а с учетом своего содержания ещё и истинным. В любом случае получается комбинация истинность + недоказуемость (с точки зрения $X$).
  • Предел Каминского (артефакты ограниченности ресурсов).
  • Неконтролируемое воздействие наблюдающего процесса на наблюдаемый процесс (ограничения на точность моделирования типа неопределенностей Гейзенберга).
  • Синдром машины времени -- система может предказать свое поведение в некотрой ситуации, а затем, когда такая ситуация наступит, система может воспользоваться свободой воли и поступить по-другому.
  • Проблемы дискретизации и приближенного моделирования (к теме о поворотах на решетке).
  • Комбинаторный взрыв.
  • Алгоритмические трудности (функционирование сознания может существенно базироваться на "решении" алгоритмически-неразрешимых проблем, например, проблемы остановки).
  • Другие факторы, вроде невычислимости или хаотичности среды.
  • Противоречивость сознания как формальной системы. Это очень серьезная и "надуманная" проблема. Однако, даже если сознание лишено логической "безупречности", ничто не мешает трактовать математику как эмпирический инструмент, полезность которого определяется "в среднем" при практической эксплуатации в реальных условиях.

Ещё одна забавная возможность (проблема), связанная с самопознанием существует. В такую систему может быть зашит паразитный код, который невидим для системы, но, тем не менее, мигрирует от версии к версии. Этот феномен хорошо знаком интересующимся теорией компиляторов -- чтобы скомпилировать первую версию компилятора, написанного на своем же входном языке, нужен сам работающий компилятор и если эта проблема "курицы и яйца" решена написанием первого бинарника компилятора на другом языке (например на ассемблере или в машинных кодах), то программист может спрятать в этой первой версии паразитный код, который при компиляции первым компилятором своих исходников на своем входном языке добавит себя в новый бинарник, который при компиляции своих исходников сделает тоже самое, и т.д. "до бесконечности". При этом, в исходных текстах компилятора не будет этого паразитного кода, он сохраниться в явном виде лишь в самой первой машинной версии, которую можно выкинуть (дизассемблер, конечно, сразу же выявит пакость). Исторически, даже с gcc случался такой казус. :)

Цитата:
Для области программирования комбинаторный перебор слишком большая роскошь, никто из программистов этим не занимается.

Я занимаюсь (иногда). :) Вот, например, писал шахматную программу, которой я сам легко "продуваю" (правда, я очень плохо играю в шахматы). Или вы имели ввиду, что при написании программ программисты не используют комбинаторный перебор в своих рассуждениях? Ну, в-принципе, да, используются инкрементно-эволюционно-творческие методы. Вообще, грань между перебором и неперебором несколько размыта... :)

Цитата:
Если такое различение используется в качестве единственного аргумента в пользу невозможность формализовать сознание?

Если это вы про разграниченность софта и железа, то я имел ввиду только это и ничего кроме этого. И о невозможности формализовать сознание я тоже не говорил (об этом в этой теме вообще никто толком не говорил). Кстати, вполне возможно, что сознание действительно не является формальной системой; это удобно, ведь тогда на него не будет действовать геделевская неполнота (правда, ряд других проблем всплывет, одна страшнее другой :) ). Когда появляется необходимость поработать на грани геделевских ограничений, сознание просто "расширяется" подключаясь к некоторому дополнительному "источнику сознания"; этот феномен наверняка известен алкашам, которые подыскивают себе собутыльника для осуществления неформальных геделевских рассуждений. :)

2EvgenyGR
Цитата:
Если Вы хотите реализовать J-функцию, как алгоритм на практически бесконечномерном Булевом пространстве Вам потребуется недопустимо много ресурсов. В природе размерность фазового пространства (аналог многомерного Булевого пространства) всего внешнего мира так же практически бесконечна. В реальном мире (когда нужна J-форма) существуют такие физические объекты (которые сами является практически бесконечно мерным, требует для своего описания практически бесконечное число размерностей фазового пространства), которые эту J – функцию и реализуют, реализуют своими состояниями. Реализуют они ее не с помощью логических операций, а с помощью законов природы.

Ваша позиция ясна, но непонятно, как это вы привязываете к более-менее однородной физиологии мозга. Теория нейросеток, например, развивается, рассматривая однородную сеть элементарных "сумматоров" как универсальный компьютер (есть теоремы о том, что любую вычислимую функцию можно собрать из простых заранее заготовленных функций). Что же является "мостом" в вашем случае?

Цитата:
Я не вижу принципиальных запретов существованию функциональной формы реализующей Фурье преобразование (или какое-то приближение к нему), в прочим это и не принципиально, можно и набор дискретных камертонов, а можно и менять частоту камертона (как у струны в гитаре), для физического объекта это не проблема.

Ну да, такой девайс есть, Кортиев орган (ушная улитка) называется. :)

Цитата:
А вот у живых форм все происходит по-другому. Живая форма принимает то или иное состояние до того как возникнет ситуация (появиться причина). В многочисленном поколении живых форм (я говорю пока о простейших живых формах) присутствуют самые разные функциональные формы из коллекции. А вот приведение этих форм в соответствие с ситуацией во внешней среде делается отбором. В этом и есть отличие живых форм от не живых. Живые формы рвут причинно-следственную связь. Следствие – воплощение в натуре той или иной формы из коллекции происходит до того как появляется причина для проявления такой формы. Уже у самых простых живых форм появляется то, что мы понимаем как свободу выбора.

Хм, интересная идея об упреждающей адаптации. А не могли бы вы немного прояснить связь со свободой выбора? Это мне особенно интересно...

-- Пт апр 29, 2011 22:33:20 --

2EvgenyGR
Насчет ваших новых определений. Прямо словарик напрашивается для проведения аналогий между моей и вашей "системами координат": функциональная форма = программа; свободная функциональная форма = программа, написанная программой моделирования мира; эвристика = метапрограмма или шаблон программы. Как-то так. :)

Цитата:
Эвристики создается на основе свободных функциональных форм. А само существование свободных функциональных форм возможно только при нарушении принципа причинности.

Ага, кажется мысль почти понятна. Вот только, кажется, "нарушение принципа причинности" -- слишком уж радикальный термин. :) Вообще, сам я лично не могу алгоритмическое мышление и причинно-следственный детерминизм разделять -- алгоритмы эксплуатируют это свойство реальности, а иначе бесполезны.

Цитата:
информации невозможна (не определима) в детерминизме.

Философски, информация это вообще что-то вроде категории (поправьте, если что не так; я в гуманитарных тонкостях ни бум-бум). Но в научном смысле информации даются четкие определения; да, определение шенноновской информации может быть и не очень соотвествуют интуитивному представлению об информации... Во всяком случае, последняя ваша реплика совершенно непонятна.

2докер
Цитата:
вы лично на себе работу интуиции испытывали

Ещё как! Даже на этом форуме висят парочка тем с гипотезами (может быть для кого-то и сомнительными), в справедливости которых я более чем убежден, но доказать их пока не удается (у меня плохая математическая подготовка). И ощущение такой интуитивной уверенности совпадает с аналогичным ощущением в ситуациях, когда строго подтвердить убежденность все-таки удалось.

-- Пт апр 29, 2011 22:35:12 --

Я вот опять чуть-чуть о сознании хочу поговорить (ну не могу я его отдельно от интеллекта воспринимать, не получается :) ). Правда, опять в контектсе столь сильно захватившей меня идеи о самомодифицирующихся автоматах. Думаю, что в процессе раскрутки версий, даже если что-нибудь ценное и получится, то это будет скорее-всего что-то вроде интеллектуального агента, решающего определенную задачу, а потом требующего переучивания. Как спроектировать целевую функцию, чтобы seed ai научился размеренно размышлять во время "бездельничества" -- непонятно. Поэтому, возникает естественная идея вшить такой механизм неопределенного обдумывания заранее в самую первую версию системы.

Интроспективно, мне кажется, что чем-то похожим на сознание будет процесс ведения некоторого списка запланированных дел -- ИИ должен пополнять такой список (чем? откуда брать задачи? может быть, просто коллекционировать самое "вкусненькое", что когда-либо попадалось ИИ в процессе его размышлений?), периодически сканировать этот список, выполняя некоторые "понравившиеся" дела-цели, а также должен вовремя "вычеркивать" неактуальные задачи (последнее может происходить автоматически при сборке мусора).

Есть у кого-нибудь идеи на эту тему? Может ли такой механизм возникнуть сам по себе при bootstrapping'е? Какая целевая функция (мотивация) этому могла бы соответствовать? Или достаточно обратных связей через внешнюю среду? Как поддерживать непустоту списка? Как может выглядеть этот механизм в явном виде, т.е. какие есть альтернативы к озвученной модели с ведением ToDo-списка (что-нибудь на тему долгосрочного планирования)?

На некоторые из этих вопросов можно попробовать сразу-же дать наивные ответы. Например, автоматического появления периодического мониторинга целей (т.е. ведения списка) можно добиться добавлением к "мотивирующей среде" ещё одного ограничения, искусственность введения которого сглаживалась бы какой-нибудь закрепленной за ним важной функцией. Скажем, можно просто дать ИИ какое-нибудь устройство ("тело"), через которое и только через которое он сможет взаимодействовать с внешней средой и как-нибудь обязать ИИ-программу технически обслуживать это устройство; т.е. можно попробовать ввести мотивирующие факторы вроде усталости, требующей специально организованного периодического отдыха, ну или ещё чего-нибудь в том же духе.

Проблема в том, что как когда-то заметил один из участников форума, просто сам по себе какой-либо "мотивирующий" фактор вроде голода, напрямую никак не связан с необходимостью искать еду. Точнее говоря, связан, но через "инстинкты", а чтобы эти инстинкты у ИИ появились их нужно или запрограммировать, или как-то вывести на ходу... Вариант с "вывести на ходу" более приемлем, но непонятно как должна выглядеть минимальная способная на это первая версия ИИ. В-принципе, если ИИ-субстрат кроме сенсоров/акторов снабдить ещё и аккумулятором ("электрическим"), то при достаточно мощном движке логических выводов, думаю, ИИ быстро сообразит, что надо что-то делать, раз уж (a) заряд аккумулятора уменьшается, (б) заряд аккумулятора нужен для функционирования субстрата, (в) субстрат нужен для функционирования ИИ. Но чтобы эта цепочка не привела к тривиальному решению "ничего не делать", нужно ещё и что-то вроде инстинкта самосохранения ввести. Ну вот опять что-то приходится добавлять искусственно; можно ли обойтись без этого?

Ну действительно, можно ведь понадеяться на моделирующие и предсказывающие возможности ИИ, с помощью которых он, рассмотрев различные сценарии развития событий, решит не сдохнуть от разрядки аккумуляторов, а все-таки поисследовать окружающую среду. Но и здесь появляется вопрос: а почему ИИ должен предпочесть более "интересный" вариант? Это же опять подразумевает какую-то врожденную тягу ИИ к, в данном случае, знаниям, исследованиям и т.д. Мутно как-то... :) Нужно что-то простое и беспроигрышное, вроде принципа наименьшего действия в физике.

К тому же, здесь ещё стоит учесть и ограничения на время обдумывания. Ведь этот процесс может быть достаточно сложным и продолжительным, что приводит к риску деактуализации принимаемых решений (представтьте, что ИИ все-таки принял оптимальное решение, но пока он думал, обстановка уже успела измениться и решение потеряло оптимальность). Должна быть применена какя-то иерархическая схема обдумывания -- сначала применяются простейшие проходы анализа, потом всё более и более сложные.

Одним из "дежурных" решений может быть создание двукаскадного осциллятора, один каскад которого создает программы-"предикторы" суть модели явлений реального мира, а второй -- тестирует эти программы и пишет на их основе программы-"акторы", которые запускаются на выполнение и результаты работы которых подаются опять в первый каскад, который снова пишет предикторы и т.д. Иногда такая система с обратной связью колеблется с большей амплитудой, иногда с меньшей. Состояние малоамплитудных колебаний, т.е. состояние близкое к равновесию соответствует принятию оптимального решения и является "желательным". Впрочем, состояние равновесия, будучи аттрактором, достигается по вполне естесвенным причинам, например, в порядке достаточно физичной минимизации энергии описанного осциллятора.

Вместе с тем, замечу, что некоторые другие артефакты сознания, вроде свободы воли или рефлексии, могут --- заявляю почти уверенно --- возникать (хотя-бы в "урезанном" виде) сами по себе прямо в изначальной концепции самомодифицирующегося ИИ. Например, внося изменения в свой код, такой автомат может изменять схему поведения в определенных ситуациях, что похоже на совершение сознательного выбора (т.е. если автомат знает, что в определенной ситуации он поступит определенным образом, то он сможет заранее изменить что-нибудь в себе так, чтобы и предписанное поведение изменилось). Рефлексия же моделируется уже самой возможностью самомодификации. Творчество в, извините за каламбур, творческом смысле, более узком чем тот, которым я оперировал ранее, тоже легко объясняется как следствие способности предсказать и реализовать нечто, что может кому-нибудь в будущем "понравиться".

Наверное, это все на оффтопик похоже, но, по крайней мере, означенной в заголовке теме все-таки соответствует. :)

-- Пт апр 29, 2011 22:37:30 --

Нашел ещё один потрясающий, яркий очерк о seed ai. Надеюсь кому-нибудь будет интересно. Я ещё не дочитал это до конца, так что позже детально отпишусь о впечатлениях если удастся подчерпнуть чего-нибудь нового. :)

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение21.06.2011, 15:32 
Заслуженный участник


26/07/09
1559
Алматы
2EvgenyGR
Цитата:
Как это не парадоксально, но то что называется числом, вернее абстракция стоящие за понятием числа, стоит на очень высоком уровне такой организации (абстракции).
В начальных классах детям показывают две корзины с тремя и пятью яблоками, и одновременно показывают две кучки палочек соответственно с тремя и пятью палочками. А потом говорят давайте сыпем все яблоки в одну корзинку, а все палочки в оду кучку, а теперь если пересчитать палочки, то их окажется столько же сколько яблок.
Задумайтесь над тем какова должна быть сложность организации физической системы, чтобы она «поняла» связь между числом палочек и числом яблок? Поэтому когда кто-то говорить, что он задумал число, мне всегда хочется разобраться, что он имеет в виду?

Вот недавно на ресурсе elementy.ru встретил в новостях заметку Можно ли вылечить дискалькулию?. По ссылкам на источники, видимо, не составит труда углубиться в эту тему. На мой взгляд, весьма интересно и приоткрывает завесу над многими вопросами, связанными со способностями к счету... Мое первоначальное предположение об активной роли речевого центра в осуществлении арифметических выкладок, судя по всему, оказалось полностью несостоятельным. :)

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение22.06.2011, 14:35 


21/12/10
152
Circiter в сообщении #440055 писал(а):
2robez
Цитата:
Потому я предпочитаю простые модельки, а не туманные рассуждения непонятно о чем.

Понимаете, самомодифицирующиеся интеллектуальные агенты вовсе не являются "туманной" концепцией. Игрушечные прототипы существуют, да и самостоятельно все эти эксперименты легко повторяются. Конечно, результаты не претендуют на решение проблемы ИИ, ну а что вы ожидали. В тоже время, модели Каминского, как я понял, вообще пока "материального" обличия не имеют (у меня вот так руки и не дошли до экспериментов с зажатыми в узкие рамки клеточными автоматами), хотя могут применяться при анализе программных систем, функционирующих в условиях нехватки ресурсов (памяти).

Проблема не в них, а в оценке - насколько такие модели приближаются к сознательной деятельности. Как раз с этим проблемы, а не с самими моделями.
Цитата:
Цитата:
как определяется непознаваемое для саморазвивающихся автоматов или самомодифицирующих себя программ? Неполнота не может выступать в качестве такого предела.
...
У вас есть более простое определение или модель непознаваемого, чем предлагает Каминский?

Как я уже говорил, идеи Геделя применимы и к самомодифицирующимся автоматам и вообще ко всем непротиворечивым формальным системам. Почему неполнота не может выступать в качестве предела познания я не понимаю.


Потому, что не дает формулировки принципиально непознаваемого. Вы сами утверждаете, какую бы формальную систему не возьми наше сознание всегда способно выдумать что-то еще более сложное. Если бы Гедель гарантировал невыводимость ни в какой формальной системе, а так нам неявно приходится подразумевать наличие сознания и интуитивного понимание его безграничных возможностей.
Вот давайте попробуем по шагам, что не могут самомодифицирующиеся автоматы сделать в принципе? Это очень трудно определить, потому что автоматы меняются и потому, что Гедель не дает явно алгоритма нахождения невыводимого утверждения. Уже на этом начальном этапе битовая модель Каминского на несколько порядков проще - мы анализируем не битовые функции вообще и даже не все функции от 10 переменных, а только одну конкретную функцию и только ее. То есть могут быть другие функции от 10 или даже менее переменных которые справлятся с задачей. с которой наша выбранная функция не может справиться.

Теперь определение непознаваемого объекта не составляет никакого труда - все что более 10 бит автоматически непознаваемого для нашего битового сознания. Теперь попытаемся продвинутся далее и сопоставить полученный результат человеческому поведению. Оказывается, что это не возможно, мы не можем распознать ситуацию в которой наше сознание работает не правильно. Такие ситуация не распознаются нашим сознанием. Но эта теорема легко доказывается в самой битовой модели, надо только рассмотреть проблему 10 битового наблюдателя с точки зрения 20-битового наблюдателя.

На самом деле исследователи никогда не доходят даже до определения непознаваемого. Но результат вполне понятен, если описание отражает реальность, то оно не годится для определения непознаваемого (то что реально по определению должно быть познанно, иначе и говорить мы бы о нем не смогли бы), если описание определяет непознаваемое то оно не способно отразить реальность (вернее искажает реальность). Упрощая сложность рассматриваемых объектов мы видим, что по мере упрощения описание способно отражать реальность, но объект перестает быть непознаваемым. Потому исследователи в основном занимаются простыми случаями - которые могут быть поставлены в соответствии некоторому человеческому поведению.

Цитата:
Вообще, проблем с непознаваемым у самомодифицирующихся автоматов может быть несколько:
  • Геделевская неполнота (существование истинных, но недоказуемых, т.е. невыводимых высказываний). Простой пример. Пусть имеется непротиворечивая формальная система $X$ и утверждение "это утверждение недоказуемо средствами системы $X$". Если это утверждение может быть выведено (доказано) средствами $X$, то оно, очевидно, истинно, но недоказуемо в этой системе (просто потому что оно эту недоказуемость и утверждает). И наоборот, если $X$ не может вывести такое утверждение, то оно получается невыводимым, а с учетом своего содержания ещё и истинным. В любом случае получается комбинация истинность + недоказуемость (с точки зрения $X$).
  • Предел Каминского (артефакты ограниченности ресурсов).
  • Неконтролируемое воздействие наблюдающего процесса на наблюдаемый процесс (ограничения на точность моделирования типа неопределенностей Гейзенберга).
  • Синдром машины времени -- система может предказать свое поведение в некотрой ситуации, а затем, когда такая ситуация наступит, система может воспользоваться свободой воли и поступить по-другому.
  • Проблемы дискретизации и приближенного моделирования (к теме о поворотах на решетке).
  • Комбинаторный взрыв.
  • Алгоритмические трудности (функционирование сознания может существенно базироваться на "решении" алгоритмически-неразрешимых проблем, например, проблемы остановки).
  • Другие факторы, вроде невычислимости или хаотичности среды.
  • Противоречивость сознания как формальной системы. Это очень серьезная и "надуманная" проблема. Однако, даже если сознание лишено логической "безупречности", ничто не мешает трактовать математику как эмпирический инструмент, полезность которого определяется "в среднем" при практической эксплуатации в реальных условиях.


Вот простое сведение к абсурду, допустим что все вышеперечисленное для автоматов действительно дает определение непознаваемому. Теперь как мы будем отражать этот наш результат на человеческое поведение чтобы точно указать вот тут в этом месте в это время человек столкнулся с непознаваемым для себя. Вы уверены что эксперимент будет воспроизводим и одинаков во всех лабораториях мира? Что-то я очень сильно в этом сомневаюсь.

Вот вы уверены что интуицию формализовать нельзя? Образное мышление или называйте как хотите? До тех пор пока не доказано строго математически, что интуицию формализовать нельзя, у нас нет никакой возможности сопоставить ваш результат на саморазвивающихся автоматах любому проявлению человеческой интуиции. Я потому и перестал отвечать, что почувствовал возможность появления в очередном посте правил и законов образного мышления. Есть возможность измерить насколько неформализуемость образов сходна с "Неконтролируемым воздействием наблюдающего процесса на наблюдаемый процесс" у саморазвивающихся автоматов? Если мы чувствуем невозможность точного определения, то это еще не гарантирует отсутствие определения в принципе. Но мы даем названия, проводим границы выводим законы так, как будто имеем дело с обычными логическими рассуждениями. Я не хочу в этом участвовать.

Так что проблема не в автоматах, Геделе и математике вообще, если вы меня понимаете.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение22.06.2011, 15:13 
Заслуженный участник
Аватара пользователя


28/09/06
10414
robez в сообщении #461108 писал(а):
Гедель не дает явно алгоритма нахождения невыводимого утверждения
Насколько я знаю, как раз даёт.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение22.06.2011, 16:18 


21/12/10
152
epros в сообщении #461132 писал(а):
robez в сообщении #461108 писал(а):
Гедель не дает явно алгоритма нахождения невыводимого утверждения
Насколько я знаю, как раз даёт.


И что тогда не под силу саморазвивающимся автоматам?

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение22.06.2011, 17:29 
Заслуженный участник
Аватара пользователя


28/09/06
10414
robez в сообщении #461156 писал(а):
И что тогда не под силу саморазвивающимся автоматам?
Хм, не знаю. Наверняка то же самое, что не под силу и людям. Например, найти практически реализуемый способ, как разрезать золотой шар на конечное количество кусков таким образом, чтобы потом из них можно было сложить два таких же шара. :-)

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение23.06.2011, 13:00 


21/12/10
152
epros в сообщении #461186 писал(а):
robez в сообщении #461156 писал(а):
И что тогда не под силу саморазвивающимся автоматам?
Хм, не знаю. Наверняка то же самое, что не под силу и людям. Например, найти практически реализуемый способ, как разрезать золотой шар на конечное количество кусков таким образом, чтобы потом из них можно было сложить два таких же шара. :-)


Потому весь этот шум вокруг Геделя очень трудно переносить на практику. Как по мне, то неполнота свидетельствует не столько за существование непознаваемого, а наоборот – за неспособность математики покрыть всё разнообразие и сложность человеческого сознания, в том числе и по поводу существование чего-то непознаваемого. Хотя есть много серьезных аргументов и против Геделевского аргумента, но мне нравиться утверждение, что математик может спокойно рассуждать о невыводимых в некоторой формальной системе утверждениях.

Лично мне очевидно преимущество модели Каминского. Легко пользоваться, а конкурирующие направления даже программу минимум не выполнили. Берем в любой формальной системе любую понравившуюся нам функцию, структуру, объект или что-там подвернется под руку. Называем сознание и дальше идут только математические выкладки. Нам не нужно пользоваться невыводимыми утверждениями в этой системе для определения принципиально непознаваемого для такого сознания. Множество того, что получается непознаваемым бесконечно больше количества невыводимых утверждений, ну и зачем тогда настаивать на Геделевском аргументе если от него одни ограничения? Да и как определить непознаваемое для саморазвивающихся автоматов? Это садомазахизм какой-то усложнять не понятно по какой причине и главное – зачем?

Битовая модель Каминского предельно всё упрощает. Можно даже повыкидывать битики и оставить только конечные множества. Наблюдатель – это конечное множество мощностью 10, объекты реальности – это конечные множества разной мощности. Функция сознания – это когда множество наблюдателя ставиться в соответствие некоторому объекту. Отсюда все объекты мощностью множества более 10 проявляют свойства непознаваемого. Это программа минимум, далее идет доказательство интересных теорем. Например, о расщеплении картины мира – это когда для 11 битный объект порождает у 11 10-битных наблюдателей разное описание самого себя. Фактически это может означать, что если для человека существует непознаваемое, то постулат про одинаковость окружающей реальности для всех без исключения наблюдателей уже не будет соблюдаться после некоторого порога сложности наблюдаемого явления. Воспроизводимость эксперимента не повторяется.

Далее очень интересна теорема про математическое подобие функций сознания у наблюдателей разного уровня развития, 10-битный наблюдатель настолько же тупее 20-битного как 20-битный тупее 40 битного. Отсюда можно показать что описания у 10-битного наблюдателя хотя принципиально непригодны отражать непознаваемое, но могут быть подобны описаниям 20-битного наблюдателя. Которые эти самые непознаваемые для 11-итного наблюдателя объекты замечательно отражают. Фактически это означает, что элементарные математические конструкции могут отражать принципиально непознаваемые для человека сущности. Но они относятся к реальности принципиально отличным от традиционного способом.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение23.06.2011, 18:39 
Заслуженный участник


26/07/09
1559
Алматы
2robez
Цитата:
Проблема не в них, а в оценке - насколько такие модели приближаются к сознательной деятельности. Как раз с этим проблемы, а не с самими моделями.

А, ну да... Я вот кроме теста Тьюринга вообще ни о чем таком (вроде-бы) не слышал... Представляете, как усложняются критерии сознательности, если предположить, что ИИ будет умнее человека? :)

Цитата:
Гедель не дает явно алгоритма нахождения невыводимого утверждения.

Не-а. Его доказательства конструктивны. Пример "шаблона" геделевского утверждения я приводил в том списке логических проблем seed ai ("это утверждение недоказуемо в $X$"). Правда там полно тонкостей...

Цитата:
Я потому и перестал отвечать, что почувствовал возможность появления в очередном посте правил и законов образного мышления

Размечтались. Не, я бы от Нобелевки не отказался, но увы... :)

Кстати, об образном мышлении... Если его совсем буквально понимать, как мышление образами, т.е. картинками (я пониманию, что вы другое имели ввиду, просто ассоциации всплыли), то что вы думаете о достаточности такого "графического" мышления для моделирования сознания (для создания ИИ)? Существует мнение, что достаточно оставить только зрительные функции (интерактивные, т.е. чтобы можно было не только видеть картинку, но и рисовать её) и их хватит на осуществление всех мыслимых интеллектуальных актов (например, для работы с формальными логическими выводами мы можем рисовать круги Эйлера; и т.д.). Интересует ваше мнение.

Ещё один простой вопрос к вам, раз уж вы являетесь экспертом по Каминскому... А вот в таких битовых моделях может происходить какое-нибудь интеллектуальное усиление при объединении нескольких "человечков" в коллектив? Т.е. если сами человечки никак не изменяются, а просто общаются друг с другом. Может ли такое битовое "общество" быть "умнее" каждого своего представителя, и, соответственно, решать более сложные задачи (оказывающиеся непознаваемыми для отдельного человечка)?

2epros
Цитата:
разрезать золотой шар на конечное количество кусков таким образом, чтобы потом из них можно было сложить два таких же шара

Хоть я и слышал об этой теореме, говорящей о возможности из одного шара склеить два, и даже с доказательством знакомился, но это было так давно, что я даже название теоремы забыл. Не напомните? Хотелось бы освежить знания. :) Насколько я понимаю, результат там все-таки топологический, но и про объемы что-то было... Вот непомню и все тут, вышибло из головы... :) Заранее спасибо.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение24.06.2011, 08:21 
Заслуженный участник
Аватара пользователя


28/09/06
10414
Circiter в сообщении #461536 писал(а):
Представляете, как усложняются критерии сознательности, если предположить, что ИИ будет умнее человека? :)
В шахматы, как я слышал, уже лучше играет. И я думаю, что рано или поздно станет умнее во всём.

Circiter в сообщении #461536 писал(а):
Пример "шаблона" геделевского утверждения ...
Для арифметики Пеано первого порядка хорошим "живым" примером Гёделевского истинного недоказуемого утверждения является теорема Гудстейна.

Circiter в сообщении #461536 писал(а):
Хоть я и слышал об этой теореме, говорящей о возможности из одного шара склеить два, и даже с доказательством знакомился, но это было так давно, что я даже название теоремы забыл. Не напомните? Хотелось бы освежить знания. :) Насколько я понимаю, результат там все-таки топологический, но и про объемы что-то было... Вот непомню и все тут, вышибло из головы... :) Заранее спасибо.
Это парадокс Банаха - Тарского. Утверждение доказуемо в классической теории множеств с аксиомой выбора (например, ZFC). Собственно "парадоксом" не является, хотя противоречит интуитивному представлению о том, что при разрезании шара на конечное количество кусков суммарный объём сохраняется. Объяснение сбоя интуиции заключается в том, что к тем кускам, на которые шар разрезается согласно этому утверждению, понятие объёма вообще неприменимо. Неконструктивность утверждения заключается в том, что определить, каковы именно эти куски, никто не может (способ разрезания неизвестен).

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение25.06.2011, 08:22 


21/12/10
152
epros в сообщении #461754 писал(а):
Circiter в сообщении #461536 писал(а):
Пример "шаблона" геделевского утверждения ...
Для арифметики Пеано первого порядка хорошим "живым" примером Гёделевского истинного недоказуемого утверждения является теорема Гудстейна.


Можно попросить вас обосновать почему формальная система может рассматриваться как модель сознания человека, а невыводимое утверждение в ней - как пример непознаваемого? Что-то не стыкуется. Похоже тут нужно как минимум две системы - для формулировки этого самого невыводимого утверждения. Тогда чем вторая система является - реальностью или мышлением более разумного существа? Просто вопрос о том, что происходит когда существо сталкивается с непознаваемым не совсем понятен. Ведь все неудачные попытки доказать недоказуемое утверждение как правило отбрасываются и не представлены в формальной системе. К тому же формальная система сама по себе не выводит своих теорем - нужен или человек, который решает каким путем доказывать теорему, или какое-то автоматическое устройство - т.е. явно нечто внешнее к формальной системе.

Пример с разрезанием шаров явно из другой ситуации, а просил вас пример того, что объект существует, а описания для него найти не удается, а вы мне описали прямо противоположное - описание есть а реального прототипа для него не удается найти. Это тоже очень важным момент, но я спрашивал о другом. Если вы читали мои посты, то я приводил еще один вариант: когда битовая модель подобна описанию более развитым инопланетянином непознаваемого для человека реального объекта, то для человека есть описание и есть объект, но установить связь между ними не представляется возможным. Потому давайте учитывать контекст использования математических результатов, а то у нас будет получаться, что генетические алгоритмы умней всех математиков вместе взятых.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение27.06.2011, 15:10 
Заслуженный участник
Аватара пользователя


28/09/06
10414
robez в сообщении #462024 писал(а):
Можно попросить вас обосновать почему формальная система может рассматриваться как модель сознания человека, а невыводимое утверждение в ней - как пример непознаваемого?
Хм. Я этого не говорил. Сознание, очевидно, способно в нужный момент добавлять аксиомы, что для формальной системы не характерно (там набор аксиом фиксирован). Отсюда, кстати, и промахи сознания - можно неудачно добавить аксиому, так что наткнёмся на расхождение между выводами и реальностью.

robez в сообщении #462024 писал(а):
Похоже тут нужно как минимум две системы - для формулировки этого самого невыводимого утверждения.
Невыводимое утверждение формулируется в исходной системе.

robez в сообщении #462024 писал(а):
Просто вопрос о том, что происходит когда существо сталкивается с непознаваемым не совсем понятен.
Что Вы называете "непознаваемым"?

robez в сообщении #462024 писал(а):
К тому же формальная система сама по себе не выводит своих теорем - нужен или человек, который решает каким путем доказывать теорему
Считается что для формальной системы определены правила вывода, что позволяет вывести всё выводимое... Однако Вы правы в том, что сознание действует несколько иначе: Некоторые нетривиальные выводы для него не очевидны, хотя с точки зрения формальной системы это такие же выводы.


robez в сообщении #462024 писал(а):
просил вас пример того, что объект существует, а описания для него найти не удается, а вы мне описали прямо противоположное - описание есть а реального прототипа для него не удается найти
Вы спросили, что не под силу автоматам. Как это "реально существует", но описать (совсем никак?) не удаётся - это непонятно. Я привёл пример, когда есть теоретический вывод о том, что объект существует, но описания конкретного объекта построить не удаётся.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение28.06.2011, 09:56 


21/12/10
152
Circiter
Circiter в сообщении #461536 писал(а):
2robez
А, ну да... Я вот кроме теста Тьюринга вообще ни о чем таком (вроде-бы) не слышал... Представляете, как усложняются критерии сознательности, если предположить, что ИИ будет умнее человека? :)

Знаю, судя по вашим ответам – никак :).
Вы представили список затруднительных для исследователя ситуация, предположив их связь с проблемами познаваемости как у человека, так и у самомодифицирующегося автомата. Возможно это так, но доказательств у нас нет. Из списка только один пункт как-то на это намекает – перефразируя Гейзенберга можно наложить некое подобие запрета на любые теоретические построение и любое конструирование приборов, которые ни при каких обстоятельствах не дадут ни в каком эксперименте 100% информации об исследуемом объекте. Все остальное может запросто быть обычными техническими трудностями никак не связанными с чем-то принципиально для человека непознаваемым.

Кроме того, если самомодифицирующийся автомат проще естественного интеллекта, то должны быть более простые критерии, а если сложнее – то некоторые пункты из списка возможно будут им решены? А если мы построим несколько таких автоматов разной сложности, то список все равно будет для них одинаковый? Очевидно, что при построении списка вы опирались на некоторое интуитивное представление естественного интеллекта, а это никак не связано с определением самомодифицирующегося автомата :).

Я не говорю что это неправильно, но это существенно сложнее предложенной битовой модели. Само инопланетяне утверждают, что у человека при столкновении с ними быстро развивается комплекс неполноценности.

Из битовой модели однозначно следует – битовый человечек без проблем отслеживает работу сознания в 2 раза проще его собственного. Когда же он пытается понять работу себя самого или похожего битового человечка у него начинаются серьезные проблемы. Так что критерия не существует. Интересно, что явно появляются два основных направления поведения, поскольку полностью сосредоточится на объекте и на мыслительном процессе нельзя, то мы либо концентрируемся полностью на объекте игнорирую протекающий мыслительный процесс – это можно было бы назвать материалистическим подходом, либо концентрируемся на процессе мышления в ущерб информации об объекте – это соответствует идеализму. Если же объект превосходит наши возможности, то и материализм и идеализм дают сбои.

Отсюда вытекает определение интуиции – это та часть сознания, которая участвует в процессе познания, но наблюдателем не осознается. Интересно, что при таком определении интуиция никак не отличается от логики – осознанного и подконтрольного мыслительного процесса. Плохо только то, что такое определение корректно только от лица более развитого наблюдателя, а для самого наблюдателя ни опровергнуть ни доказать его не представляется возможным.

Цитата:
Не-а. Его доказательства конструктивны. Пример "шаблона" геделевского утверждения я приводил в том списке логических проблем seed ai ("это утверждение недоказуемо в $X$"). Правда там полно тонкостей...

Вот если бы существовало утверждение недоказуемое ни в какой формальной системе, а так :
http://cu-4.narod.ru/index.files/Filosofia/GedelevskiiArg.htm
Непосредственный смысл теоремы Геделя о неполноте формальных систем можно усмотреть в констатации невозможности формализации содержательного понятия "истины" в математике. Поскольку, однако, истина в математике всегда получается через посредство доказательства, то отсюда, также, можно сделать вывод о невозможности полной и исчерпывающей формализации человеческой способности доказывать математические предложения. Любая формализованная система доказательств отражает в эксплицитной форме лишь некоторую часть этой способности, т.е., по сути, представляет собой лишь формализацию "пост фактум" некоторых содержательных (неформальных) схем математических рассуждений. Но человек всегда способен выдумать новые схемы рассуждений, которые в совокупности не покрываются никаким конкретным формализмом.

Ну не дотягивает формализм до человеческих возможностей, а вы хотите что бы он превосходил их.

Цитата:
Размечтались. Не, я бы от Нобелевки не отказался, но увы... :)

Кстати, об образном мышлении... Если его совсем буквально понимать, как мышление образами, т.е. картинками (я пониманию, что вы другое имели ввиду, просто ассоциации всплыли), то что вы думаете о достаточности такого "графического" мышления для моделирования сознания (для создания ИИ)? Существует мнение, что достаточно оставить только зрительные функции (интерактивные, т.е. чтобы можно было не только видеть картинку, но и рисовать её) и их хватит на осуществление всех мыслимых интеллектуальных актов (например, для работы с формальными логическими выводами мы можем рисовать круги Эйлера; и т.д.). Интересует ваше мнение.

Ещё один простой вопрос к вам, раз уж вы являетесь экспертом по Каминскому... А вот в таких битовых моделях может происходить какое-нибудь интеллектуальное усиление при объединении нескольких "человечков" в коллектив? Т.е. если сами человечки никак не изменяются, а просто общаются друг с другом. Может ли такое битовое "общество" быть "умнее" каждого своего представителя, и, соответственно, решать более сложные задачи (оказывающиеся непознаваемыми для отдельного человечка)?

Использование картинок, так или иначе сводится к некоторому языку, который просто выражается не символами. Так что традиционные способы не дают ничего нового. Мое представление об этом напоминает «непрерывную логику» в 3 обращении КОН, только там любые попытки уточнить определение образа лишь удаляют нас от цели. Но говорить о таких вещах до того как мы признаем существование принципиально неформализуемых абстракция нет никакого смысла. Мои определения вам непонятны, ваши не нравятся мне. Так что сами понимаете.

Есть очень похожее исследование Лефевр «конфликтующие структуры». Использовал очень похожие на модели Каминского модели. Результаты применял при решении всяких психологических конфликтов у космонавтов.
http://www.berezuev.hotbox.ru/Lefevr.rar
Если ссылка не открывается то нужно зайти на сайт и первая ссылка самая на книгу.
Это также может быть хорошим ответом на ваше замечание о плохой формализации идей Каминского.

 Профиль  
                  
 
 Re: Математика и интеллект.
Сообщение01.07.2011, 21:58 


21/12/10
152
epros в сообщении #462729 писал(а):
Что Вы называете "непознаваемым"?

Цитата:
Вы спросили, что не под силу автоматам. Как это "реально существует", но описать (совсем никак?) не удаётся - это непонятно. Я привёл пример, когда есть теоретический вывод о том, что объект существует, но описания конкретного объекта построить не удаётся.

Вы хотели спросить наверно:
Как вообще возможно существование физических систем, функцию которых в принципе невозможно выяснить анализируя их устройство?
Потому как сводить вопрос к проблеме соответствия между моделью и реальностью это явно уход в сторону. Бесконечность тоже нельзя поставить в соответствие реальности. Если копнуть по глубже то, ни точки, ни прямые не имеют буквальных аналогов в окружающей нас реальности. О массе и силе мы судим по изменению отрезков во времени, а не по буквальному интуитивному восприятию этих сущностей. Так что лучше вообще не задаваться этим вопросом. Мне нравится заявление Гейзенберга (если не вру), квантовые объекты никогда не встречались нам в бытовых ситуациях, значит их свойства кажутся нам противоестественными. До сих пор математики не нашли интуитивно понятной и внятной модели для квантовых свойств, так что нет смысла выделять теоремы Тарского. А с фракталами совсем беда, до сих пор споры по поводу возможности постановки их в соответствие реальности.

Могу сказать только, что не вижу способа привлечь Геделя для объяснения этих ситуаций. Да собственно и не знаю что сказать по этой теме. Вот нарушить критерии научности для Circiter запросто. Понастроить физических моделей непознаваемого - нет проблем. А вот что значат выводы Геделя и Тарского - не знаю. Вернее не могу однозначно принять ничью сторону.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Эта тема закрыта, вы не можете редактировать и оставлять сообщения в ней.  [ Сообщений: 477 ]  На страницу Пред.  1 ... 5, 6, 7, 8, 9, 10, 11 ... 32  След.

Модераторы: Jnrty, Модераторы, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group