17 побед искусственного интеллекта в 2017 году

[mihaild]

Mihaylo в сообщении #1504690 писал(а):

Принцип действия нейронной сети: на выходе каждого слоя абстрактность признаков растет слева направо.

А что это строго значит? Особенно с учетом того, что уже на третьем слое достаточно большой нейронки описать в человекопонятных терминах, что считает какой-то конкретный нейрон, невозможно.

Mihaylo в сообщении #1504690 писал(а):

То есть проблема не в том, что нейросеть плохо обобщает, а в том, что она обобщает неправильные входные данные (рецепт аспирина).

Ну если это проблема - то вам никто не мешает взять тот же BERT, обучить его на том, на чём надо, и продемонстрировать SotA на какой-то задаче. На какой, кстати?

[Mihaylo]

mihaild в сообщении #1504705 писал(а):

Особенно с учетом того, что уже на третьем слое достаточно большой нейронки описать в человекопонятных терминах, что считает какой-то конкретный нейрон, невозможно.

(Оффтоп)

Вы дали задачу нейросети, которую не смогли решить сами, и после этого хотите понять, как это происходит? Сложная задача не становится от этого простой. Но если хотите, то можете разобраться с XOR.
Закон сложности: если у вас есть немашиннообученческий алгоритм, то вы, возможно, найдете параллели. Если же алгоритма никакого нет, то понять нейросеть не удастся.

[Rasool]

К искусственному интеллекту напрямую это не относится, но тем не менее: На базе МФТИ откроется лаборатория программируемых функциональных материалов Константина Новосёлова.

[ozheredov]

Mihaylo в сообщении #1504760 писал(а):

Но если хотите, то можете разобраться с XOR

С "задачей XOR" разобрались. Хотелось бы услышать ответ на вопрос, как построить меру абстракции, чтобы она росла в нейронке справа на лево. Т.е. по сути, присоединяюсь к вопросу mihaild:

mihaild в сообщении #1504705 писал(а):

А что это строго значит?

[Mihaylo]

А я же ответил на вопрос-то!
Вы хотите меру абстракции для скрытых слоев, но для этого вам понадобится анализ. Тот анализ, ради непроведения которого нейросети обычно создаются. Такой вот нейросетевой шредингерский кот. Для XOR анализ возможен, для большинства реальных задач нет (но можно воспользоваться rule-extraction algorithms). Для признаков скрытых слоев нет меры, но есть мера для признаков входных и выходных слоев - это признаки, которые понятны.

[mihaild]

Mihaylo в сообщении #1505381 писал(а):

А я же ответил на вопрос-то!

Нет, не ответили. И ниже еще раз подтвердили, что определить "абстрактность" не можете. Откуда вы тогда знаете. что она возрастает слева направо, а не по спирали?

[Mihaylo]

Если нейросеть успешно решает задачу преобразования первичных данных (конкретных пикселей) в абстрактный класс "кошка", отсюда и следует, что она видит характерные признаки кошек - окрас, усы, глаза, уши, хвост... По спирали - это только в RNN наверное , а по синусоиде не может. Абстракция монотонно растет, конкретика падает, и это связано с неизбежной и необходимой потерей информации от слоя к слою. Правда не исключено, что некоторые нейроны плодят информационный шум, но если нейросеть имеет околонулевую ошибку, то ближе к выходу этот шум должен отфильтроваться.

-- 18.02.2021, 09:25 --

mihaild

(Оффтоп)

Я знаю, что вы разбираетесь в матстате и анализе данных, и что знаете означает "абстракция" с математической точки зрения. И я понимаю, что вы просто намеренно задаете глупые вопросы.

[mihaild]

Mihaylo в сообщении #1505533 писал(а):

Я знаю, что вы разбираетесь в матстате и анализе данных, и что знаете означает "абстракция" с математической точки зрения

Нет, не знаю. Не подскажете, где посмотреть определение? Это не философия, в математике и CS все определения принято явно кратко выписывать.

[Emergency]

mihaild в сообщении #1505552 писал(а):

Не подскажете, где посмотреть определение?

Википедия не годится? Абстракция данных

Цитата:

Абстра́кция в объектно-ориентированном программировании — это использование только тех характеристик объекта, которые с достаточной точностью представляют его в данной системе. Основная идея состоит в том, чтобы представить объект минимальным набором полей и методов и при этом с достаточной точностью для решаемой задачи.

[mihaild]

Emergency в сообщении #1505592 писал(а):

Википедия не годится?

Нет, там не математическое определение.

[Emergency]

mihaild в сообщении #1505598 писал(а):

Нет, там не математическое определение.

Боюсь, что количественного определения абстракции не существует - это качественная характеристика. Хотя, для каких-то специфических операций возможно ее выражение количественно.

[arseniiv]

Я просто мимо проходил, но

Emergency в сообщении #1505607 писал(а):

количественного определения

это не означает «математического». Математические определения очень часто ничего общего с количественным не имеют. Например клика в графе.

[mihaild]

Emergency в сообщении #1505607 писал(а):

Боюсь, что количественного определения абстракции не существует - это качественная характеристика

Тогда выражение "уровень абстракции возрастает" смысла не имеет.

[Emergency]

mihaild в сообщении #1505621 писал(а):

Тогда выражение "уровень абстракции возрастает" смысла не имеет.

Если уровни абстракции счетные (это и есть специальный частный случай) то есть и смысл и математическое выражение.

[Rasool]

Абстракция еще является понятием и в логике, и в философии.