Футурологические прогнозы

Mihaylo · 12/07/15 2998 г. Чехов

mihaild в сообщении #1632580 писал(а):

Я думаю что число слов в предложении случайный человек посчитать сможет.

Во, вот это конструктивный разговор. А то обычно в ход идут аргументы типа "у нейронок нет самосознания!".

Кстати, мы с вами уже разговаривали и мы даже проводили тесты типа:

Сколько букв в предложении "В этом предложении 16 символов."?

Мы еще тогда увидели, что LLM склонны галлюцинировать, но в целом самые развитые не тупили, отвечали на вопрос с точностью плюс-минус 5 букв, но делали это каждый раз по-разному.

Ну понятно, что кормление нейронкам пентабайтов текста не совсем похоже на то, как дрючат нас в раннем возрасте в садике, школе, университете. Однако для подсчёта числа букв уж точно не требуется какое-то самосознание. Это самый важный вывод. Второе умозаключение - это то, что задача не является нерешаемой. И я даже скажу, что если решать только эту частную задачу, то на Kaggle её решат за два дня: нагенерят датасеты и готово. Просто нужен другой подход, более похожий на человеческий - учить счёту "раз, два, три, четыре...".

-- 12.03.2024, 18:46 --

При этом я прекрасно понимаю, что такое галлюцинации. Это же по сути известная проблема bias https://dzen.ru/a/YMSa9CuLFliclQ0B
Чем умнее человек (или машина), тем больше подвержена ошибкам, глюкам в простых ситуациях. Умный человек обучен сложным знаниям и в простой ситуации он может увидеть несуществующие закономерности, воскликнуть "Матрица!", хотя речь шла про матрац.

И это трудно устранимая проблема. Кто бы там чего не думал про ЕИ и ИИ. Ведь ИИ и ЕИ - всего лишь ограниченные инструменты, работающие в определенном классе задач.

mihaild · 16/07/14 8609 Цюрих

Missir в сообщении #1632582 писал(а):

Только от это нет того счастья, о котором пишет ТС

Какое-то счастье от этого есть. Например алгоритмы рекомендаций музыки нашли мне уже несколько авторов, на которых иначе я бы наткнулся чисто случайно. И это не потребовало от меня никаких усилий.

Missir в сообщении #1632597 писал(а):

Рабочие тогда ломали машины и станки, потому что те отнимали их пропитание, обрекая на голодную смерть

И много рабочих в Англии умерло в 20-21 веке от голода?

Mihaylo в сообщении #1632607 писал(а):

Однако для подсчёта числа букв уж точно не требуется какое-то самосознание

Тут только Вы что-то писали про сознание. Я бы предложил не спорить с какими-то абстрактными 65% людей, из которых в этой теме принимают участие 0%.

Mihaylo в сообщении #1632607 писал(а):

Просто нужен другой подход, более похожий на человеческий - учить счёту "раз, два, три, четыре..."

А куда в обучение LLM пихать "похожий на человеческий" подход? Учить составлять пронумерованный список слов?
(в общем-то я подозреваю что если просто в обучающую выборку добавить пару тысяч примеров такого вида, то всё заработает; но естественно это починит такие вопросы, но не починит "назови третье слово в этом предложении")

Mihaylo в сообщении #1632607 писал(а):

При этом я прекрасно понимаю, что такое галлюцинации. Это же по сути известная проблема bias

Нет, это совершенно разные проблемы. Галлюцинации - плохая экстраполяция. Bias (в данном контексте; bias в bias-variance tradeoff это совершенно другое) - правильное сэмплирование из распределение, которое некоторым не нравится. Если в обучающей выборке синие в среднем сепульковее чем зеленые, то модель довольно вероятно будет смотреть на цвет и учитывать его в предсказании.

Mihaylo в сообщении #1632607 писал(а):

Умный человек обучен сложным знаниям и в простой ситуации он может увидеть несуществующие закономерности

Ну есть no free lunch theorem, но она на практике бесполезна, т.к. наши наблюдения генерируются не равномерным распределением.
Из Ваших рассуждений следует, что человек ничем значимо не отличается от обезьяны. На мой взгляд, умение заниматься эффективным сельским хозяйством или создавать огнестрельное оружие - значимое отличие.

Mihaylo · 12/07/15 2998 г. Чехов

mihaild в сообщении #1632615 писал(а):

экстраполяция

Что нам известно об экстраполяции в математическом смысле? Я отметил, вы видите в этом особый ход. А я не вижу.

-- 12.03.2024, 20:24 --

Экстраполяция - это частный вид [банальной] интерполяции.

Missir · 15/12/22 95

mihaild в сообщении #1632615 писал(а):

Какое-то счастье от этого есть. Например алгоритмы рекомендаций музыки

Разумеется, кому то это принесёт пользу, причём гораздо большую чем музыка и т.п. развлекуха, иначе никто бы этим не занимался. Но личное благополучие отдельных индивидов не совсем то, о чём писал ТС. Выброшенному с работы банковскому клерку, думаю, будет не до музыки.

Mihaylo · 12/07/15 2998 г. Чехов

Missir в сообщении #1632625 писал(а):

Выброшенному с работы банковскому клерку, думаю, будет не до музыки

Поверьте, это фигня по сравнению с рекомендациями. Вы готовы оценить разницу пользы от рекомендаций в 1980-х гг. и в 2020-х? Есть ли способность подсчитать точно? Каково влияние на рекламу данного факта?

mihaild · 16/07/14 8609 Цюрих

Mihaylo в сообщении #1632622 писал(а):

Экстраполяция - это частный вид [банальной] интерполяции

Скорее уж наоборот. Нам известны значения в некоторых точках, интерполяция - поиск значения в точке внутри выпуклой оболочки, экстраполяция - снаружи. Естественно что выкидыванием точек можно из интерполяционной задачи сделать экстраполяционную. Обратно так просто не получится.
Но тут важно не это, а то, что bias в смысле Вашей ссылки (кстати нельзя было сразу дать ссылку на [url=https://towardsdatascience.com/understanding-and-reducing-bias-in-machine-learning-6565e23900ac]оригинал[/urkl], а не на перевод промптом?) и галлюцинации - это разные вещи, никак не связанные. Галлюцинации - это ошибка в предсказании, bias - совсем не обязательно.

Missir в сообщении #1632625 писал(а):

Разумеется, кому то это принесёт пользу, причём гораздо большую чем музыка и т.п. развлекуха, иначе никто бы этим не занимался

Это одновременно приносит пользу и тем, кто улучшает рекомендации, и тем, кто ими пользуется.

Missir в сообщении #1632625 писал(а):

Выброшенному с работы банковскому клерку, думаю, будет не до музыки.

Пока что с прогрессом все квантили уровня жизни росли. Почему это внезапно должно поменяться?

Missir · 15/12/22 95

mihaild в сообщении #1632630 писал(а):

Пока что с прогрессом все квантили уровня жизни росли. Почему это внезапно должно поменяться?

какие именно показатели Вы имеете в виду?

mihaild · 16/07/14 8609 Цюрих

Missir в сообщении #1632636 писал(а):

какие именно показатели Вы имеете в виду?

Раз разговор был о голоде - то например суточное потребление калорий.
Или продолжительность жизни можно взять.

Missir · 15/12/22 95

mihaild в сообщении #1632646 писал(а):

например суточное потребление калорий

Возможно Вы не в курсе, но около 10% населения земли голодает, и их количество только растёт, несмотря ни на какой прогресс,
люди просто умирают от голода, что Вы на это ответите? Наверное, нужно рассматривать только благополучные страны, где с этим всё в порядке?
Что касается средней продолжительности жизни, то в некоторых странах она составляет 25-30 лет, опять же не смотря ни на какой прогресс. Скажете, что нужно просто исключить из рассмотрения неудобные страны?

Ну а причём здесь тогда прогресс? так и в античные времена жили довольно долго, Сократ 70 лет, Аристотель 62 года, это в те времена было нормой, правда не для всех. Да и пировали в те времена получше теперешних. На римских пирах даже пользовались специальным пёрышком, чтобы вызвать рвоту, и продолжить набивать живот самыми изысканными блюдами, но опять же не все.
Так, что всё это очень не просто, и какой знак имеет корреляция уровня жизни нормального человека и прогресса, и есть ли она вообще - очень большой вопрос. Тут ведь много факторов, и перенаселение, и эволюция, и климатические изменения. Всё это взаимосвязано и непонятно где причина а где следствие.

Если измерять качество питания не просто количеством калорий (а это углеводы, ожирение и диабет, чего сейчас больше чем в прежние времена), а количеством потребления белка, то картина будет совершенно иной. Дефицит белка это очень актуальная проблема, которая была и раньше, но не в таких масштабах как сейчас. Качество пищи отдельный вопрос, это одна из главных причин онкологии. И это прямое следствие прогресса пищевых технологий.

mihaild · 16/07/14 8609 Цюрих

Missir в сообщении #1632647 писал(а):

Возможно Вы не в курсе, но около 10% населения земли голодает, и их количество только растёт, несмотря ни на какой прогресс, люди просто умирают от голода, что Вы на это ответите?

Что выделенная жирным шрифтом часть - неправда https://data.worldbank.org/indicator/SN.ITK.DEFC.ZS https://ourworldindata.org/explorers/gl ... es+per+day

Missir в сообщении #1632647 писал(а):

Что касается средней продолжительности жизни, то в некоторых странах она составляет 25-30 лет

В каких например?

Missir в сообщении #1632647 писал(а):

Так, что всё это очень не просто, и какой знак имеет корреляция уровня жизни нормального человека и прогресса, и есть ли она вообще - очень большой вопрос

Это очень просто, и чтобы ответить на вопрос достаточно посмотреть числа. Разница настолько колоссальная, что видна на любом показателе.

Missir в сообщении #1632647 писал(а):

Если измерять качество питания не просто количеством калорий (а это углеводы, ожирение и диабет, чего сейчас больше чем в прежние времена), а количеством потребления белка, то картина будет совершенно иной

Нет, такой же https://ourworldindata.org/grapher/dail ... =~OWID_WRL

Missir · 15/12/22 95

mihaild в сообщении #1632648 писал(а):

Что выделенная жирным шрифтом часть - неправда

здесь нужно смотреть динамику не за последние 20 лет (за которые как раз, никакого существенного прогресса не произошло), а как минимум за последние 2 столетия, захватив период начала НТР. К тому же, даже по вашим данным, индекс голода в индии, самой густонаселённой страны, за этот период хаотично колебался от 18 до 13%, не проявляя никаких тенденций. Да и по интегральному графику, непонятно как посчитанному, этот показатель колеблется между 8 и 13%, о какой колоссальной разнице речь? Если эта разница может быть обусловлена просто методикой подсчёта.

Ну а по протеинам у меня так и не открылось, наверное из за санкций. Уж не обессудьте, ничего прокоментировать не могу.
Но общий смысл такой же, нужен ретроспективный анализ за длительный период, а не последние 20 лет.

mihaild · 16/07/14 8609 Цюрих

Missir в сообщении #1632666 писал(а):

здесь нужно смотреть динамику не за последние 20 лет (за которые как раз, никакого существенного прогресса не произошло), а как минимум за последние 2 столетия, захватив период начала НТР

Смотрите, я только за. Можете принести ссылку, где смотрите, я тоже посмотрю.

Missir в сообщении #1632666 писал(а):

К тому же, даже по вашим данным, индекс голода в индии, самой густонаселённой страны, за этот период хаотично колебался от 18 до 13%, не проявляя никаких тенденций.

По которым из моих данных? Ни на одном из скинутых мной графиков Индии нет, и если добавить, то таких чисел рядом про неё я тоже не вижу.

Missir в сообщении #1632666 писал(а):

Если эта разница может быть обусловлена просто методикой подсчёта

1. Worldbank публикует методику подсчета, почитайте.
2. Ну так принесите правильно посчитанные числа.

Missir в сообщении #1632666 писал(а):

Ну а по протеинам у меня так и не открылось

А про потребление калорий https://ourworldindata.org/explorers/gl ... es+per+day открылось? Если да, то очень странно.
Про протеины

Жду от Вас чисел, а не рассуждений о Сократе. И меня еще очень интересует, в каких странах средняя продолжительность жизни 25-30 лет.

Missir · 15/12/22 95

mihaild
ведь это Ваши утверждения

mihaild в сообщении #1632630 писал(а):

Пока что с прогрессом все квантили уровня жизни росли

и в их подтверждение Вы привели данные, которые на самом деле ничего не доказывают и не опровергают, т.к. не имеют прямого отношения к прогрессу (внедрение машин, массовое производство), которых произошел задолго до этих дат. Вы понимаете, чтобы оценить эффект, нужно проанализировать данные до и после? А этих данных Вы не предоставили, значит - ничего не доказали. Так, одна видимость.
Заметьте, если Вы пытаетесь что то доказать, ссылаясь на цифры, то Вам их и предоставлять, а уж никак ни мне.
Я лишь выразил сомнения по поводу позитивного влияния прогресса на благополучие нормального человека. И они имеют право на существование, пока не доказано обратное. Свои сомнения не нужно доказывать, их достаточно просто обосновать логически, что я и сделал. Я никогда не утверждал, что обладаю необходимой статистикой, да и не уверен вообще что она где то существует.

mihaild в сообщении #1632670 писал(а):

Ни на одном из скинутых мной графиков Индии нет

кстати и здесь Вы не правы, по предоставленной Вами же ссылке можно скачать файл MS Excel с разбивкой по странам, но вообще у меня этот сайт почему то работает очень плохо.

Вообще, я прекрасно понимаю, что идея о позитивном влиянии прогресса на каждого представителя человечества практически никем не подвергается сомнению. Но из этого не следует, что на самом деле всё так и есть.

mihaild · 16/07/14 8609 Цюрих