Так Game Over или нет?

[Webpack]

ozheredov в сообщении #1601262 писал(а):

Webpack в сообщении #1601163 писал(а):

А векторная картинка што, не настоящая?

ПОРОЛЬ: Особенность восприятия входных данных как последодвательности символов над сильно конечным алфавитом и как условно-непрерывного двумерного поля.

Чаго?

-- 16.07.2023, 21:32 --

ozheredov в сообщении #1601268 писал(а):

А нафига Вам векторный формат? Давайте введем растровые триплеты в текстовом виде от верхне-правого до нижне-левого угла:

ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах. А Вы уж как-нибудь преобразуете в растр и выведете куда Вам надо. Может так было задумано?

[ozheredov]

Webpack в сообщении #1601277 писал(а):

Чаго?

Текст - это одномерное нечто, а кортинко - двумерное.

Webpack в сообщении #1601277 писал(а):

ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах.

А зачем что-то увеличивать? Как вообще у нас стоит задача (ну, хотя бы задача у нас, я надеюсь, стоит)?

[Webpack]

ozheredov
Двумерное нечто нарезали на тонкие полоски. Пренебрежем их шириной и будем считать их одномерными. Эти полоски сшили за концы в одну полоску. Двумерная картинка превратилась в одномерную полоску. Парадокс. А потом эту полоску еще раз нарезали на части. Цвет каждой части обозначили буквой.

Так картинка превратилась в текст. Обратное преобразование очевидно?

[ozheredov]

Webpack в сообщении #1601287 писал(а):

Двумерная картинка превратилась в одномерную полоску.

И при этом потерялась информация о близости пикселей друг к другу и об углах между направлениями на разные пиксели.

Webpack в сообщении #1601287 писал(а):

Обратное преобразование очевидно?

Ну нет конечно, что Вы - ни в жисть не догадаюсь!

[Webpack]

ozheredov
Потерялась. Еще вперед пошлем период дискретизации по горизонтали и вертикали.

[ozheredov]

Webpack в сообщении #1601292 писал(а):

Потерялась.

И чо теперь делать?

[MoonWatcher]

Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models. Интересно послушать мнения про эту Retentive Network.

[mihaild]

MoonWatcher в сообщении #1601534 писал(а):

Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models

Внешне подобных статей каждый день десятки, во все вчитываться нереально. Стоит подождать несколько дней, всё интересное будет на ycombinator.

[ozheredov]

MoonWatcher в сообщении #1601534 писал(а):

Интересно послушать мнения про эту Retentive Network.

С LSTM, трансформером и аттеншеном я так понимаю Вы уже разобрались, да?

[MoonWatcher]

ozheredov
Не особо Я загрузил статью в чат-бот Claude 2 и после моего наводящего вопроса о возможном сочетании в этой архитектуре достоинств трансформеров и рекуррентных сетей он выдал такое summary (в автопереводе с английского):

Цитата:

В статье представлена новая архитектура нейронных сетей, названная Retentive Network (RetNet), которая сочетает в себе преимущества как рекуррентных нейронных сетей, так и сетей-трансформеров:

- Рекуррентные сети эффективны для обработки последовательностей, но медленно обучаются.
- Трансформеры быстро обучаются параллельно, но неэффективны при выводе (инференсе).
- RetNet использует новый механизм «удержания», который может работать в параллельном режиме, как трансформеры, для быстрого обучения и в рекуррентном режиме для эффективной обработки последовательностей.
- Таким образом, RetNet стремится получить лучшее из двух миров — быстрое обучение трансформеров и эффективный вывод рекуррентных сетей.
- Эксперименты показывают, что RetNet не уступает по производительности трансформерам и при этом требует гораздо меньше памяти и вычислительной мощности при обработке последовательностей.
- Это делает RetNet перспективной архитектурой нового поколения, особенно для больших языковых моделей.

Таким образом, RetNet сочетает в себе эффективность обучения трансформеров с эффективностью обработки последовательностей рекуррентными сетями.

[ozheredov]

MoonWatcher

Я почему спросил: интерес бывает условно двух видов: генеративный и потребительский. На примере лопаты: генеративный - желание разобраться в сортах стали, видах грунта, станках ЧПУ и выточить свою лопату, которая будет не особо хуже других (а в некоторых задачах, может, и лучше). Потребительский - следить за обновлением ассортимента и ждать, когда подвезут нормальную лопату, потому что от той что есть болит спина и ладони в волдырях. Собственно, вопрос: Вы хотите создать LLM, или Вам нужна LLM для чего-то, причем Вы попробовали несколько и выработали критерии "лучше-хуже"?

[MoonWatcher]

ozheredov
Интерес сугубо познавательный. Понятно, что реальные возможности новой архитектуры оценят разработчики (причем не факт, что скоро), но и заявленные авторами достоинства модели лично мне очень интересны.

[Mihaylo]

Webpack в сообщении #1601010 писал(а):

Надо предоставить GPT-5 доступ к собственному коду.

Так этот код доступен сотне обученных интеллектов (датасайентистов), и они его допиливают как могут. Ваше представление о том, что градиентный метод улучшит градиентный метод, наивно. Улучшение практически невозможно. Ну в общем это мало полезная трата ресурсов, хождение по оврагам, когда ты уже ходишь по полуоптимальной низине.

[ozheredov]

MoonWatcher в сообщении #1601546 писал(а):

Интерес сугубо познавательный.

Извиняюсь, до меня не дошло: Вы не разрабатываете никакие архитектуры, и Вы не используете никакие архитектуры, ни новые, ни старые, ни промежуточные, ни в качестве хобби, ни в качестве работы? Верно ли (если дело обстоит так, как написано выше), что познавание состоит в следующем:

Дядя-1: "Мы выкатили джипити-(n + 1) вместо джипитей-n, <далее следует набор умных слов про токены и т.д.>"
Дядя-2: "А, ну вот теперь мы точно [обретем квантовое бессмертие, нам дадут безусловный базовый доход, а затем разберут на скрепки, нужное подчеркнуть, недостающее вписать]"

[MoonWatcher]

ozheredov
В роли Дяди-2 я и сам могу выступить - желательно послушать Дядю-1.