2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 17  След.
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 21:29 


15/06/23

69
ozheredov в сообщении #1601262 писал(а):
Webpack в сообщении #1601163 писал(а):
А векторная картинка што, не настоящая?


ПОРОЛЬ: Особенность восприятия входных данных как последодвательности символов над сильно конечным алфавитом и как условно-непрерывного двумерного поля.

Чаго?

-- 16.07.2023, 21:32 --

ozheredov в сообщении #1601268 писал(а):
А нафига Вам векторный формат? Давайте введем растровые триплеты в текстовом виде от верхне-правого до нижне-левого угла:

ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах. А Вы уж как-нибудь преобразуете в растр и выведете куда Вам надо. Может так было задумано?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 21:44 


10/03/16
4444
Aeroport
Webpack в сообщении #1601277 писал(а):
Чаго?


Текст - это одномерное нечто, а кортинко - двумерное.

Webpack в сообщении #1601277 писал(а):
ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах.


А зачем что-то увеличивать? Как вообще у нас стоит задача (ну, хотя бы задача у нас, я надеюсь, стоит)?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:12 


15/06/23

69
ozheredov
Двумерное нечто нарезали на тонкие полоски. Пренебрежем их шириной и будем считать их одномерными. Эти полоски сшили за концы в одну полоску. Двумерная картинка превратилась в одномерную полоску. Парадокс. А потом эту полоску еще раз нарезали на части. Цвет каждой части обозначили буквой.

Так картинка превратилась в текст. Обратное преобразование очевидно?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:20 


10/03/16
4444
Aeroport
Webpack в сообщении #1601287 писал(а):
Двумерная картинка превратилась в одномерную полоску.


И при этом потерялась информация о близости пикселей друг к другу и об углах между направлениями на разные пиксели.

Webpack в сообщении #1601287 писал(а):
Обратное преобразование очевидно?


Ну нет конечно, что Вы - ни в жисть не догадаюсь!

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:28 


15/06/23

69
ozheredov
Потерялась. Еще вперед пошлем период дискретизации по горизонтали и вертикали.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:32 


10/03/16
4444
Aeroport
Webpack в сообщении #1601292 писал(а):
Потерялась.

И чо теперь делать? :-( :o :shock: :oops:

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 21:21 
Аватара пользователя


17/10/22
369
Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models. Интересно послушать мнения про эту Retentive Network.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 21:27 
Заслуженный участник
Аватара пользователя


16/07/14
9208
Цюрих
MoonWatcher в сообщении #1601534 писал(а):
Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models
Внешне подобных статей каждый день десятки, во все вчитываться нереально. Стоит подождать несколько дней, всё интересное будет на ycombinator.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 22:55 


10/03/16
4444
Aeroport
MoonWatcher в сообщении #1601534 писал(а):
Интересно послушать мнения про эту Retentive Network.

С LSTM, трансформером и аттеншеном я так понимаю Вы уже разобрались, да?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:22 
Аватара пользователя


17/10/22
369
ozheredov
Не особо :oops: Я загрузил статью в чат-бот Claude 2 и после моего наводящего вопроса о возможном сочетании в этой архитектуре достоинств трансформеров и рекуррентных сетей он выдал такое summary (в автопереводе с английского):
Цитата:
В статье представлена новая архитектура нейронных сетей, названная Retentive Network (RetNet), которая сочетает в себе преимущества как рекуррентных нейронных сетей, так и сетей-трансформеров:

- Рекуррентные сети эффективны для обработки последовательностей, но медленно обучаются.
- Трансформеры быстро обучаются параллельно, но неэффективны при выводе (инференсе).
- RetNet использует новый механизм «удержания», который может работать в параллельном режиме, как трансформеры, для быстрого обучения и в рекуррентном режиме для эффективной обработки последовательностей.
- Таким образом, RetNet стремится получить лучшее из двух миров — быстрое обучение трансформеров и эффективный вывод рекуррентных сетей.
- Эксперименты показывают, что RetNet не уступает по производительности трансформерам и при этом требует гораздо меньше памяти и вычислительной мощности при обработке последовательностей.
- Это делает RetNet перспективной архитектурой нового поколения, особенно для больших языковых моделей.

Таким образом, RetNet сочетает в себе эффективность обучения трансформеров с эффективностью обработки последовательностей рекуррентными сетями.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:41 


10/03/16
4444
Aeroport
MoonWatcher

Я почему спросил: интерес бывает условно двух видов: генеративный и потребительский. На примере лопаты: генеративный - желание разобраться в сортах стали, видах грунта, станках ЧПУ и выточить свою лопату, которая будет не особо хуже других (а в некоторых задачах, может, и лучше). Потребительский - следить за обновлением ассортимента и ждать, когда подвезут нормальную лопату, потому что от той что есть болит спина и ладони в волдырях. Собственно, вопрос: Вы хотите создать LLM, или Вам нужна LLM для чего-то, причем Вы попробовали несколько и выработали критерии "лучше-хуже"?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:54 
Аватара пользователя


17/10/22
369
ozheredov
Интерес сугубо познавательный. Понятно, что реальные возможности новой архитектуры оценят разработчики (причем не факт, что скоро), но и заявленные авторами достоинства модели лично мне очень интересны.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 08:26 


12/07/15
3349
г. Чехов
Webpack в сообщении #1601010 писал(а):
Надо предоставить GPT-5 доступ к собственному коду.

Так этот код доступен сотне обученных интеллектов (датасайентистов), и они его допиливают как могут. Ваше представление о том, что градиентный метод улучшит градиентный метод, наивно. Улучшение практически невозможно. Ну в общем это мало полезная трата ресурсов, хождение по оврагам, когда ты уже ходишь по полуоптимальной низине.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 11:06 


10/03/16
4444
Aeroport
MoonWatcher в сообщении #1601546 писал(а):
Интерес сугубо познавательный.


Извиняюсь, до меня не дошло: Вы не разрабатываете никакие архитектуры, и Вы не используете никакие архитектуры, ни новые, ни старые, ни промежуточные, ни в качестве хобби, ни в качестве работы? Верно ли (если дело обстоит так, как написано выше), что познавание состоит в следующем:

Дядя-1: "Мы выкатили джипити-(n + 1) вместо джипитей-n, <далее следует набор умных слов про токены и т.д.>"
Дядя-2: "А, ну вот теперь мы точно [обретем квантовое бессмертие, нам дадут безусловный базовый доход, а затем разберут на скрепки, нужное подчеркнуть, недостающее вписать]"

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 12:12 
Аватара пользователя


17/10/22
369
ozheredov
В роли Дяди-2 я и сам могу выступить - желательно послушать Дядю-1.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 249 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 17  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: tolstopuz


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group