2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 17  След.
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 21:29 


15/06/23

69
ozheredov в сообщении #1601262 писал(а):
Webpack в сообщении #1601163 писал(а):
А векторная картинка што, не настоящая?


ПОРОЛЬ: Особенность восприятия входных данных как последодвательности символов над сильно конечным алфавитом и как условно-непрерывного двумерного поля.

Чаго?

-- 16.07.2023, 21:32 --

ozheredov в сообщении #1601268 писал(а):
А нафига Вам векторный формат? Давайте введем растровые триплеты в текстовом виде от верхне-правого до нижне-левого угла:

ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах. А Вы уж как-нибудь преобразуете в растр и выведете куда Вам надо. Может так было задумано?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 21:44 


10/03/16
4444
Aeroport
Webpack в сообщении #1601277 писал(а):
Чаго?


Текст - это одномерное нечто, а кортинко - двумерное.

Webpack в сообщении #1601277 писал(а):
ИИ без проблем увеличит векторную картинку в любое число раз без увеличения ее размера в байтах.


А зачем что-то увеличивать? Как вообще у нас стоит задача (ну, хотя бы задача у нас, я надеюсь, стоит)?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:12 


15/06/23

69
ozheredov
Двумерное нечто нарезали на тонкие полоски. Пренебрежем их шириной и будем считать их одномерными. Эти полоски сшили за концы в одну полоску. Двумерная картинка превратилась в одномерную полоску. Парадокс. А потом эту полоску еще раз нарезали на части. Цвет каждой части обозначили буквой.

Так картинка превратилась в текст. Обратное преобразование очевидно?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:20 


10/03/16
4444
Aeroport
Webpack в сообщении #1601287 писал(а):
Двумерная картинка превратилась в одномерную полоску.


И при этом потерялась информация о близости пикселей друг к другу и об углах между направлениями на разные пиксели.

Webpack в сообщении #1601287 писал(а):
Обратное преобразование очевидно?


Ну нет конечно, что Вы - ни в жисть не догадаюсь!

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:28 


15/06/23

69
ozheredov
Потерялась. Еще вперед пошлем период дискретизации по горизонтали и вертикали.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение16.07.2023, 22:32 


10/03/16
4444
Aeroport
Webpack в сообщении #1601292 писал(а):
Потерялась.

И чо теперь делать? :-( :o :shock: :oops:

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 21:21 
Аватара пользователя


17/10/22
358
Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models. Интересно послушать мнения про эту Retentive Network.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 21:27 
Заслуженный участник
Аватара пользователя


16/07/14
9084
Цюрих
MoonWatcher в сообщении #1601534 писал(а):
Сразу две новости за сегодня: LLama 2 и Retentive Network: A Successor to Transformer for Large Language Models
Внешне подобных статей каждый день десятки, во все вчитываться нереально. Стоит подождать несколько дней, всё интересное будет на ycombinator.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение18.07.2023, 22:55 


10/03/16
4444
Aeroport
MoonWatcher в сообщении #1601534 писал(а):
Интересно послушать мнения про эту Retentive Network.

С LSTM, трансформером и аттеншеном я так понимаю Вы уже разобрались, да?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:22 
Аватара пользователя


17/10/22
358
ozheredov
Не особо :oops: Я загрузил статью в чат-бот Claude 2 и после моего наводящего вопроса о возможном сочетании в этой архитектуре достоинств трансформеров и рекуррентных сетей он выдал такое summary (в автопереводе с английского):
Цитата:
В статье представлена новая архитектура нейронных сетей, названная Retentive Network (RetNet), которая сочетает в себе преимущества как рекуррентных нейронных сетей, так и сетей-трансформеров:

- Рекуррентные сети эффективны для обработки последовательностей, но медленно обучаются.
- Трансформеры быстро обучаются параллельно, но неэффективны при выводе (инференсе).
- RetNet использует новый механизм «удержания», который может работать в параллельном режиме, как трансформеры, для быстрого обучения и в рекуррентном режиме для эффективной обработки последовательностей.
- Таким образом, RetNet стремится получить лучшее из двух миров — быстрое обучение трансформеров и эффективный вывод рекуррентных сетей.
- Эксперименты показывают, что RetNet не уступает по производительности трансформерам и при этом требует гораздо меньше памяти и вычислительной мощности при обработке последовательностей.
- Это делает RetNet перспективной архитектурой нового поколения, особенно для больших языковых моделей.

Таким образом, RetNet сочетает в себе эффективность обучения трансформеров с эффективностью обработки последовательностей рекуррентными сетями.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:41 


10/03/16
4444
Aeroport
MoonWatcher

Я почему спросил: интерес бывает условно двух видов: генеративный и потребительский. На примере лопаты: генеративный - желание разобраться в сортах стали, видах грунта, станках ЧПУ и выточить свою лопату, которая будет не особо хуже других (а в некоторых задачах, может, и лучше). Потребительский - следить за обновлением ассортимента и ждать, когда подвезут нормальную лопату, потому что от той что есть болит спина и ладони в волдырях. Собственно, вопрос: Вы хотите создать LLM, или Вам нужна LLM для чего-то, причем Вы попробовали несколько и выработали критерии "лучше-хуже"?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 00:54 
Аватара пользователя


17/10/22
358
ozheredov
Интерес сугубо познавательный. Понятно, что реальные возможности новой архитектуры оценят разработчики (причем не факт, что скоро), но и заявленные авторами достоинства модели лично мне очень интересны.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 08:26 


12/07/15
3291
г. Чехов
Webpack в сообщении #1601010 писал(а):
Надо предоставить GPT-5 доступ к собственному коду.

Так этот код доступен сотне обученных интеллектов (датасайентистов), и они его допиливают как могут. Ваше представление о том, что градиентный метод улучшит градиентный метод, наивно. Улучшение практически невозможно. Ну в общем это мало полезная трата ресурсов, хождение по оврагам, когда ты уже ходишь по полуоптимальной низине.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 11:06 


10/03/16
4444
Aeroport
MoonWatcher в сообщении #1601546 писал(а):
Интерес сугубо познавательный.


Извиняюсь, до меня не дошло: Вы не разрабатываете никакие архитектуры, и Вы не используете никакие архитектуры, ни новые, ни старые, ни промежуточные, ни в качестве хобби, ни в качестве работы? Верно ли (если дело обстоит так, как написано выше), что познавание состоит в следующем:

Дядя-1: "Мы выкатили джипити-(n + 1) вместо джипитей-n, <далее следует набор умных слов про токены и т.д.>"
Дядя-2: "А, ну вот теперь мы точно [обретем квантовое бессмертие, нам дадут безусловный базовый доход, а затем разберут на скрепки, нужное подчеркнуть, недостающее вписать]"

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение19.07.2023, 12:12 
Аватара пользователя


17/10/22
358
ozheredov
В роли Дяди-2 я и сам могу выступить - желательно послушать Дядю-1.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 249 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 17  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group