2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение30.11.2017, 09:50 
Аватара пользователя


01/12/11
6653
Ярдена Шуламит, шуламила и будет шуламить!
Представители компании Graphcore IPU, заканчивающей разработку специализированного чипа, предназначенного для ускорения выполнения задач, связанных с глубинным машинным обучением, самообучением и другими составными частями систем искусственного интеллекта, утверждают, что испытания первых образцов чипов Graphcore показали, что они способны обеспечить 100-кратное превосходство по производительности по сравнению с самыми быстрыми системами на сегодняшний день.

Чертовски хотелось бы поверить в это, но тот неисправимый пессимист, который сидит во мне, упорно твердит, что подобные заявления скорее больше похожи на рекламный трюк, нежели на истину.

Хотелось бы узнать, действительно ли чипы Graphcore работают в 100 раз быстрее? Каким образом проводились измерения этой "быстроты"? И если действительно в 100 раз, то за счёт чего достигается такое преимущество? И вообще, что послужило причиной подобного гигантского скачка?

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение30.11.2017, 10:34 
Заслуженный участник


06/07/11
4499
кран.набрать.грамота
Ktina в сообщении #1270298 писал(а):
И если действительно в 100 раз, то за счёт чего достигается такое преимущество?
За счет узкой специализации. Есть процессоры общего назначения, которые поддерживают много разных операций, но считают медленно, а есть специализированные, которые умеют только что-то одно, но зато хорошо. Например, видеокарты оптимизированы под перемножение матриц 4 х 4 элемента - потому что 3Д графика в значительной степени из таких перемножений и состоит.
Можно сравнить со швейцарским ножом: швейцарский нож - это нож, напильник, ножницы, отвертка и штопор. Но это плохой нож, плохой напильник, плохие ножницы, плохая отвертка и плохой штопор, которые зато вместе весят 200 граммов и влазят в карман. А можно купить отдельно хороший нож (а у них тоже своя специализация), хороший напильник и далее по списку, они в сумме будут весить несколько килограмм и занимать целый ящик. Зато отлично справятся со своей работой.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение30.11.2017, 10:41 
Аватара пользователя


01/12/11
6653
Ярдена Шуламит, шуламила и будет шуламить!
rockclimber в сообщении #1270307 писал(а):
Ktina в сообщении #1270298 писал(а):
И если действительно в 100 раз, то за счёт чего достигается такое преимущество?
За счет узкой специализации. Есть процессоры общего назначения, которые поддерживают много разных операций, но считают медленно, а есть специализированные, которые умеют только что-то одно, но зато хорошо. Например, видеокарты оптимизированы под перемножение матриц 4 х 4 элемента - потому что 3Д графика в значительной степени из таких перемножений и состоит.

А из каких операций в значительной степени состоит ML?

-- 30.11.2017, 10:43 --

rockclimber в сообщении #1270307 писал(а):
Можно сравнить со швейцарским ножом: швейцарский нож - это нож, напильник, ножницы, отвертка и штопор. Но это плохой нож, плохой напильник, плохие ножницы, плохая отвертка и плохой штопор, которые зато вместе весят 200 граммов и влазят в карман. А можно купить отдельно хороший нож (а у них тоже своя специализация), хороший напильник и далее по списку, они в сумме будут весить несколько килограмм и занимать целый ящик. Зато отлично справятся со своей работой.

(Оффтоп)

Или с врачом-терапевтом, который знает понемногу обо всех болезнях.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение30.11.2017, 11:02 
Заслуженный участник


06/07/11
4499
кран.набрать.грамота
Ktina в сообщении #1270309 писал(а):
А из каких операций в значительной степени состоит ML?
Понятия не имею. Но наверно какие-то есть, они их выделили и воплотили в "железе".

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение30.11.2017, 16:00 


12/07/15
934
Ktina в сообщении #1270309 писал(а):
А из каких операций в значительной степени состоит ML?

Линейные комбинации, всякие там сигмоиды, тангенсоиды, ReLU и т.п., может быть какие-то матричные операции типа перемножения, вычисления обратной матрицы и более сложные. Это всё навскидку, предположения.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение01.12.2017, 03:47 


01/05/17
36
Где я?
Если я правильно понимаю намеки на то, в чем Graphcore превзойдет существующее железо, то это изначально зашитая в него высокая connectivity - то есть способность эффективно моделировать графы с высокими степенями связности. Это полезно для глубокого обучения и для рекуррентных сетей. Пока, если ничего не путаю, их железка не вышла, стоимость ее не заявлена. Как это будет конкурировать с массовым производством GPU тоже не ясно. Вначале будут инвесторские деньги проедать и продавать ниже себестоимости, скорее всего. Будем ждать :)

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение01.12.2017, 11:02 
Аватара пользователя


31/10/08
857
В 100 раз? Как-то неверится, думаю автор статьи как всегда не в курсах о разработках NVidia. Вон Nvidia всего оруглим 12 раз смогла разогнать и то на обучении. А на расчётах в 5 раз.
http://www.nvidia.ru/object/nvidia-dgx- ... 05-ru.html

Если точность понизить с 32 до 8 бит. То наверно как раз в 100 раз и ускорятся.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение24.12.2017, 22:08 


21/11/17

25
Ktina в сообщении #1270298 писал(а):
Чертовски хотелось бы поверить в это, но тот неисправимый пессимист, который сидит во мне, упорно твердит, что подобные заявления скорее больше похожи на рекламный трюк, нежели на истину.

Не терпится с Терминатором познакомиться?

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение25.12.2017, 00:38 
Аватара пользователя


01/12/11
6653
Ярдена Шуламит, шуламила и будет шуламить!
pptfhcs в сообщении #1278436 писал(а):
Не терпится с Терминатором познакомиться?

(Оффтоп)

Почему не наоборот? Мне кажется, что ИИ улучшит нашу жизнь, причём это будет именно качественный скачок, а не какое-то там очередное повышение ВВП на несколько процентов.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение27.12.2017, 14:59 
Экс-модератор
Аватара пользователя


23/12/05
10434
Насколько я понял, TPU (Tensor Processing Unit) заточен под свёртки, причем с пониженной точностью (8 бит); несмотря на то, что тактовая частота у них существенно ниже чем у нынешних CPU, возможность перемножения матриц 256x256 за один такт на некоторых задачах действительно может обеспечить существенный выигрыш и по скорости и по энергопотреблению.

 Профиль  
                  
 
 Re: Процессор Graphcore - в самом ли деле он настолько быстр?
Сообщение02.03.2018, 12:40 
Аватара пользователя


07/02/12
1156
Питер
Просто сравнивать нужно с другими специализированными конкурентами, а не процессорами общего назначения.
Тогда 100-кратное превосходство уйдет, и битва пойдет за проценты.

Если производители видеокарт начнут сейчас пиарить себя, публикуя результаты сравнительных тестов рендеринга с софтовой реализацией, как бывало на заре в 90-е - тоже будут двухзначные коэфициенты и выше. Но ничего, кроме улыбки, это ни у одного программиста не вызовет.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 11 ] 

Модераторы: Karan, PAV, Toucan, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group