Процессор Graphcore - в самом ли деле он настолько быстр?

[Ktina]

Представители компании Graphcore IPU, заканчивающей разработку специализированного чипа, предназначенного для ускорения выполнения задач, связанных с глубинным машинным обучением, самообучением и другими составными частями систем искусственного интеллекта, утверждают, что испытания первых образцов чипов Graphcore показали, что они способны обеспечить 100-кратное превосходство по производительности по сравнению с самыми быстрыми системами на сегодняшний день.

Чертовски хотелось бы поверить в это, но тот неисправимый пессимист, который сидит во мне, упорно твердит, что подобные заявления скорее больше похожи на рекламный трюк, нежели на истину.

Хотелось бы узнать, действительно ли чипы Graphcore работают в 100 раз быстрее? Каким образом проводились измерения этой "быстроты"? И если действительно в 100 раз, то за счёт чего достигается такое преимущество? И вообще, что послужило причиной подобного гигантского скачка?

[rockclimber]

Ktina в сообщении #1270298 писал(а):

И если действительно в 100 раз, то за счёт чего достигается такое преимущество?

За счет узкой специализации. Есть процессоры общего назначения, которые поддерживают много разных операций, но считают медленно, а есть специализированные, которые умеют только что-то одно, но зато хорошо. Например, видеокарты оптимизированы под перемножение матриц 4 х 4 элемента - потому что 3Д графика в значительной степени из таких перемножений и состоит.
Можно сравнить со швейцарским ножом: швейцарский нож - это нож, напильник, ножницы, отвертка и штопор. Но это плохой нож, плохой напильник, плохие ножницы, плохая отвертка и плохой штопор, которые зато вместе весят 200 граммов и влазят в карман. А можно купить отдельно хороший нож (а у них тоже своя специализация), хороший напильник и далее по списку, они в сумме будут весить несколько килограмм и занимать целый ящик. Зато отлично справятся со своей работой.

[Ktina]

rockclimber в сообщении #1270307 писал(а):

Ktina в сообщении #1270298 писал(а):

И если действительно в 100 раз, то за счёт чего достигается такое преимущество?

За счет узкой специализации. Есть процессоры общего назначения, которые поддерживают много разных операций, но считают медленно, а есть специализированные, которые умеют только что-то одно, но зато хорошо. Например, видеокарты оптимизированы под перемножение матриц 4 х 4 элемента - потому что 3Д графика в значительной степени из таких перемножений и состоит.

А из каких операций в значительной степени состоит ML?

-- 30.11.2017, 10:43 --

rockclimber в сообщении #1270307 писал(а):

Можно сравнить со швейцарским ножом: швейцарский нож - это нож, напильник, ножницы, отвертка и штопор. Но это плохой нож, плохой напильник, плохие ножницы, плохая отвертка и плохой штопор, которые зато вместе весят 200 граммов и влазят в карман. А можно купить отдельно хороший нож (а у них тоже своя специализация), хороший напильник и далее по списку, они в сумме будут весить несколько килограмм и занимать целый ящик. Зато отлично справятся со своей работой.

(Оффтоп)

Или с врачом-терапевтом, который знает понемногу обо всех болезнях.

[rockclimber]

Ktina в сообщении #1270309 писал(а):

А из каких операций в значительной степени состоит ML?

Понятия не имею. Но наверно какие-то есть, они их выделили и воплотили в "железе".

[Mihaylo]

Ktina в сообщении #1270309 писал(а):

А из каких операций в значительной степени состоит ML?

Линейные комбинации, всякие там сигмоиды, тангенсоиды, ReLU и т.п., может быть какие-то матричные операции типа перемножения, вычисления обратной матрицы и более сложные. Это всё навскидку, предположения.

[Paragraph]

Если я правильно понимаю намеки на то, в чем Graphcore превзойдет существующее железо, то это изначально зашитая в него высокая connectivity - то есть способность эффективно моделировать графы с высокими степенями связности. Это полезно для глубокого обучения и для рекуррентных сетей. Пока, если ничего не путаю, их железка не вышла, стоимость ее не заявлена. Как это будет конкурировать с массовым производством GPU тоже не ясно. Вначале будут инвесторские деньги проедать и продавать ниже себестоимости, скорее всего. Будем ждать :)

[Pavia]

В 100 раз? Как-то неверится, думаю автор статьи как всегда не в курсах о разработках NVidia. Вон Nvidia всего оруглим 12 раз смогла разогнать и то на обучении. А на расчётах в 5 раз.
http://www.nvidia.ru/object/nvidia-dgx- ... 05-ru.html

Если точность понизить с 32 до 8 бит. То наверно как раз в 100 раз и ускорятся.

[pptfhcs]

Ktina в сообщении #1270298 писал(а):

Чертовски хотелось бы поверить в это, но тот неисправимый пессимист, который сидит во мне, упорно твердит, что подобные заявления скорее больше похожи на рекламный трюк, нежели на истину.

Не терпится с Терминатором познакомиться?

[Ktina]

pptfhcs в сообщении #1278436 писал(а):

Не терпится с Терминатором познакомиться?

(Оффтоп)

Почему не наоборот? Мне кажется, что ИИ улучшит нашу жизнь, причём это будет именно качественный скачок, а не какое-то там очередное повышение ВВП на несколько процентов.

[photon]

Насколько я понял, TPU (Tensor Processing Unit) заточен под свёртки, причем с пониженной точностью (8 бит); несмотря на то, что тактовая частота у них существенно ниже чем у нынешних CPU, возможность перемножения матриц 256x256 за один такт на некоторых задачах действительно может обеспечить существенный выигрыш и по скорости и по энергопотреблению.

[bondkim137]

Просто сравнивать нужно с другими специализированными конкурентами, а не процессорами общего назначения.
Тогда 100-кратное превосходство уйдет, и битва пойдет за проценты.

Если производители видеокарт начнут сейчас пиарить себя, публикуя результаты сравнительных тестов рендеринга с софтовой реализацией, как бывало на заре в 90-е - тоже будут двухзначные коэфициенты и выше. Но ничего, кроме улыбки, это ни у одного программиста не вызовет.

[AdaBoost]

Тут новость про эти графовые чипы, ссылки запрещены, гуглите статью

Цитата:

Конец эпохи Nvidia? Graphcore разработала чипы на базе вычислительных графов

Вроде как ожидается в массы в скором времени, в любом случае конкуренция это хорошо.

[photon]

AdaBoost в сообщении #1363542 писал(а):

ссылки запрещены

Где вы такое нашли? Запрещены ссылки без аннотации, или не ведущие на обещанный материал, или же ведущие просто на мусорные/лженаучные и т.п. сайты. А вообще ссылки, особенно на хорошие источники очень даже приветствуются.

[Ktina]

AdaBoost в сообщении #1363542 писал(а):

Тут новость про эти графовые чипы, ссылки запрещены, гуглите статью

Цитата:

Конец эпохи Nvidia? Graphcore разработала чипы на базе вычислительных графов

Вроде как ожидается в массы в скором времени, в любом случае конкуренция это хорошо.

Этот конец обсуждается также здесь.