Из Сети: для использования ChatGPT 3.5 минимально надо иметь 16 ГБ памяти, но желательно 32 или 64.
Не читайте больше этот источник. ChatGPT вы запустить у себя локально не сможете ни на каком железе, просто потому, что вам никто не даст веса.
(Оффтоп)
Nvidea
Поскольку не первый раз - пишется nvid
ia.
добавила FP4
Который сильно не везде применим. И понимание, где и как его применять - выходит далеко за рамки того, что можно объяснить школьникам.
Такие дети во сне видят листинги кода, формулы и схемы алгоритмов
Формулы и схемы алгоритмов - математика. Вещь осмысленная. А современный ML - алхимия. С использованием неплохой математики - интеграл Ито был бы одной из последних вещей из стандартного курса ММ, который я бы предположил, что может мне понадобиться на практике, но однако нужен - но большая часть это всё равно сборники рецептов, никак хорошо не систематизирующиеся. Все имеющиеся теоретические результаты про нейронки остаются верными при замене данных на случайный шум - соответственно, откуда берется "обобщающая способность", не знает никто.
И этим детям просить родителей о покупке железа и самим помогать собирать деньги. И при покупке надо выбирать, если есть возможность. Как не зная архитектуры, инфы о состоянии производителя и истории развития архитектуры это сделать?
Посмотреть первый попавшийся бенчмарк.
Впрочем, полезность покупки физических GPU для таких упражнений тоже у меня вызывает сомнения. Бесплатные лимиты в google colab покрывают всё, что может понадобиться школьникам. И, подозреваю, у яндекса должны быть какие-нибудь околобесплатные программы для образовательных учреждений с солидными ресурсами.
Да и для оптимизации нужно знать
Как работает back propagation - нужно. Как работают конкретные чипы - безумно специализированное знание.
Да просто писать честно и подробно, как себе
Вот как себе. Берем элементарно однослойный перцептрон,

. Для обучения нужно посчитать производные по

.
Строчка выше уже требует нескольких полноценных лекций. Нужно ввести вещественные числа, матрицы, экспоненту, производную.
Доказательства/обоснования в разделах со звездочкой
В этой области доказательств и обоснований почти нет.