2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Железо для небольшой LLM
Сообщение21.11.2023, 02:04 


20/09/09
1842
Уфа
Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?

 Профиль  
                  
 
 Re: Железо для небольшой LLM
Сообщение31.12.2023, 19:38 


30/08/10
158
Есть вот такая программа. Там не все нейросети. На 16 гб RAM там что-то есть. У меня на i5 на ноутбуке токенов 5-7 в секунду на 8-гигабайтных моделях. Они там используют квантизацию. Не очень умные, но зато локальные и бесплатные.
https://gpt4all.io/index.html

 Профиль  
                  
 
 Re: Железо для небольшой LLM
Сообщение01.01.2024, 04:01 


18/09/21
1668
Там нужна современная видеокарта (вроде RTX) с большим объемом памяти.
И чтобы видеокарта и материнка поддерживали Resizable Bar.

 Профиль  
                  
 
 Re: Железо для небольшой LLM
Сообщение01.01.2024, 20:45 


20/09/09
1842
Уфа
Rasool в сообщении #1619003 писал(а):
Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?

Меня заинтересовала эта тема, потому что наткнулся на следующие статьи: Time-LLM - time series forecasting by reprogramming large language models.pdf, Mathematical discoveries from program search with large language models, GPT-like модель «впервые сделала научное открытие»: что, как, и куда дальше?

 Профиль  
                  
 
 Re: Железо для небольшой LLM
Сообщение02.01.2024, 12:26 


19/11/22
38
Тюмень
Rasool в сообщении #1619003 писал(а):
Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?


i7-3770K Слишком устарел лучше какой нибуть райзен типа 3700X и выше, и хотя бы пару видеокарт типа 4080 в SLI

 Профиль  
                  
 
 Re: Железо для небольшой LLM
Сообщение05.01.2024, 09:01 


20/09/09
1842
Уфа
В телеграм-канале датасаентистов посоветовали следующее:
Цитата:
https://habr.com/ru/articles/781702/
Сколько RAM нужно для разных версий модели смотрите тут: https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group