Железо для небольшой LLM

[Rasool]

Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?

[Tookser]

Есть вот такая программа. Там не все нейросети. На 16 гб RAM там что-то есть. У меня на i5 на ноутбуке токенов 5-7 в секунду на 8-гигабайтных моделях. Они там используют квантизацию. Не очень умные, но зато локальные и бесплатные.
https://gpt4all.io/index.html

[zykov]

Там нужна современная видеокарта (вроде RTX) с большим объемом памяти.
И чтобы видеокарта и материнка поддерживали Resizable Bar.

[Rasool]

Rasool в сообщении #1619003 писал(а):

Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?

Меня заинтересовала эта тема, потому что наткнулся на следующие статьи: Time-LLM - time series forecasting by reprogramming large language models.pdf, Mathematical discoveries from program search with large language models, GPT-like модель «впервые сделала научное открытие»: что, как, и куда дальше?

[Programma_Boinc]

Rasool в сообщении #1619003 писал(а):

Я сейчас читаю статьи с Arxiv.org про применение LLM в оптимизации, прогнозировании и т.д. У меня такой вопрос: можно ли для таких задач арендовать (или использовать) нейронную сеть на ресурсе типа Google Colab для того, чтобы поднять на ней небольшую LLM для этих целей?
Или можно даже обойтись домашним компьютером, у меня сейчас стоит процессор Intel(R) Core(TM) i7-3770K CPU @ 3.50GHz 3.50 GHz (2013-го года), оперативная память 32,0 ГБ (доступно: 31,7 ГБ), система 64-разрядная Windows 10 Home Edition?

i7-3770K Слишком устарел лучше какой нибуть райзен типа 3700X и выше, и хотя бы пару видеокарт типа 4080 в SLI

[Rasool]

В телеграм-канале датасаентистов посоветовали следующее:

Цитата:

https://habr.com/ru/articles/781702/
Сколько RAM нужно для разных версий модели смотрите тут: https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF