2 RTX 3060 12 GB

[BlackEric]

Добрый день.
Умеет ли ollama загрузить часть модели в один GPU, часть — в другой GPU.
Идея состоит в том что бы поставить в комп 2 RTX 3060 12GB и таким образом довольно дешево получить 24 GB VRAM.

Так кто-нибудь делал?

[BlackEric]

https://t.me/llm_is_all_you_need/21

Цитата:

Собрал себе домашний сервачок для экспериментов с LLM. И чтобы во всяких хакатонах на NLP-тематику участвовать. А то орги не всегда дают железо, а оно всегда надо :)

Нацеливался сразу на две 3090, т.к. планирую юзать модели несколько выше 7b (например, 14b) и хорошие кванты от жирных моделей (70B). Ti брать не стал, т.к. разница в производительности не значительная, а память одинаковая (24Gb на карточку). 4090 даже не рассматривал - слишком дорогие сейчас и жуть какие громоздкие.

Сборка и настройка машины с двумя видеокартами.

[Oleksandr Rybakov]

Тысячи долларов чтоб запустить тупого бота на 7В? Они и на 70В тупые. От триллиона начинается хоть какой-то интеллект.