2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 2 RTX 3060 12 GB
Сообщение25.05.2025, 12:42 
Добрый день.
Умеет ли ollama загрузить часть модели в один GPU, часть — в другой GPU.
Идея состоит в том что бы поставить в комп 2 RTX 3060 12GB и таким образом довольно дешево получить 24 GB VRAM.

Так кто-нибудь делал?

 
 
 
 Re: 2 RTX 3060 12 GB
Сообщение29.05.2025, 23:25 
https://t.me/llm_is_all_you_need/21

Цитата:
Собрал себе домашний сервачок для экспериментов с LLM. И чтобы во всяких хакатонах на NLP-тематику участвовать. А то орги не всегда дают железо, а оно всегда надо :)

Нацеливался сразу на две 3090, т.к. планирую юзать модели несколько выше 7b (например, 14b) и хорошие кванты от жирных моделей (70B). Ti брать не стал, т.к. разница в производительности не значительная, а память одинаковая (24Gb на карточку). 4090 даже не рассматривал - слишком дорогие сейчас и жуть какие громоздкие.


Сборка и настройка машины с двумя видеокартами.

 
 
 
 Re: 2 RTX 3060 12 GB
Сообщение30.05.2025, 20:01 
Тысячи долларов чтоб запустить тупого бота на 7В? Они и на 70В тупые. От триллиона начинается хоть какой-то интеллект.

 
 
 [ Сообщений: 3 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group