Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Новая тема Ответить
 Методы оптимизации производительности LLM систем


24/04/25
29/09/26
138
Здравствуйте. Использую связку OpenCode и LM Studio. Применяю Qwen 3.6 35B. Хочу распараллелить нагрузку на несколько машин. Нашел 2 подхода:
1) разбрасывать запросы из OpenCode по IP адресам разных машин
2) Ставить систему, которая объединяет машины в кластеры, например EXO -https://github.com/exo-explore/exo

Кто какие методы использует, предлагаю обсудить. Оценить перспективы развития локальных LLM. По моим наблюдениям LLM требует многих навыков в обслуживании - это должно увеличить спрос на новые курсы и специальности..

Профиль
Показать сообщения за:  Поле сортировки  
Новая тема Ответить  [ 1 сообщение ] 

Модераторы: Toucan, PAV, maxal, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Mikhail_K



Найти:
Соглашение о конфиденциальности | Общие правила

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group