Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 Методы оптимизации производительности LLM систем
Здравствуйте. Использую связку OpenCode и LM Studio. Применяю Qwen 3.6 35B. Хочу распараллелить нагрузку на несколько машин. Нашел 2 подхода:
1) разбрасывать запросы из OpenCode по IP адресам разных машин
2) Ставить систему, которая объединяет машины в кластеры, например EXO -https://github.com/exo-explore/exo

Кто какие методы использует, предлагаю обсудить. Оценить перспективы развития локальных LLM. По моим наблюдениям LLM требует многих навыков в обслуживании - это должно увеличить спрос на новые курсы и специальности..

 [ 1 сообщение ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group