Книги по искусственному интеллекту

[tac]

Rasool в сообщении #1708142 писал(а):

Интересно было бы почитать про принцип работы современных нейросетей типа ChatGPT, особенно с reasoning.

Attention Is All You Need - эта статья основа трансформеров, что вам и нужно.

[Mihaylo]

ChatGPT - это интерфейс фирмы OpenAI семейства LLM, которые сменяют друг друга как перчатки, а не трансформеры, которые тоже не LLM. Но короче мы поняли, вам интересно про всё сразу, просто не разобрались.

[mihaild]

Mihaylo в сообщении #1710174 писал(а):

ChatGPT - это интерфейс фирмы OpenAI семейства LLM, которые сменяют друг друга как перчатки, а не трансформеры, которые тоже не LLM

ЯННП. У всех современных LLM архитектура - тот или иной вариант трансформеров.

[Mihaylo]

Но это же не одно и тоже, трансформеры - это база, а там сверху наворачиваются MoE и всякая подобная фигня. Я не знаю зачем вы так их объединили, рано ещё, это не варианты трансформеров, а надсистемы, основанные на них.

[mihaild]

Mihaylo в сообщении #1710178 писал(а):

Я не знаю зачем вы так их объединили, рано ещё, это не варианты трансформеров, а надсистемы, основанные на них.

В любом случае, для изучения, как работают LLM, нужно разобраться с трансформерами.

[Mihaylo]

Я думаю, что в коммерческих LLM и GPT уже никому не дано разобраться, а в трансформерах ещё есть шанс.