Lenar08091. Литература: посмотрите- может, там есть?
Половинкин Е. С, Балашов М. В. Элементы выпуклого и сильно выпуклого анализа. — М.: ФИЗМАТЛИТ, 2004. — 416 с. — ISBN 5-9221-0499-3.
2. Откуда?
Вы таки не посмотрели определения...
а) Надо научиться складывать фигуры. Как? Поточечно:

состоит из сумм

точек множеств

и

(здесь

множество в линейном пространстве). (Пока этот барьер не взят, дальше можно не читать). Попробуйте - на плоскости - сложить квадратик с отрезком, два отрезка, два прямоугольника (все - параллельно осям). В трех-четырех -мерных пространствах складывать - тяжелее. Но есть факт: сумма выпуклых оболочек (точек) равна выпуклой оболочке сумм этих точек.
б) научились складывать многогранники (пусть все - выпуклое). А можно их еще умножать на числа -аналогично.
Теперь наше пространство многогранников - линейное (почти...)
в) Когда то Вам рассказывали про билинейные (пусть - симметричные) и квадратичные формы, и их взаимосвязь.
Аналогичный вопрос можно рассмотреть и в полилинейном случае. Тогда:

-мерный объем -

- форма; смешанный объем - соответствующая ей полилинейная форма. Но как - считать?
г) Это легко понять на следующей простой задаче: пусть калькулятор умеет складывать-вычитать числа , и возводить в квадрат. Как найти (удвоенное) произведение двух чисел?
Ответ:

. А для трех чисел и возведения в куб?
Ответ

А для четырех? ....Ну, совсем непросто уже.
д) Вот то, что стоит в левой части, и есть смешанный объем (фигур

), да еще и с нужным коэф-том.
е)В Вики предлагают - более эффективный в многомерном случае - способ. Надо рассмотреть линейную комбинацию четырех фигур

(

=4) с переменными к-тами

. Найдем ее объем. Он есть многочлен от

. Коэф-т при

и есть смешанный объем фигур.
-- 10.02.2016, 15:12 --И всё таки, я не понимаю, откуда здесь берутся коэффициенты

?
Т.е., если коротко: -из определения