Aael, что-то у вас вектор
k, при котором, вы говорите, достигается максимум, не соответствует условию задачи: у него есть компонента, отличная от 0 или 1.
Так же, тут что-то нехорошее творится в задаче: без каких-либо ограничений на вектора
a и
b гиперплоскость, соответствующая условию (1) может не проходить ни через одну вершину гиперкуба. Тогда вообще никаких решений не будет. Более того, в
n-мерном пространстве киперкуб имеет
вершин, в то время как гиперплоскость задаётся только
неколлинеарной точкой. (В гиперкубе есть коллинеарные точки. Кстати, интересный вопрос: через сколько вершин единичного
n-мерного гиперкуба максимум может проходить
n-мерная гиперплоскость?) Я это к тому, уверены ли вы, что вы описали ту задачу, что нужно?