Итак, надо найти величины p(a(k)). Будем для краткости их обозначать просто

.
Они должны удовлетворять следующим условиям:
1.

2.

(b --- заданная величина)
Заметим, что вторая сумма не меньше первой. Поэтому при b<1 задача не имеет решения.
При b=1 единственное решение ---

, остальные --- нули. Энтропия = 0.
Будем считать далее, что b>1.
3. Энтропия

максимальна.
(замечание: определение энтропии может быть с логарифмом по другому основанию, например 2. Это не влияет на суть задачи: просто H(A) умножится на постоянный коэффициент

, где x --- основание логарифма в Вашем определении энтропии, а

--- основание логарифма в моем)
Нахождение максимума при условии можно делать, например, так. Выражение

должно достигать локального экстремума (c, d --- некоторые константы, которые можно будет определить в самом конце из равенств

и

).
Если

отлично от крайних значений (0 и 1), то производная

должна быть равна 0. Будем считать (см. 4*), что все вероятности отличны от 0 и 1. Тогда для всех k должны выполнятся равенства

(умножили для удобство равенство на -1)
Отсюда заключаем, что

.
Вам осталось:
1. Суммированием геометрической прогрессии записать явно равенство

и чуть сложнее равенство

.
2. Найти d и c.
3. Сосчитать энтропию H(A).
4*. Понять, почему случаи, когда хотя бы одна из вероятностей равна 0 и 1 в качестве искомого максимума не годятся (мы их не рассмотрели).