В общем случае, если вокруг костра сидят 

 разбойников и каждый ненавидит своих двух ближайших соседей, то выбрать 

 (где 

) разбойников из этих 

, так, чтобы в это число не попали никакие два ненавидящих друг друга, можно 

 способами.
Рассуждения для доказательство этого примерно такие. Возьмём какого-нибудь разбойника (назовём его главным) и зафиксируем этот выбор. Далее все выбираемые комбинации разбойников распадаются на два класса - в одних из них участвует главный, а в других - нет. Для каждого класса посчитаем количество нужных нам комбинаций и сложим их. Для 1-го класса мы можем выбирать остальных 

 разбойников среди оставшихся 

 (мы сразу исключили еще и соседей главного, т.к. они не должны попасть в выборку). Для 2-го класса нам необходимо выбирать 

 из 

 разбойников (т.к. главный уже исключён, то его соседей мы уже не можем исключать). Но в каждой из полученных подзадач разбойники уже не сидят по кругу, а сидят в ряд и только крайние ненавидят по одному своему соседу. Т.е. необходимо найти число способов выбрать 

 разбойников из 

 сидящих в ряд и ненавидящих своих ближайших соседей (у каждого кроме крайних по два соседа, у крайних - по одному), так чтобы в это число не попали никакие два ненавидящих друг друга. Эта задача очевидно равносильна следующей:
Сколькими способами можно расставить 
 нулей и 
 единиц так, чтобы никакие две единицы не стояли рядом?Решение этой задачи: 

 способами.
В итоге, для 1-го класса мы имеем 

, 

 и число способов равно:

.
Для 2-го класса 

, 

 и число способов равно:

.
Ну я думаю для подзадачи про нули и единицы Вы разберётесь с решением.
(Оффтоп)
Вы попробуйте прежде посчитать сколькими способами можно выбрать 5 разбойников, среди которых как минимум двое ненавидят друг друга.
За это моё замечаение извиняюсь. К такому типу задач этот подход не применим. Я сначало тоже не верно рассуждал.