TeX (если Вам нужна вёрстка) и MetaPost, если нужны картинки. TeX является свободной системой везде, кроме MacOS. В Линухе он тоже есть (teTeX). С гиперссылками проблем нет, они в PDF и DVI легко делаются. Как - см. документацию, вообще поиск слова hyper по файлам обычно приводит к цели.
Хитрых значков в наборах шрифтов ТеХа очень много, если чего-то нет - сами в МетаПосте нарисуете. Только не думайте, что Вы это всё сделаете за неделю. По нашему опыту работы в издательстве МЦНМО, познать кунг-фу быстрее чем за год работы нереально.
Из разумной литературы на русском языке рекомендуем книгу С.М.Львовского (Набор и вёрстка в системе LaTeX), там всё очень клёво написано. Она лежит (PS, TeX) на
http://www.mccme.ru в разделе свободно распространяемых книг.
Думаю, такого ответа достаточно. По сути, тему можно закрывать.
Я конечно, знаю про существование TEX, но раньше в нём не работал, и как решить вопрос с гиперссылками и хитрыми значками, не в курсе. Свободный софт под линух был бы оптимальным вариантом. Ответ в стиле "всё это легко сделать в TEX, RTFM" меня устроит 
