Автор затем начинает вводить определения моментов этой функции, при этом говоря что это самая обычная дискретная функция. Существует ли вообще определение "момент функции"?
Ну он же его вводит, значит, существует. Вы, такое ощущение, полагаете, что определения — они есть независимо от математиков, которые ими только пользуются, но вводить новые не могут. Это не так. Математик может ввести определение, исследовать свойства получившегося объекта и т.п. В данном случае автор вводит понятие "момента функции двух целых переменных" — он в своем праве. То, что похоже на определение момента случайной величины с такой-то плотностью — вообще говоря, намекает на разумность выбранного названия. Потому что мы (наверное) сможем провести параллели, утянуть матаппарат для исследований и т.п. Это все нормально.
Определения — инструмент математика, а не данность свыше.