Я делал под Visual Studio.
Качаете архив gmp-static-vc-4.1.2.zip 
отсюда.
Добавляете файл gmp.h в папку VC/include, а *.lib в VC/lib
Создаете новый ПУСТОЙ проект, пишите любой код на gmp (читайте мануалы, что Вам дали выше).
Например (это выводит 2^100):
Код:
#include <gmp.h>
int main ( ) {
   mpz_t x;      
   mpz_init_set_si(x, 1);
      
   for ( int i = 0; i < 100; i ++ )
      mpz_add ( x, x, x ); 
   mpz_out_str ( stdout, 10, x );
   
   return 0;
}
В настройках проекта (Project -> Properties) нужно указать:
C++/Code Generation -> Runtime library = Multi-threaded (/MT)
Linker/Input -> Additional dependences = "gmp.lib libcmt.lib" (без кавычек)
Linker/Input -> Ignore Specific library = libc.lib
Все, после этого у меня все сразу запустилось.