Com ascendência germânica, seu pai foi um homem que sabia administrar o dinheiro e pode fazer o filho estudar nas melhores escolas de Paris, inclusive Escola Central de Artes e Manufatura.
Em 1855 formou-se em engenharia química. Sua carreira iniciou numa empresa belga em que construía estradas férreas e projetou uma ponte em Saint-Germain. No ano seguinte conheceu o empresário Charles Nepveu, especialista em construções metálicas.
Em 1866, em seu ateliê de Paris, fez grandes projetos para o mundo todo, a Galeria das Máquinas de Paris; o Viaduto de Garabit (a ponte mais alta do mundo até então, com 120 m); a Ponte D. Maria Pia de Porto, Portugal; a Ponte de Triana em Sevilha; o Palácio de Ferro na Angola; o Mercado Municipal em Olhão; a Casa de Ferro em Moçambique e na América do Sul o Farol de São Tomé (Brasil) e a Catedral Metálica de Arica (Chile) e é claro, uma de suas mais famosas obras, a Estátua da Liberdade. Ele ainda teve participação importante na construção do Canal do Panamá.
Gustave Eiffel não projetou a obra gigantesca que seria o presente da França para os Estados Unidos em homenagem aos cem anos de independência da nação, mas deu assistência ao autor, Frédéric Auguste Bartholdi, o escultor que alguns dizem fez o rosto da estátua baseado no de sua mãe. Foram feitas três estátuas iguais menores que serviram de protótipo e que ficaram como monumentos em Paris.
Os projetistas dessa obra foram Maurice Koechlin e Émile Nouguier, que trabalhavam para a empresa de Eiffel que venceu o concurso para a sede da exposição.
Em 1875 e 1877, viveu em Portugal onde construiu a ponte Maria Pia. Residiu numa casa em Barcelos. No final de sua vida, dedicou-se a escrever livros de meteorologia e aerodinâmica, importantes estudos inclusive. Morreu em 27/12/1923.