Sua primeira gravação foi Carolina, em parceria com Bonfiglio de Oliveira para o carnaval de 1934, com interpretação de Carlos Galhardo. No mesmo ano sua composição Triste cuíca (com Noel Rosa) foi lançada por Araci de Almeida. Ainda em 1935, trabalhou como maestro da orquestra do filme Estudantes, de Wallace Downey, e, a partir de então, musicou diversas peças de teatro, entre elas Da favela ao Catete, escrita por Freire Júnior, participando como pianista de diversas gravações. Em 1936, Hervé participou do filme Alo, Alo Carnaval!, ao lado de Carmem Miranda.

Foi importante criador de baiões, ritmo pelo qual se especializou, destacando-se Pé de Manacá e Cabeça Inchada, este último tendo sido gravado em 50 diferentes versões na Europa. Em 1946 compôs, com Mário Vieira, Sabiá lá na gaiola, outro grande sucesso gravado por Carmélia Alves, em 1950. Compôs com Correia Júnior, em 1966, Canto ao Brasil, peça sinfônica orquestrada por Gabriel Migliori e executada pela Orquestra Sinfônica Municipal de São Paulo. No conjunto de sua obra destacam-se as marchas Seu Abóbora (com Lamartine Babo), gravada por Carmen Miranda em 1935, Seu Gaspar, gravada por Sílvio Caldas em 1938, e Esta noite serenou, gravada por Dalva de Oliveira em 1951; a toada Me leva (com Rochinha), gravada por Ivon Curi em 1951; o samba-canção Uma loura, gravado por Dick Farney em 1951. Vale também mencionar a composição Força de Malandro.

Cordovil conquistou o sucesso plenamente a partir da década de 50, contratado da Rádio Record de São Paulo. Compôs também algumas músicas jovens, como Rua Augusta e Boliche legal, ambas em 1964, e a versão Biquini de bolinha amarelinha. Tem músicas feitas em parceria com seus filhos Ronnie Cord e René Cordovil, também compositores. Em 1997, foi publicado o livro "Hervé Cordovil - um gênio da música popular brasileira" de autoria de Maria do Carmo Tafuri Paniago. Hervé Cordovil faleceu aos 65 anos, em 16 de julho de 1979.