Ismael começou como a maioria da velha guarda, compondo músicas carnavalescas para os foliões. Com 20 anos, criou a primeira, Me Faz Carinho, depois de passar pelo aprendizado nos botequins do Estácio. Não havia escolas de samba, os blocos saíam finos e iam engrossando, à medida que o povo a eles se reunia pelas ruas. Foi aí que Ismael resolveu organizar um bloco uniformizado, com o qual outros não poderiam formar. Ensaiavam as músicas, os passos, os volteios, e saíam impressionando e deslumbrando todos quantos os viam pela primeira vez assim vestidos, com tecidos brilhantes e enfeites cintilantes.

Aos 22 anos, tratando de uma sífilis, Ismael vendeu a composição para Francisco Alves por cem mil réis, alcançando o sucesso imediato. Um cantava e o outro compunha, mas não se conheciam. Procuravam Chico Viola e diziam-lhe: Ouça essa música... Gostou? - Ótima! De quem é? - É do Ismael Silva! Tantas vezes isso aconteceu que, uma noite, o cantor apresentou à sua platéia o suposto parceiro de muitos sucessos, levando-o ao palco e proclamando: Este é o Ismael Silva, o preto de alma branca! Francisco Alves levou-o para a Rádio Mayrink Veiga e tornaram-se sócios (o compositor era obrigado a ceder músicas a Chico com exclusividade, mas nada impedia que este interpretasse canções de outros autores).

Quando Francisco Alves se ausentava em excursões por outras cidades, Ismael ficava para controlar os negócios de ambos. Em 1935, ao terminar a parceria, a carreira de Ismael Silva paralisou pelos 20 anos seguintes. Findado esse período, voltou novamente pela voz de Alcides Gerardi, que gravou Antonico. Recusando-se a aceitar uma condição de semi-escravatura pelas circunstâncias que envolviam sua situação financeira aliada à cor da pele, o compositor passou a vender seus sambas e, com essa comercialização sem critérios destituída de qualquer apoio jurídico, acabou fazendo um péssimo negócio. Entre suas músicas mais famosas, incluem-se: Que Será de Mim, A Razão Dá-se a Quem Tem, Para Me Livrar do Mal, Sofrer É da Vida, Amor de Malandro, Quem Não Quer Sou Eu, Nem É Bom Falar, Ao Romper da Aurora, Ando Cismado, Se Você Jurar, Tristezas Não Pagam Dívidas (todas gravadas por Chico Viola), Liberdade, Uma Jura que eu Fiz, Até Amanhã, Adeus, Deixa Falar e Boa Viagem. Ismael ganhou o título de Cidadão Samba, pela Associação das Escolas de Samba do Brasil.

Em 1965, Ismael fez o show O Samba Pede Passagem, no Teatro Opinião. Em 1970, reaparecia na boate Jogral, em São Paulo, e ganhava uma medalha de Grande Sambista, providenciada pela casa para melhorar sua situação, que ele descrevera dramaticamente aos jornalistas. Em 1975, tornou-se enredo de uma escola de samba e desfilou de carro aberto ao som do samba que contava sua vida. Ismael Silva foi admirado por gente importante, como Vinicius de Moraes, Prudente de Morais e Lúcio Rangel. Chico Buarque de Holanda declarou que fora ele, Ismael, o seu grande influenciador, bem mais do que Noel Rosa, como normalmente se costumava imaginar. Ismael Silva faleceu aos 72 anos, em 14 de março de 1978.