Filho primogênito dum casal de imigrantes vindo em 1924 para o Brasil: Alberto Abravanel (1897–1976), um imigrante grego sefardita de Tessalônica, no então Reino da Grécia, atualmente parte da Grécia moderna que veio para o Brasil para fugir do alistamento militar obrigatório grego[5] e Rebeca Caro (1907—1989) judia de Esmirna, parte do antigo Império Otomano e que já havia dado lugar a República Turca na época do nascimento do apresentador.[8] Silvio possui outros cinco irmãos: Beatriz (a mais velha), Perla, Sara (Sarita), Leon (Léo) e Henrique (o mais novo).[9] Seus pais estão sepultados no Cemitério Comunal Israelita do Cajú, Rio de Janeiro.[5]