Ainda nesse período, iniciou o romance com dona Domitila de Castro Canto e Mello, a Marquesa de Santos. Legalizou essa relação no dia 14 de junho de 1842, no oratório particular de sua mãe, sob as bênçãos do padre Romualdo José Paes. Foram testemunhas o Senador Padre Diogo Antônio Feijó e Francisco Xavier de Barros. O casal teve seis filhos.