Posteriormente em 1826 recebeu de presente a "Casa Amarela", como ficou conhecida sua mansão, no número 293 da atual avenida D. Pedro II, perto da Quinta da Boa Vista, em São Cristóvão - onde hoje funciona o Museu do Primeiro Reinado. Comprou a casa do Dr. Teodoro Ferreira de Aguiar e mandou contratar uma reforma em estilo neoclássico com o arquiteto Pedro José Pézerat. As pinturas murais internas são obra de Francisco Pedro do Amaral, os baixos-relevos internos e externos por Marc Ferrez e Zephérine Ferrez.