Em seu testamento consta a orientação de que no local de seu nascimento fosse erigido um monumento à sua memória. Quatro anos após sua morte, nas terras da Real Fabrica de Ferro de São João de Ipanema, sua vontade é atendida. Em uma das faces do pedestal se lê a seguinte inscrição: “À memória de Varnhagen, Visconde de Pôrto Seguro, nascido na terra fecunda descoberta por Colombo, iniciado por seu pai nas coisas grandes e úteis. Estremeceu sua Pátria e escreveu-lhe a História. Sua alma imortal reúne aqui tôdas as suas recordações.”