Ele se casou em 6 de janeiro de 1833, aos 29 anos, com Ana Luísa de Loreto Carneiro Viana, a irmã de dezesseis anos de um amigo oficial e membro de uma família aristocrática carioca. A mãe da noiva era contra a união, vendo Luís Alves e sua família como novos-ricos. Jornais ligados aos inimigos políticos de sua família se aproveitaram do desacordo e correram acusações sérias, porém infundadas, como por exemplo que ele havia sequestrado Ana Luísa.