José Bonifácio caiu após um episódio que envolveu o padre Francisco Muniz Tavares, deputado por Pernambuco, sobre a situação dos portugueses no Brasil. O projeto de deportação não vingou, mas deu ensejo a que se dissesse o que não deveria ter sido dito. O imperador decidiu afastar seu ministro e demiti-lo por uma questiúncula de política regional paulista. José Bonifácio se considerou demitido na noite de 15 de julho de 1823. Seu substituto foi José Joaquim Carneiro de Campos, depois Marquês de Caravelas. Solidária, demitiu-se também sua irmã Maria Flora Ribeiro de Andrada das funções de camareira-mor da imperatriz.

Sobre este episódio comenta Maria Graham: …"a renúncia de José Bonifácio é certa, e não menos certa a de seu irmão Martim Francisco, cuja honestidade irrepreensível à frente do Tesouro não será facilmente substituída. (…) A ideia mais geral é a de que os Andradas foram sobrepujados por um partido republicano da Assembleia. (…) Entrementes José Joaquim Carneiro de Campos é o primeiro-ministro e Manuel Jacinto Nogueira da Gama está à testa do Tesouro; homem bastante rico para ficar acima de qualquer tentação cujo caráter, quanto à integridade, está escassamente abaixo de seu predecessor.