Em virtude da oposição de membros do governo favoráveis à aliança política e militar com a França, demitiu-se em 1803, afastando-se da vida pública, retornando ao governo em 1807 como conselheiro de D. João VI, sendo considerado um dos principais articuladores do alinhamento aos ingleses e da transferência da corte para o Brasil, onde foi nomeado para a Secretaria de Estado dos Negócios Estrangeiros e da Guerra.