Após os problemas com os prussianos, o governo ainda investiu na mão-de-obra estrangeira para aumentar a produtividade da fábrica. O então diretor Major João Bloem contratou, em 1838, 227 trabalhadores provenientes da Alemanha. No entanto, a medida foi desastrosa, porque os operários abandonaram o estabelecimento um ano depois de sua chegada, devido aos mesmos motivos dos prussianos.

Na realidade, os conflitos entre os trabalhadores e a direção foram uma constante dentro do estabelecimento, seja através dos protestos dos operários livres estrangeiros, pela falta de pagamentos, ou dos escravos e africanos por meio das fugas. Embora Ipanema tenha contado com diversas categorias de trabalhadores, em toda a sua trajetória há reivindicações dos grupos, devido às condições de trabalho e o tratamento cotidiano oferecido.

Sua viagem, ainda que não se caracterizasse como uma viagem de aquisição de conhecimento,36 mas como uma viagem de compras técnicas, com certeza trouxe conhecimento e ampliou sua visão do negócio do ferro. Voltou ao Brasil em outubro de 1838, trazendo para Ipanema 43 empregados europeus, 13 parentes destes, e mais equipamentos do que originalmente solicitara, além de outras duzentas pessoas para trabalhar na construção de uma nova transposição da Serra do Mar, entre Santos e São Paulo, contratadas a pedido do presidente da província de São Paulo. Entretanto, seu substituto pouco lhe preparou; as obras de manutenção das casas e dos edifícios não foram feitas, as matérias primas não foram preparadas. Como os africanos não foram enviados, e as matas continuavam em falta, buscou o apoio do Ministério da Guerra, ao qual a Fábrica respondia, embora a política tivesse mudado.