Porém a nova residência carecia, por exemplo, de água, e em 1642, com a chegada do novo custódio Frei Francisco das Neves, os religiosos deixaram o local, tranferindo a residência para um lugar com um pouco mais de recursos, sobre a proteção e assitência de Gaspar de Sousa Ochoa (capitão-mor) e Baltazar Alvares Chaves (ouvidor).A mudança de residência não significou o abandono total da ermida, entre a sua primeira menção de sua existência nos documentos de São Paulo (1592) até 1717, quando no local foi criada a Irmandade de Santo Antônio, a ermida também serviu de moradia para vários religiosos (incluídos os de São Francisco) e outros ermitões.Por exemplo, em 1681, no testamento de Antonio Azevedo de Sá, é mencionado um ermitão que vivia em Santo Antônio, porém, não é possível ler seu nome no documento, devido ao estrago feito por traças no papel:"declaro que tenho contas com Francisco Ribeiro que me parece dever-me e dahi deixo... (ilegível) ermitão de Santo Antonio me deve cinco mil réis que ficou de dar-me para ajuda da sa... (ilegível) que fiz ao santo"