Os Padres começaram a construir as celas e a melhorar a igreja. Em 1695 frei Frutuoso da Conceição com dois padres, frei Leandro do Calvário e frei Antônio de Santa Maria já moravam na parte que o primeiro conseguiu terminar. Nova visita do Provincial coincidiu com o estrago prómovido pela Câmara no patrimônio. Êle resolveu que os três padres abandonassem igreja e convento; as terras e as 34 almas (índios administrados) e as entregassem a depósito ao juiz de órfãos.

Eira Braz Domingues Vidigal que, ao receber a 8 de abril a comunicação, imediatamente fêz redigir pelo escrivão Gregório de la Penha uma intimação a frei Frutuoso, para que não saísesm. Como juiz ordinário, fêz passar um bandopelas ruas, a toque de caixa, que sob pena de multa de quatro mil réis e quarenta dias de cadeia, ninguém emprestassecavalos ou ajudasse os padres na viagem.Foi um alvorôço no lugarejo. Trinta e seis "homens bens"que tinham sido vereadores e juízes, bateram à porta do Procurador, para que convocasse o povo — o zé povinho que nãoassinava nem votava —, mas seguia os "nobres" — a irem aSão Bento armados!"Meu Deus! — se fôr assim, temos excomunhãopela certa! Não, não convocarei o povo".Então foram ao juiz ordinário, André, Domingues Vidigal, para que convocasse vereadores e povo. Era o capitãoMiguel Garcia Lumbria, chefe militar das ordenanças. E como o pai dêste, capitão-mor Martim Garcia Lumbria, da capitania de Martim Afonso sediada em Itanhaém, estivesse presente, levaram-no e um soldado tocando a caixa surda. Alguém lembrou que excomunhão não era brinquedo, e buscassem o vigário. O padre Antônio Carvalho acedeu. Aí o juizVidigal cedeu, mas fazendo um auto pelo escrivão, para livrar-se de futuras responsabilidades perante a Igreja e o Rei.Com isto fêz-se noite, os Padres já se achavam recolhidose assustaram-se com a bulha e as pancadas. Desceram, compreende-se, à pressa, e abriram.Que quereis? perguntaram.Matar-vos, se persistirdes em abandonar-nos.Não é preciso isso, não iremos mais.Então jurai!Pelo nosso santo patriarca São Bento!O diálogo resumido foi dirigido pelo juiz e o capitão-mor,e, enfim, pelo próprio vigário Carvalho, que ameaçou "despresar a sua paroquice", isto é, ir-se também, se os monjesdeixassem Sorocaba. E tudo acabou em paz, localmente, maso Visitador dêles era teimoso e não cedeu. Em julho apareceu em visita pastoral o Visitador Eclesiástico, da parte doPrelado do Rio, e concordou com a saída, talvez absolvendoos do juramento dado em tão críticas circunstâncias, com asarmas aos peitos. Não se sabe como saíram, mas voltaramlogo.