Drummond gostava muito de animais, possuindo diversos espécimes. Tinha autorização para importá-los e criou o primeiro Jardim Zoológico do Rio de Janeiro em Vila Isabel, em 1888. Então, o primeiro Jardim Zoológico do país, o Zoológico de Vila Isabel foi fundado em 1888, em terras de sua propriedade, no pé da Serra do Engenho Velho, com o objetivo de dar lazer, passeio e instrução aos moradores. Com o reconhecimento da Câmara Municipal conseguiu isenção de impostos e direitos aduaneiros de importação de plantas e animais. Além disso, o monarca D. Pedro II (de quem era amigo), dava-lhe uma subvenção, visto que o jardim era franqueado ao público.