Bien que le tour se concentre principalement sur les premiers occupants de la maison, John Brown et sa famille immédiate, d'autres gens ont habité cette maison au cours des années. En 1852, la maison a été offerte en cadeau de mariage à une petite-nièce des Brown, Elizabeth Amory Ives Gammell. Elle fut propriétaire de la maison jusqu'à sa mort en 1897. En 1901, Marsden Perry, homme d'affaires très connu, a acheté la maison. Finalement, John Nicholas Brown, un descendant de Nicholas Brown (qui était l'un des quatre frères Brown originaux), a acheté la maison dans les années 1930 et moins de dix ans plus tard, a offert la maison à notre organisme, la Société Historique du Rhode Island.
En plus de sa grandeur physique, la maison a aussi acquis de grands souvenirs très passionnants car elle y vit de nombreux occupants ainsi que des événements importants se développer au cours des années. La maison a vu plusieurs changements hors de ses murs extérieurs ainsi qu’à l'intérieur. Lorsque la maison était la résidence de la famille Gammell, la partie située à l'arrière de la maison et s'étendant jusqu'à l'ancien hangar à calèches a été ajoutée. Plus tard, les changements de M. Perry comprirent un ascenseur, un escalier en verre, et sous vos pieds, un plancher en pin de la Caroline du Sud et également des décorations élaborées pour les salles de bain.
Il y avait environ 6,000 personnes vivant à Providence en 1790 ; une ville en développement rapide. Roger Williams fut le premier à s’y installer le long de la rive en 1636, après avoir quitté le Massachusetts.