En este momento, no sabemos si los sirvientes que trabajaban aquí eran esclavos. Por los registros del censo, sabemos que John y Sarah tenían esclavos en su otra casa de la calle South Water, o Towne, antes de mudarse aquí. El censo de 1790 registraba tres criados, una mujer blanca y dos hombres negros, pero ninguno se identificaba como esclavo. Sin embargo, en el Norte no era infrecuente que a los esclavos se les llamara "sirvientes", pero el censo lo corrige; sólo hay que leer los registros con mucha atención. Por documentos familiares, sabemos que en 1801, la familia tenía cuatro sirvientes: Jesse, una mujer mayor, Jonathan, que también era su cochero, y un chico y una chica adolescentes. Sabemos que tanto los jóvenes como Jonathan eran de ascendencia africana. Sin duda, para que una familia y una casa como ésta funcionaran en la Nueva República era prácticamente una necesidad utilizar la mano de obra de esclavos y sirvientes— personas que conocían a esas familias más íntimamente que incluso sus amigos más cercanos.
En 1784, la Asamblea General de Rhode Island aprobó una ley de "emancipación general" gradual, que establecía que a partir del 1 de marzo de 1784 los hijos nacidos de mujeres esclavizadas debían ser aprendices de sus dueños hasta los 18 años en el caso de las mujeres y hasta los 21 en el de los hombres, y entonces debían ser considerados libres. Así que, dependiendo de la edad de los supuestos sirvientes, podríamos determinar su estatus legal, pero esa información ha eludido a los investigadores hasta ahora. Sin duda, John Brown no era partidario de la emancipación ni de la abolición y esclavizaba a personas en sus otras propiedades, por lo que no sería de extrañar que las hiciera trabajar en esta casa, aunque sólo fuera por temporadas o para proyectos especiales.