Originalmente construido en 1868 por el periodista Nueva York y desarrollador de terrenos Lloyd W. Tomkins, esta estructura era una casa de dos pisos. Pero después de que David Brinkerhoff Ivison, presidente de la American Book Company, lo compró en 1887, convirtió el edificio en una mansión con torreta de tres pisos con 25 habitaciones, incluyendo una sala de música y un porche para carruajes. En la década de 1930, se instaló una piscina cubierta en el segundo piso, cuyas paredes aún se pueden ver en partes del castillo.
La propiedad del edificio cambió de manos varias veces a lo largo de los años, y en la década de 1970, la Universidad Fairleigh Dickinson compró el castillo y construyó un campus a su alrededor. El edificio se usó como aula, y gran parte del interior original estaba cubierto con falsos techos y tabiques. Fairleigh Dickinson operó en este campus desde 1942 hasta 1994, cuando superó el campus y lo vendió a la Universidad Felician (anteriormente Colegio Felician) en 1997.
Cuando la Universidad Felician se mudó al campus en Nueva Jersey , se propusieron restaurar el edificio a su antigua gloria. Hoy alberga muchas de las oficinas administrativas de la escuela. La sala de música ahora sirve como capilla para las misas semanales de la universidad católica. Las renovaciones se completaron en 2013, y Felician da la bienvenida a los visitantes al sitio histórico (que se agregó al Registro Nacional de Lugares Históricos en 2004).
—