Le mont Roberval s'élève entre 150 à 200 pieds au-dessus du bas de la chute, selon les différentes sources du début de la colonisation. Le manoir à été érigé pour le fondateur du village, Léandre Brassard.  C'est le premier presbytère.  M Brassard y habitera de 1864 jusqu'à sa mort le 27 novembre 1891.  Il avait 86 ans.  Il avait pris sous sa protection le jeune Louis-Joseph-Alexandre Ménard, 14 ans, orphelin de père et dont la mère ne pouvait s'occuper.  Ce dernier sera le premier maire de la municipalité en 1885.  Il habitera le manoir Brassard et ses descendants en seront propriétaire jusqu'en 1959.  La famille Martin l'occupera par la suite (Librairie Martin de Joliette).  En 1963, une plaque de bronze commémorative fut apposée sur le solage de l'édifice.
Un incendie y détruit une station du chemin de croix en 1940 et le 19 mars 1941 la chapelle est incendiée.  On reconstruit un oratoire au-dessus de la tombe du fondateur Brassard.  La dépouille fut déménagée au cimetière du village en 1959.
En 1996, la propriété est vendue et transformée en gîte du passant.  On peut y entrer dans la vieille chapelle et y voir  plusieurs objets ayant appartenus au curé Brassard, dont ses vêtements sacerdotaux.