Le régime seigneurial instauré dès le début de la colonie, mais aboli en 1854, a laissé des traces dans le paysage. Les manoirs seigneuriaux que l’on trouve encore aujourd’hui sur la Côte-du-Sud témoignent de ce régime qui a marqué les relations sociales.
Dès que l’on se fait concéder une seigneurie, on devient seigneur et l’obligation de résider dans un manoir se présente. Ce ne sont pas tous les seigneurs de la Côte-du-Sud qui ont choisi de résider sur leur domaine qui comprenait parfois un moulin à vent. Lieu de rencontres, cette maison était l’endroit où les censitaires devaient se rendre pour remettre les cens et rentes, des redevances en argent, de la farine et parfois des volailles.
Il ne reste que quatre manoirs entre L’Islet et Saint-André-de-Kamouraska. Celui de Saint-Roch-des-Aulnaies a été construit entre 1850 et 1853 par le marchand Amable Dionne pour son fils Pascal-Amable. Celui de La Pocatière a fait l’objet de rénovations et de modifications importantes. À Rivière-Ouelle, le manoir seigneurial des Casgrain, le troisième dans la seigneurie, est encore debout, rue Casgrain. Enfin, le manoir Campbell, érigé sur une élévation dominant le fleuve à Saint-Germain, a été construit en 1835 sur les fondations du manoir de Joseph Fraser.
Le manoir est un lieu qui symbolise le statut social. Et parfois, certains membres apparentés à des familles seigneuriales n’hésitent pas à désigner leur résidence comme manoir. En témoigne, le petit livre écrit par Eliza-Anne Baby en 1869 qui raconte l’histoire de la famille de son défunt mari Charles-Eusèbe Casgrain. Sur la page couverture de cette édition privée à petit tirage y est imprimé : Rivière-Ouelle, Manoir D’Airvault. Cette maison a effectivement servi pour le seigneur Jacques Nicolas Perrault. Mais plus tard, les Casgrain l’ont nommé manoir D’Airvault pour le distinguer du manoir seigneurial construit par Pierre-Thomas Casgrain.