Au début du XXe siècle, la villégiature connaît une grande popularité sur la Côte-du-Sud. À l’instar de Kamouraska, Rivière-Ouelle et son secteur de la pointe aux Orignaux attirent les visiteurs.
L’apparition des chalets et des résidences d’été à Rivière-Ouelle est le fruit d’initiatives personnelles. On les retrouve surtout en bordure du fleuve et les prêtres ne sont pas étrangers à leur établissement.
En 1921, le pasteur diocésain Wilfrid Lemieux a un projet audacieux. Apprenant qu’un petit hôtel de la région de Lévis est sur le point d’être démoli, celui-ci décide de récupérer toutes les pièces, de les numéroter et de les déménager par goélette pour le reconstruire à Rivière-Ouelle. On ne sait pas d’où vient cet hôtel à l’architecture éclectique et victorienne. Fier de sa résidence d’été, le pasteur lui donne le nom de Villa Fleur des Bois en 1922. L’été, il reçoit un certain nombre d’invités ; des prêtres de Lévis notamment. Peu de temps après son décès en 1956, le bâtiment est vendu et converti en auberge. Aujourd’hui, cette ancienne villa représente l’un des joyaux patrimoniaux de la pointe aux Orignaux.
Durant les années 1940, le prêtre cinéaste et agronome Maurice Proulx contribue à l’essor de la villégiature. Il fait alors construire des chalets en bordure du chemin de la Cinquième-Grève Ouest. Ils prendront le nom de chalets Nadeau au moment de leur acquisition par Georges Nadeau et sa femme Nancy Roy. Durant les années 1950, le couple louera ces chalets à la semaine ou au mois.
Par ailleurs, avec les années, des résidences d’été apparaissent dans le paysage. Durant la période estivale, des hommes politiques tels que Georges Bouchard (1888-1956) et Ernest Lapointe (1876-1941) trouvent un refuge dans ces résidences pour apprécier le paysage et l’air salin du fleuve.
