Le village de Kerlarec avec plusieurs exploitations figure sur le cadastre de 1810. Avec d´autres fermes formant un grand domaine seigneurial à vocation agricole, il appartient aux Kerouallan, famille possessionnée autour de Quimperlé et dans le Morbihan voisin (Gestel et Lignol). Victor de Kerouallan (1802-1876), partisan d´une agriculture moderne et lucrative, acquiert Kerlarec en 1834. Il fait raser les bâtiments existants et construire, à l´exception des pavillons d´angle, le logis actuel achevé en 1840, sans doute d'après les plans d'un architecte. Il est probablement aussi l´auteur de la ferme-métairie à l´est, de l´orangerie et des écuries à l´ouest ainsi que de l´allée d´accès. Les travaux sont achevés en 1840. Le domaine couvre dans la seconde moitié du 19e siècle environ 200 hectares et fonctionne comme une entreprise agricole dont le caractère moderne pour l´époque est attesté : défrichement des landes, introduction de pins sylvestres, production de céréales, de cidre et de fourrages écoulée à Quimperlé, Pont-Scorff, Hennebont, Plouay et Le Faouët. Le château est agrandi en 1894 par Constance de Kerouallan et Etienne de Lépineau (pavillons d´angle, aménagements intérieurs, vitraux) ; de cette période subsistent également des éléments de papiers peints. A l´époque contemporaine, le domaine a été divisé en quatre propriétés différentes. Une partie des appartements du château a été aménagée en hôtellerie.