Quoiqu'il soit resté entre les mains de la même famille jusqu'à la fin du 20e siècle, le manoir de Kerouallan a subi depuis sa construction, sans doute au début du 16e siècle, de nombreux remaniements qui ont altéré sa structure initiale.

Après plusieurs changement de propriétaires dans le courant du 15e siècle, Philippe Dando ou de Kerouallan, de la maison du sire de Guémené achète la terre : il est mentionné dans un aveu en 1478, aussi c’est probablement à lui ou à son fils Louis mort en 1522, qu’il faut attribuer la construction à la charnière du 16e siècle des parties les plus anciennes du manoir : l’aile de retour où se trouve la cuisine (?), le corps principal dont la mise en œuvre du mur sud témoigne de cette époque, mais aussi la tour d’escalier nord .

Il est probable que l'appentis qui double au nord le corps principal est construit au 17e siècle, de même que la tour de latrines en saillie joignant la tour d'escalier.

La date de 1730, non retrouvée en 2015, pourrait correspondre à une campagne qui concerne l'ajout des lucarnes du corps principal en une tentative de régularisation des percées. Sur l’une des lucarnes est figuré le blason des Kerouallan, « D’azur à trois pommes de pin d’or, posées deux et une les queues en bas». La modification de la porte d'entrée de ce corps remonte soit à cette période, soit au siècle antérieur, de même que la création du couloir de distribution.

Une grande campagne de travaux intervient dans la 2e moitié du 19e siècle : sur le plan cadastral de 1842, la partie est du corps principal est en ruines ; elle est remplacée alors par un bâtiment en appentis (remise) dont seule la base du mur sud subsiste de la partie manquante. La distribution de cette aile était assurée par les portes jumelées de la tour postérieure, celle du grenier bouchée. Dans le même temps est construite la tour d'angle à la jonction des corps en équerre, dont la base remploie les pierres anciennes, provenant sans doute de l'aile en retour : la tour joue alors le rôle d'entrée, reléguant l'ancienne porte d'entrée à une rôle secondaire d'accès à la tour, à la distribution de l'étage, et au cellier. L'aile en retour est raccourcie : il est probable que son mur est est reconstruit au contraire du mur ouest, intact ; les nouveaux percements, porte rectangulaire aux proportions du 19e siècle et le jour étroit font plutôt penser à une dépendance qu'à une cuisine, destination initiale de cette aile. On construit aussi un appentis reliant les deux corps de logis dans l'angle nord-ouest : cet appentis à usage d'étable au milieu du 20e siècle ne communique pas avec le logis.

Des deux bâtiments dans le prolongement à l'est existant en 1842, peut-être alors le logis de la ferme d'après les divisions parcellaires en 1842, le premier à l'ouest a disparu, le second a été remanié au début du 21e siècle : l'une des ouvertures remploie un blason des Kerouallan ; tous les bâtiments de service au sud du manoir ont été détruits.

L'implantation choisie sur une hauteur dominant la vallée du Scorff dont le manoir est séparé par une vaste futaie est caractéristique d'un site de manoir.

La structure initiale pose quelques questions : s'agit-il d'un bâtiment en équerre, la cuisine étant logée dans l'aile basse en retour ? cette hypothèse est confirmée par la présence de la cuve d'un saloir ainsi que la goulotte d''évacuation d'un évier insérés et bien visibles dans le mur ouest, de même que par la qualité de la mise en oeuvre des murs. Cependant, comment communiquaient alors la salle et la cuisine ? L'insertion au 19e siècle de la tour dans l'angle, a fait disparaitre les traces d'une éventuelle liaison. Et quelle était alors la destination de la pièce est du corps principal,en ruines en 1842 ?.

Chaque époque s'est efforcée d'augmenter la prestance du manoir : à la formidable tour d'escalier postérieure, dont le toit en pavillon dépassait le faitage principal, se sont ajoutées au début du 18e siècle, les lucarnes en pierre de taille régularisant les travées de la façade, puis au milieu du 19e siècle, une nouvelle tour sans escalier dans l'angle des deux bâtiments, donnant à l’ensemble une silhouette assez classique de manoir en équerre du 16e siècle. (C. Toscer)