L'histoire séculaire du manoir de Kerhervé se lit dans le paysage environnant. Protégé par une hauteur à l'ouest (culminant à 112 m), le manoir - dominé par une importante tour, est implanté à 87 m au-dessus du niveau de la mer sur un plateau en pente douce orientée vers l'est.

A 600 m au nord-est du manoir dans la parcelle nommée "parc brun", se dresse la motte féodale primitive. Implantée sur le rebord d'un plateau - aujourd'hui situé dans un sous-bois, la motte féodale domine le ruisseau de Kerlouzouen (nommé également "ruisseau de Kervurlut") et culmine à 68 m au-dessus du niveau de la mer. La fortification est cernée par un fossé et un talus très arasé d'environ 0,5 m de hauteur. A proximité, trois noms de parcelles en "gosquer" semblent attester d'une ancienne présence humaine selon Jean-Yves TINEVEZ.