Le château, flanqué de tours, avait été démoli à la fin du XVIe siècle. Le fief du Donjon venait de ce que à Avrigny, « dans l'enclos du château il y avait anciennement un donjon avec deux tours
de briques, un bâtiment de pierre de taille entre les deux tours, le tout à présent ruiné, dont on ne voit plus présentement
aucun vestige . » (aveu de 1781).
Nous n'avons aucune information sur ledit château, qui fut la résidence habituelle de Charles de Vignacourt, aumônier du roi,
et de
Michel-Jean de Gouy d'Arsy quand il n'était pas à Paris.
Madame de La Lande, sous gouvernante du roi Louis XV, belle-mère
de Michel-Jean, y séjournait souvent et y conservait du mobilier.
Cette terre vint au XVe siècle dans la maison de Wignacourt (Vignacourt) par l'acquisition qu'en fit en 1468
Jacques de Vignacourt, un des quatre notaires et secrétaires de la cour de Parlement de Paris.
Jean son fils, conseiller au parlement, avait en même temps les seigneuries d'Avregny, Lieuvillers, Vaux, Cambronne, Manicamp,
etc. Il releva le fief en 1497 et le tenait encore en 1510. Il mourut en 1519 à Paris.
Ses fils furent Jean, Guillaume, Gaspard, Charles et Louis. Gaspard, fut marié à Madeleine de Gouy d'Arsy
(18 juin 1565).
On voit par un partage passé devant Sangrin, notaire
à Catenoy le 15 septembre 1586 entre Messire Louis de Vignacourt, seigneur d'Avrigny d'une part, et Messire Anne de Vignacourt,
écuyer, seigneur de Luchy d'autre part, que laditte terre et seigneurie d'Avrigny leur appartenait comme héritiers de
feu Messire Gaspard de Vignacourt, leur père, Guillaume de Vignacourt leur oncle, Charles Gaspard et Claude de Vignacourt,
écuyer, leur frère et quelle est tenue audit Messire Louis de Vignacourt.
Ensuite le chef-lieu et la moitié de laditte terre et seigneurie d'Avrigny ont passé à Messire Charles de
Vignacourt (fils de Louis) qui en a fait et porté la foy et hommage à M. le comte de Tresme, seigneur du fief
des Carrières le 13 février 1626.
Laditte moitié qui appartenait audit Messire Charles de Vignacourt [aumônier du Roi Louis XIII] a passé à
Messire Anne Antoine de Gouy et Messire George de Gouy, ses cousins, suivant son testament par Parque et son confrère Belin, notaires au Châtelet de paris le 23 mars 1628.
Et l'autre moitié de laditte seigneurie a passé à Messire Anne Antoine et Messire George de Gouy par échange avec Messire Edme de Silmier, écuyer, sieur de Nerdronne et Demoiselle Marie de Curchn héritière simple du chef de laditte Demoiselle de Curch et dudit défunt Messire Charles de Vignancourt.
Lesquels Messires Anne Antoine et George de Gouy ont fait et porté la foy et hommage le 16 novembre 1628 de laditte terre et seigneurie à Messire de Château Rouge, seigneur de Cressonsacq en cette qualité seigneur dominant du fief des carrières alors en ouverture à leur profit.
La partie qui appartenait audit Messire Georges de Gouy en laditte seigneurie a passé audit Messire Anne Antoine de Gouy son frère, suivant son testament en date du 14 août 1635.
Dudit Messire Anne Antoine de Gouy, les parties en portion qui lui appartenaient en laditte seigneurie ont passé à Messire Charles de Gouy, chevalier, seigneur de Pont-Saint-Marc et à Messire Alphonse Antoine de Gouy son fils, suivant transaction portant partage fait entre eux et Messire François de Gouy, chevalier, marquis de Cartigny, son fils aîné, en date du 17 juillet 1650.
Une autre petite partie de la ditte seigneurie qui appartient à Messire René Pottier, duc de Tresme,
a passé par acquisition audit Messire Charles de Gouy, chevalier, seigneur de Pont-Saint-Marc, suivant l'acte passé
par devant Gallois [Philippe] et son confrère, notaires au Châtelet de Paris, le 18 mars 1662.
"
Deux gentilhommes, qui étaient frères, vivaient mal ensemble depuis assez longtemps
parce que l' aîné, Charles de Gouy, seigneur d'Avrigny, s'étant endetté pour acquérir la seigneurie
entière d'une paroisse , dont il n'avait auparavant qu'une partie , avait jeté dans de grands embarras son cadet, Antoine-Alphonse,
seigneur de Remy, qui s'était rendu sa caution.
L'évêque de Beauvais avait sur cette seigneurie une rente de 550 livres provenant de sa famille ; sachant que leurs amis communs avaient travaillé en vain pour remettre la paix entre eux, il fit dire au cadet que s'il ne tenait qu'à la perte de sa rente
pour les réconcilier, il consentait de bon cœur à l'abandonner. Le gentilhomme, ne trouvant pas juste que l'évêque perdit un bien si important pour apaiser
un différent dont il n'était pas cause, refusa ces offres. Il est probable que les deux frères ne tardèrent pas à se réconcilier ;
toujours est-il qu'Alphonse-Antoine succéda à son frère dans la seigneurie d'Avrigny"
Audit Messire Charles de Gouy a succédé pour la partie en portion qui lui appartenait, ledit Messire Alphonse Antoine de Gouy, son frère, qui a fait et porté Sa foy et hommage le 30 juin 1706 à Messire Claude Etienne Hébert, seigneur de Pressonsac et en cette qualité de seigneur dominant du fief des Carrières alors en ouverture à son profit.
Dudit Messire Alphonse Antoine de Gouy, laditte terre et seigneurie d'Avrigny a passée par donation entre vifs à Demoiselle Louise Charlotte de Gouy, sa nièce suivant l'acte passé devant Pedit notaire à Nointel le 8 juillet 1710.
Ensuite laditte terre et seigneurie a été saisie réellement sur laditte Demoiselle Louise Charlotte de Gouy et sur Louis de Gouy, chevalier, seigneur d'Arsy, son frère, et adjugée par sentence d'adjudication par décret aux Requêtes du Palais, à Messire François de Gouy, chevalier, comte d'Arsy, seigneur de Troussencourt, le 6 mai 1716.
Madame de Lalande vit naitre son premier petit-fils, Louis de Gouy d'Arsy, le 18 février 1717,
soit trois jours après le septième anniversaire du Roi. Il fut baptisé le 27 février en la chapelle des Tuileries.
Cette naissance d'un petit-fils fut l'occasion pour son grand-père François de Gouy, comte d'Arsy, de donner,
le 18 mai, au marquis, son fils, les terres et seigneuries d'Avrigny, du Donjon, de Dampmarest et d'Anduelle,
situées près de Clermont-en-Beauvaisis dans l'Oise, qui lui avaient été adjugées le 6 mai après saisie sur le vicomte
de Gouy d'Arsy, son frère. Cette donation de terres, toute proches d'Arsy, n'était pas sans coût et força le marquis
de Gouy à s'endetter fortement, ne serait-ce qu'auprès de sa belle-mère à laquelle il emprunta quinze mille livres
le 20 septembre 1720 en échange d'une rente annuelle de 300 livres. Mais Michel-Jean et Françoise-Mélanie possédaient
maintenant un château, celui d'Avrigny, qui leur servira dorénavant de résidence quand ils n'étaient pas en région
parisienne et qui fut en grande partie meublé par les deniers de Françoise-Mélanie.
Audit Messire Michel Jean de Gouy a succédé Louis, marquis de Gouy, son fils, qui a fait et porté sa foy et hommage le 4 février 1760 pour raison de laditte terre et seigneurie à Messire Charles Philippe du Terrier, marquis du Terrier.
En 1789 le revenu du marquis de Gouy (Louis), à Avrigny, montait à 8286 livres. Louis-Marthe, fils de Louis,
possédait 430 ha, soit 77% de la superficie de la paroisse.
