Le château à motte de Vismes fut construit en 1066 par Théobald Fretel de Vismes. Le principe de la motte féodale visait à surélever une motte naturelle en l’entourant d’un fossé.
La terre extraite du fossé servait à remblayer la motte, qui pouvait atteindre 20 mètres de large et à la base de laquelle on édifiait une palissade en bois pour la défense du village.
A l’époque, on délimitait une surface d’environ 6 hectares pour accueillir les villageois et leurs animaux afin de les protéger d’éventuels dangers extérieurs.

Le seigneur de Vismes occupait le donjon de bois de 2 étages bâti sur la motte avec ses hommes pour observer les alentours et voir approcher l’ennemi.
La seigneurie de Vismes-au-Mont citée à partir du XIVe siècle possédait un château à deux mottes, auprès desquelles furent inhumés des gentilshommes picards tués à la bataille de Crécy. Vismes fut érigé en baronnie en 1320. Le château fut détruit en 1372 par Jean de Gand (1340-1399), comte de Lancastre.
Le village avait une charte communale au Moyen Âge. La seigneurie passa des De Vismes aux Cayeux au XIVe siècle, puis aux De Monchy en 1436. Finalement, le fief est racheté par Paul Le Blond du Plouy, après la mort d’André de Monchy en 1785.
Après la Révolution, Vismes absorbe les hameaux du Plouy, Morival, Vimemont et autres hameaux alentours.
Aujourd’hui, la motte féodale est une grande prairie vallonnée.