Il castello fu venduto nel 1257 al Comune di San Severino da Guglielmo, vescovo di Camerino. All’inizio del XV secolo il Castrum Alifurni, messo sotto assedio dal Rettore della Marca, venne parzialmente distrutto. Dell’impianto originario resta la quadrata torre di vedetta (m.23-25), in pietra arenaria, dove sono ancora visibili i beccatelli che sostenevano la piattaforma merlata.
II castello fu venduto nel 1257 al Comune di San Severino da Guglielmo, vescovo di Camerino. Rimangono oggi parte della cinta muraria, alcuni edifici medioevali e la torre maestra, dove sono ancora visibili i beccatelli che sostenevano la piattaforma merlata. Nei pressi la Chiesa di S. Maria Annunziata (XIII sec.) ampliata nell’ottocento su progetto di Ireneo Aleandri che, modificatone l’ orientamento, conservò intatto il primitivo presbiterio con un pregevole affresco attribuito a Lorenzo Salimbeni.