
Una torre prismàtica —vestigi de l'antic castell de Castellet— i l'ermita de la Mare de Déu de Castellet —molt venerada pels santvicentins i els pobles de la rodalia— coronen el turó.
Els antecedents del castell i la senyoria de Castellet de Bages es remunten al segle X. El diminutiu Castellet, consta per primera vegada en una escriptura datada el 1099 , el (Castelleto subtus Menresa) "Castellet més avall de Manresa", ha fet sempre una tasca de “porta de la Capital del Bages”.

Fou patrimoni de la mitra d'Urgell fins que el bisbe Arnau de Preixens, el 1179, el vengué amb tots els seus béns, possessions i drets al rei Alfons I el Trobador (altrament dit el Cast). Més endavant fou domini dels Castellet, documentats des del 1279, senyors d'aquest terme i d'altres terres, emparentats successivament amb els Rocafort, els Cardona, els Amat i els Boixadors. La senyoria feudal s'extingí amb el primer i l'últim baró de Castellet, Marià d'Alegre i d'Aparici (qui visqué a Barcelona en el palau del carrer de Montcada, que ara acull una part del Museu Picasso), el qual, en morir el 1831 sense successió llegà els seus béns a l'hospital barceloní de la Santa Creu. El petit castell, marcat a l'origen pel signe de la senyoria episcopal, acabà la seva història amb una pia destinació benèfica.

L'ermita de la Mare de Déu de Castellet conserva part de l'estructura romànica original, però molt desfigurada, ja que se'n canvià l'orientació i s'hi feren diversos afegits i ampliacions. La imatge de la Verge titular –que està avui a la parroquial de Sant Vicenç- és una realització moderna (1950) de Camps i Arnau, inspirada en la talla romànica conservada a la masia de les Vives, situada al peu de Castellet, d'on fou baixada durant la primera guerra Carlina.

