Documentado desde el 969. Perteneció a los condes de Pallars en principio y posteriormente a los Mur.
 En 1055 Ramón V de Pallars Jussá se lo cede a Arnau Mir de Tost como dote por esposarse con su hija. A su muerte Arau Mir lo entrega a su hija Valença esposa del conde Ramón V.
 Este castillo roquero (sobre roca), adopta una esbelta  silueta triangular. Muy cerca pero separado por una colina se alza el castillo de Guàrdia de Noguera que fue también de baronía de los Mur.
Sus elementos básicos son una torre maestra circular con la puerta algo levantada con respecto al suelo y un recinto alargado con los extremos redondeados (parecido a una plancha o un navío) donde había una sala principal, cisterna y diversas dependencias. Por estar construido sobre una roca, carece de foso.
 

  Adosada a una cara del castillo habían algunas casas de los payeses que recibían protección. Próximo se encontraba una colegiata vinculada a la figura de Arnau Mir de Tost. Debido a la gran  extensión del término pronto se añadieron nuevos  castillos (La Guardia, Estorm, Moror, l'Alzina y Puigcercós). Para acceder, una vez alcanzada Guàrdia de Tremp, camino de Moror, Estorm y Sant Esteve de la Sarga se toma hacia la derecha por una vía de montaña hasta llegar a la población de Santa María de Mur, se continúa hasta Collmorter y finalmente hasta la misma colina del castillo y colegiata de Mur. 
El recinto mide 31 metros de longitud. La muralla de un metro de grosor tiene una altura que varía entre los 14 y 18 metros.