Posto all’imbocco della Val di Sole e affacciato sul torrente Noce, il maestoso maniero domina il vicino paese di Caldes.
L’aspetto attuale del castello è il risultato di varie fasi architettoniche iniziate nel Duecento e proseguite fino al XVI secolo. Tra il 1230 e il 1235 fu realizzato il primo nucleo, una torre a cinque piani che fungeva anche da residenza, realizzata per volere di Rambaldo ed Arnoldo da Cagnò. Era utilizzata, insieme alla sovrastante Rocca di Samoclevo, per il controllo dei traffici commerciali della Val di Sole.
Nel 1464 la 'casa torre' passò alla famiglia Thun che la ampliò, aggiungendo ulteriori corpi di fabbrica che hanno conferito all'edificio l'aspetto attuale. Ulteriori lavori di restauro e ampliamento furono condotti nel XVI secolo e vennero eseguite decorazioni ad affresco in varie sale. Fu anche edificata l'attuale cappella nella corte prospiciente il castello, dedicata alla Beata Vergine Maria ed interamente affrescata da storie di Naurizio.
Una leggenda vuole che il castello sia stato teatro della prigionia di una giovane donna di nome Olinda, forse da identificarsi nella contessa Marianna Elisabetta Thun, che venne rinchiusa dal padre Rodemondo in una piccola stanza per impedire il matrimonio con Arunte, menestrello di corte per il quale morì d’amore.
Le decorazioni di alcuni ambienti del castello sono attualmente in fase di restauro.
