Les restes del castell de Milany se situen a 1.525 m en un rocal al terme municipal de Vidrà, al límit amb Vallfogona de Ripollès. Trobem cites del castell en documents de l’any 962, com a castell pertanyent al comtat de Besalú.
El Castell de Milany té una importància cabdal en la història de Vidrà; la seva protecció és la que garantia al terme la pau i la justícia.
Segurament fou aixecat en l’avenç militar de finals del segle IX, i el seu terme comprenia els actuals municipis de Vallfogona i Vidrà amb totes les seves parròquies, i també, tal volta per agregació posterior, el terme de Llaers amb el seu petit castell.
La documentació de Milany, conservada en el fons documental de Sant Joan de les Abadesses és abundant.
Els primers senyors de Milany foren els comtes de Besalú, que el governaren a través del seu vescomte. L’emplaçament fronterer entre Besalú i Ausona li donaren importància essent per aquesta causa posant en penyora en convenis entre els comtes de Besalú i Barcelona. El castell es va abandonar a finals del s. XIV, quan va perdre la seva funció defensiva i la família va anar a Vallfogona, cercant una manera de viure més còmoda i pràctica que la del castell.
Les poques restes que queden avui responen a la reconstrucció del segle XIII.