S’explica que fa molts anys l’amo del castell, situat a dalt de l’actual serra de Milany, de tan atret com se sentia pel poder i el territori que abassegava, es resistia a abandonar aquesta vida. Per aquest motiu, demanà als poders ocults que li fos conservada la vida tants anys com ell volgués.
L’estrany pacte fou concedit, però ell podria desfer-lo el dia que volgués cremar una soca de roure, tal com se li havia dit que fes (i que es preocupà d’amagar molt bé), i que era la representació d’ell mateix.
Els anys anaren passant. Els seus contemporanis anaren morint menys ell, el poderós amo del Castell que, si bé no veia arribar l’hora de la mort, sí que anava envellint amb els anys i es trobava fatigat i decrèpit. Amb tot, s’aferrava a la vida amb totes les seves forces i es resistia a cremar la tan ben guardada soca.
Amb el temps, les idees, les formes de vida, els costums i la llengua va anar canviant i ell no. Es notava desplaçat davant d’una societat que evolucionava; veia com els seus antics vassalls ara es convertien en persones lliures.
Finalment, cansat pel pes dels anys i de la seva incapacitat per adaptar-se als nous temps, va fer dur davant seu la soca de l’amagatall que ningú no havia descobert i la va fer cremar. I mentre la soca de roure es consumia, també ho feia la vida d’aquell home ambiciós que, per voler viure més anys que ningú, va passar la majoria d’aquests vivint en solitud i amargor.
Es diu que després de la seva mort la fortalesa fou batejada amb el nom de “Milany”, ja que segons es creu, foren prop de mil anys els que visqué el senyor del castell.