Simon fiú örökös nélkül halt meg, így a vár I. Károly királyra szállt, aki 1324-ben Hench fia János mesternek adományozta. Az ő halála után fia, Miklós örökölte a birtokot.
Miklós végrendeletében Lackfi István erdélyi vajdára és fiaira hagyta a várat. A Lackfiak a középkori Magyarország legnagyobb jelentőségű családjai közé tartoztak, továbbfejlesztették a kastélyt, az átalakítás után a vár a Nagy Lajos-kori Magyarország egyik legjelentősebb birtokközpontjává vált.