Dolný taktiež renesančný kaštieľ mal najstaršie datovanie rokom 1591, avšak predpokladá sa, že bol postavený na starších základoch. I miestna legenda hovorí, že stavba mala pôvodne pôdorys v tvare L – podľa mena majiteľa Leonarda a neskôr sa prestavila do tvaru písmena T podľa mena Teodóza. Meno Leopold sa v rode Sirmiensis nevyskytlo, ale v predchádzajúcom rode Súľovských áno. Tento kaštieľ zdobilo rovnako ako horný kaštieľ nárožné kvádrovanie a z južnej strany slnečné hodiny. Maliar Tomáš Ender videl Dolný dvor so Súľovským hradom v pozadí v polovici 19. storočia v takejto podobe.