Renesanční zámek stojí na místě původního gotického manského dvora, zmiňovaného v pramenech ve 14. století. Budova má čtyřkřídlovou dispozici s vnitřním obdélníkových nádvořím s pilířovými arkádami. Renesanční podobu dostal zámek počátkem 17.století. Vystavěn v letech 1604 — 1605 Janem Žalkovským ze Žalkovic. Podroben četným přestavbám. V r. 1695 Gellhorny dostavěna zámecká věž s hodinami, vnitřní dispozice upravena za Salmů v 19. století. V r. 1969 provedena generální oprava zámku se snahou vrátit budovu čistotě renesančního stylu.
Pobývala zde řada významných osobností, např. lékař a archeolog Jindřich Wankel, spisovatel Ferdinand von Saar nebo Karolina Meineke.
V zámku sídlí Muzeum Blansko.