Pierwszą drewniano-ziemną warownię wzniesiono ok. poł. XV w. Formowanie obecnego zespołu rozpoczęto od budowy pałacu w 1622 r. z fundacji Aleksandra Ludwika Radziwiłła wg projektu Pawła Negroniego. Fortyfikacje ziemne bastionowe systemu staroholenderskiego pochodzą z lat 1653-54. Za czasów Karola Stanisława Radziwiłła zespół przebudowano i rozbudowano o oficyny: zach., pn.-zach., pn.-wsch. wg projektu Andrzeja Józefa Jeziornickiego. Pałac rozebrano w 4 ćw. XIX w. Oficyny pn.-wsch. i pn.-zach. zostały przebudowane w latach 20. XX w. Kaplica zamkowa w tradycji gotyckiej z pocz. XVII w. Wieżyczka wsch. barokowa z 2 ćw. XVII w. Kordegarda, ob. Galeria Podlaska, z 1928 r.