Pierwszy drewniano-ziemny gród został wzniesiony w Raciążku prawdopodobnie w połowie XIII wieku przez biskupów kujawskich. Gród został zdobyty przez Krzyżaków w 1330 roku.
Nie jest znana dokładna data powstania zamku. Prawdopodobnie miało to miejsce niedługo po zniszczeniu grodu przez Krzyżaków, ponieważ biskupom zależało na posiadaniu swojej rezydencji niedaleko Włocławka.
Pewne jest, że zamek wzniósł biskup Maciej z Gołańczy, który zmarł w 1364 roku. Początkowo był to tylko jeden budynek o trzech kondygnacjach i rozmiarach 12x25 m. Do 1383 roku został on powiększony do rozmiarów 17x25 m przez biskupa Zbyluta z Gołańczy, następcę Macieja. Wtedy też powstały obwodowe mury wzdłuż krawędzi zbocza. Podczas kolejnych rozbudów przy południowym odcinku murów powstały zabudowania gospodarcze, a w narożniku południowo-zachodnim biskup Jan Karnkowski wzniósł czworoboczną wieżę.
W latach 1582-1600 Hieronim Rozdrażewski rozbudował zamek oraz przekształcił wnętrza tak, że powstała późnorenesansowa obronna rezydencja. Podczas tej przebudowy wzniesiono przy suchej fosie, w pewnym oddaleniu na zachód od murów zamkowych, czworoboczną wieżę bramną.
Po zniszczeniach z drugiej połowy XVII wieku zamek został opuszczony, a pozostałości budynków gospodarczych rozebrane. W początkach XVIII wieku Felicjan Szaniawski wzniósł drewniany budynek poza terenem zamkowym, a w 1720 roku biskup Krzysztof Antoni Szembek wykorzystał zniszczone mury głównego budynku zamkowego do wzniesienia barokowego pałacu, do czego zatrudnił architekta Jana Cocchiego.
Po rozbiorze Polski, w 1804 roku, władze pruskie przeznaczyły zamek do rozbiórki.
W latach 1978-1985 przeprowadzone zostały badania, po których zamek zabezpieczono jako trwałą ruinę.
Pocztówka przedstawia ruiny zamku w Raciążku. Została ona wydana w 2005 roku przez Wydawnictwo Julita. Zdjęcie archiwalne UG Raciążek.
