Prawdopodobnie już w XIII wieku na miejscu dzisiejszych ruin zamku istniała twierdza rycerska. W XIV wieku, gdy wieś przeszła w ręce rycerskiego rodu Tworkowskich, twierdzę przebudowano na gotycki zamek, a pierwotną funkcję obronną poszerzono o funkcję mieszkalną. W XVI wieku, kiedy Tworków kupiła rodzina Wyskotów, zamek przebudowano w stylu renesansowym. W okresie, gdy był on administrowany przez późniejszych właścicieli, nie przeszedł większej przebudowy. Za panowania Eichendorffów (pierwsza połowa XIX wieku) powstał przyległy park. W 1874 roku, gdy tworkowski zamek należał do rodziny Sauma-Jeltsch, zdecydowano się na przebudowę, którą przeprowadził architekt Karl Heidenreich. Raciborski pisarz i historyk Ludwik Bilaczek nazwał budynek trójskrzydłowym kolosem, prawdziwą fortecą z wysokimi sklepionymi piwnicami i niskimi, tajemniczymi korytarzami, przesiąkniętymi okropnościami minionych stuleci. Zamek był bardzo bogato wyposażony w gustownie rzeźbione drewniane meble, zbroje, obrazy. Do dziś zachował się obraz o nazwie Złoty Kłos. W 1931 roku w pałacu wybuchł pożar z nieznanych przyczyn, po którym mocno zniszczony budynek nie został już nigdy odbudowany. Dodatkowo ucierpiał w czasie II wojny światowej, w 1945 roku spłonął ponownie. W 1946 roku oszacowano zniszczenia na 90%. Dopiero w 2018 roku odbudowę wzięła na swoje barki gmina Krzyżanowice, obecny właściciel. Zamek w Tworkowie, podobnie jak wiele innych, skrywa tajemnicę. Mówi się, że z zamku prowadzi korytarz na koniec wsi, do lasu Urbanek, gdzie znajduje się kościół pielgrzymkowy św. Urbana.