Strzelin osłaniały cztery zamki obronne; od zachodu w Prusach, od wschodu w Karszówku, od południa w Przewornie, zaś od północy w Bartoszowej. Były to siedziby obronne rycerstwa śląskiego wzniesione w proste bryły skrzydeł zamkowych zestawionych z górującymi nad okolicą wieżami.
W następnych wiekach zamek został przebudowany na pałac. Jego posiadaczem w pierwszej połowie XV wieku był kapitan Albrecht Czetteras (Zettritz) ze Strzelina. Na początku XVII wieku owe dobro szlacheckie zostało przejęte przez Georga von Nimiz (1626) i Gotfryda von Nimiz (1631) obaj pochodzili z rodu Posadowskich, którzy władali ową posiadłością aż do połowy XVII wieku. Dobro rodu Posadowskich przeszło potem na rodzinę von Prittwitz oraz rodzinę Gaffron, odnosząc się do genealogicznego podręcznika szlachty, w 1710 r. zmarł pan pałacu Wenzel von Prittwitz , po którym prawa do majątku dziedziczyli Hans Kaspar von Prittwitz (1673-1755) oraz jego syn Karl Heinrich von Prittwitz, który zmarł w 1785 r. Pod koniec XVIII wieku, strzelińskie kroniki wspominają o posiadłości rodziny Prittwitz w Karszówku, które w XIX wieku zostały przejęte przez barona Hillera von Sauerm. Rodzina Sauerm zatrzymała owo dobro szlacheckie aż do XX wieku. W latach 30 XX w., owa posiadłość zostaje zakupiona przez bankiera z Wrocławia, Conrada Fromberga. Conrad pochodził z rodziny bankierów o dalekich korzeniach, był właścicielem owego pałacu do 1945r.

Pałac w Karszówku po 1945 r., został przejęty przez PGR, i służył jako mieszkania dla miejscowych pracowników , część pałacu została wykorzystana jako prowizoryczny kościół. Od roku 1965 , budowla popadała w ruinę.