Kargowa, której historia sięga co najmniej 1360 roku, była w 1641 roku zakupiona przez hrabiego Jerzego Unruga, starostę gnieźnieńskiego. Hrabia na krótko zmienił nazwę miejscowości na Unrugowo.

     Pod koniec XVII wieku Krzysztof Unrug zbudował w Kargowej dwukondygnacyjny pałac o prostokątnym planie. W pierwszej połowie XVIII wieku miasto zostało przejęte przez króla Augusta II Mocnego, który zamierzał rozbudować pałac Unrugów oraz zbudować koszary. Budowa barokowego pałacu w kształcie litery U rozpoczęła się w latach 1731-1733, jednak została przerwana przez śmierć króla. W 1735 roku, podczas działań wojennych, pałac uległ zniszczeniu w wyniku pożaru. Po wojnie został odbudowany, ale w prostszej formie, zredukowano dekoracje elewacji i wnętrz. Obecnie pałac jest w rękach prywatnych.