Po spustoszeniu zachodniej Polski przez Brzetysława cesarz Henryk III zdał sobie sprawę, że Czechy mogą wyrosnąć na regionalną potęgę na wschód od granic Niemiec. Odbudowa państwa polskiego leżała więc w interesie Niemiec, gdyż w ten sposób można było zrównoważyć wzrastającą siłę Czech. Dlatego też cesarz postanowił przydzielić Kazimierzowi pół tysiąca rycerzy niemieckich i skłonił go do powrotu do Polski.
O skali zniszczeń Wielkopolski, dokonanych przez najazd Brzetysława, świadczy fakt, iż Kazimierz powrócił nie do Poznania, lecz do Krakowa, który stał się od tej pory centrum politycznym państwa polskiego. Zmiana stolicy spowodowała, iż Polska mogła od tej pory utrzymywać bliższe niż przedtem stosunki z Węgrami i Rusią.
Chcąc przełamać wrogość w stosunkach z Rusią, Kazimierz zdecydował się w r. 1043 na zawarcie małżeństwa z siostrą Jarosława Mądrego, Dobroniegą. Natomiast siostra Kazimierza, Gertruda, została wydana za mąż za brata władcy Rusi, księcia Izjasława. Tą metodą zawiązany został również sojusz z Węgrami: druga siostra Kazimierza (nieznana z imienia) wyszła za węgierskiego następcę tronu Belę I.
Dzięki sojuszowi z Jarosławem Mądrym Kazimierz odzyskał Mazowsze: w r. 1047 ruska pomoc zbrojna przyczyniła się do rozbicia wojsk Masława. Separatystyczny władca Mazowsza zginął na polu walki. Ceną za sojusz z Jarosławem było oddanie Rusi ziem nadbużańskich z Bełzem, Chełmem i Brześciem. Kazimierz opanował również Pomorze Wschodnie, które oderwało się po śmierci Mieszka II.
Trudniejsze okazały się starania o odzyskanie Śląska. Po raz pierwszy Kazimierz wyprawił się na tę ziemię już w r. 1040. Książę Brzetysław postanowił jednak wówczas ukorzyć się przed cesarzem Henrykiem III i uzyskał zgodę na dalsze posiadanie Śląska. Władca Polski atakował Śląsk jeszcze dwukrotnie: w r. 1046 i 1050. W efekcie doprowadził do cesarskiej mediacji w Kwedlinburgu w r. 1054. W jej wyniku Śląsk powrócił do Polski, ale jako czeskie lenno. Kazimierz zobowiązał się wypłacać z tego tytułu władcy czeskiemu 500 grzywien srebra i 30 grzywien złota rocznie (grzywna była ówczesną jednostką wagi kruszców; jedna grzywna stanowiła równowartość ok. 200 gramów).
Po rewolcie pogańskiej i najeździe Brzetysława Kościół polski znalazł się w ruinie. Jego odbudowa była – obok terytorialnej konsolidacji państwa – najważniejszym zadaniem Kazimierza. Stała się ona możliwa głównie dzięki pomocy duchowieństwa niemieckiego z zakonu benedyktynów. Szczególną rolę odegrał klasztor benedyktyński w Brauweiller koło Kolonii, którego mnisi przybyli do Polski wraz z Kazimierzem i zamieszkali początkowo na Wawelu, w kościele św. Gereona. Później przenieśli się w r. 1044 do klasztoru ufundowanego przez Kazimierza w podkrakowskim Tyńcu. Jeden z mnichów benedyktyńskich, Aaron, został około roku 1046 biskupem krakowskim. Kazimierz Odnowiciel prawdopodobnie ufundował także drugie opactwo benedyktyńskie – w Mogilnie niedaleko Gniezna.
Ponieważ arcybiskupstwo gnieźnieńskie było od czasu reakcji pogańskiej całkowicie zrujnowane, jego funkcje przejął Kraków. W r. 1046 biskup krakowski Aaron otrzymał w Kolonii od papieża Benedykta IX paliusz – symbol władzy arcybiskupiej, choć sam Kraków nie został podniesiony do rangi arcybiskupstwa.
Benedyktyni byli nie tylko doradcami i urzędnikami księcia, ale także przystąpili do rekonstruowania zniszczonej struktury kościelnej – właśnie wtedy zaczęto tworzyć parafie jako podstawowe wspólnoty wiernych.
Kazimierz Odnowiciel zrezygnował z utrzymywania stałej drużyny książęcej, zastępując ją obowiązkiem stawiania się rycerstwa na wezwanie władcy – obowiązek ten wynikał z faktu użytkowania ziemi nadanej przez księcia. Taka metoda formowania sił zbrojnych była dla państwa znacznie tańsza niż finansowanie stałej drużyny, tym bardziej, że rycerz sam musiał się wyposażyć do walki. Nie zmuszała ponadto władcy do prowadzenia ciągłych wojen w celu zaspokojenia materialnych potrzeb członków drużyny. Władca musiał natomiast w coraz większym stopniu liczyć się z właścicielami dużych majątków ziemskich.
Do obrony państwa zobowiązywani byli także mieszkańcy niektórych wsi. W zamian za służbę wojskową byli oni zwolnieni od danin i innych posług na rzecz księcia.