Еще при подготовке перемещения Рокоссовского в Польшу советник МГБ СССР при управлении Министерства национальной безопасности С.П. Давыдов дал указание военной контрразведке Войска Польского, которое возглавлялось кадровыми офицерами МГБ СССР, установить негласное наблюдение за семьей Роля-Жимерского. Формально это делалось для того, чтобы исключить якобы готовившийся ее побег за границу, но в любом случае должно было служить компрометации маршала. Вероятнее всего, этот факт не был известен Константину Константиновичу, но и без того можно представить, каково было ему прийти на место столь заслуженного и популярного в народе военачальника.
«Маршалу двух народов» пришлось сразу включиться в процесс вытеснения из польской армии офицеров, пришедших туда еще до начала Второй мировой войны. Во исполнение решений IV пленума ЦК ПОРП и приказа Рокоссовского от 1 января 1950 г. было уволено свыше 9 тысяч таких офицеров, так что к моменту завершения маршалом его миссии в 1956 г. их доля составила всего 2,9 % от численности офицерского корпуса. На их место приходили сотни советских офицеров преимущественно польского происхождения, они занимали ответственные посты в соединениях, штабах военных округов и центральных органах военного управления. Среди них было много старых сослуживцев маршала, например, на пост заместителя министра национальной обороны был назначен генерал-полковник С.Г. Поплавский, советский генерал, Герой Советского Союза, на фронте командовавший стрелковым корпусом, а в 1944–1945 гг. — созданными в СССР 1-й, а затем 2-й армиями Войска Польского, которые входили в состав 1-го Белорусского фронта.
Политика — в том числе и скрытая, закулисная — политикой, но Константину Константиновичу предстояла и чисто профессиональная работа по строительству современной армии в ПНР. Ее масштабы генерал брони Ф. Сивицкий, бывший в 1980-е гг. начальником Генерального штаба Войска Польского, определил так: «Задачи, которые ставил маршал Рокоссовский Генеральному штабу, а также другим военным учреждениям, касались прежде всего количественного и качественного развития вооруженных сил, боевой подготовки, создания надежной мобилизационной системы, а также оперативного оборудования территории страны».
Именно в те годы была полностью модифицирована организационно-боевая структура армии. К моменту завершения Рокоссовским его миссии в Войске Польском имелись реорганизованные сухопутные войска, ракетные соединения, войска ПВО, авиации и военно-морского флота. Организационные изменения шли параллельно с напряженной боевой подготовкой войск, командиров и штабов, совершенствованием взаимодействия родов войск в рамках новой структуры вооруженных сил. Практически заново была создана система мобилизационных органов страны, интересам обороны подчинялась модернизация сети железных и автомобильных дорог, системы государственной связи. При активной помощи Советского Союза началось создание отечественной оборонной промышленности. В Войске Польском была заново сформирована система подготовки офицерских кадров: были открыты Академия Генерального штаба им. К. Сверчевского, Военно-техническая и Военно-политическая академии.