В 1274 г. Ротенбург становится вольным имперским городом, власть в нем принадлежит бюргерам, что подстегивает развитие ремесла и торговли, однако в 1356 г. в результате землетрясения город был сильно разрушен, и это на некоторое время остановило его развитие. В 1400 г. бургомистр Генрих Топплер оказывается втянутым в конфликт, развернувшийся из-за борьбы за императорский престол, он поддержал свергнутого императора Венцеля, за что был брошен в темницу, где и умер.

Во время Реформации город принял новую религию и вступил в коалицию с крестьянским войском, а после его поражения выплатил победителю, маркграфу Ансбахскому, контрибуцию и вынужден был вновь принять католицизм. Однако в 1618 г. здесь собирается протестантская уния, и Ротенбург вступает в Тридцатилетнюю войну. В 1631 г. в Ротенбурге останавливаются войска шведского короля Густава II Адольфа, выступавшего за протестантов, но вскоре король покидает город, оставив здесь небольшой гарнизон, а к Ротенбургу подступают католические войска императорского полководца Тилли. После недолгой осады город был взят, а Тилли приказал в назидание казнить 4 видных горожан. Однако городская легенда гласит, что ему поднесли кубок с вином вместимостью 3 с четвертью литра, и тогда он предложил кому-нибудь из горожан осушить его, за что Тилли обещал пощадить город. Старый бургомистр Нуш осушил кубок, и это событие вошло в историю города как «мастерский глоток».

События Тридцатилетней войны оставили неизгладимый отпечаток в истории Ротенбурга, обедневший город был вынужден выплатить огромную контрибуцию, после чего наступил его упадок, новая застройка практически не велась, и это позволило городу сохраниться в своем первозданном виде до наших дней. В 1802 г. Ротенбург вошел в состав Баварии.

Город, окруженный 2 рядами крепостных стен, усиленных квадратными высокими воротными башнями, стоит на высоком обрывистом берегу реки Таубер, повторяя контуры извилистой береговой линии. К старому городу примыкает с юга отдельный госпитальный квартал с мощными оборонительными бастионами, находившийся ранее за пределами крепостных стен. Стены изнутри выложены нишами-печурами, позволявшими защитникам города во время осады скрываться от сыплющегося из-за стен ливня стрел и ядер, и завершаются крытой боевой галереей. Узкие мощеные булыжником улицы застроены трех-четырехэтажными разноцветными нарядными домами под высокими двухскатными крышами, под скошенными коньками крыш помещается балка для подъема грузов наверх. Виселичные ворота (Галгентор), возле которых раньше стояло это орудие казни, ведут к главной городской доминанте и символу города, высокой квадратной Белой башне, построенной во втором внутреннем кольце укреплений, около нее раньше помещался еврейский квартал, характерной деталью которого был трехэтажный розовый дом еврейского танцзала, украшенный большим угловым эркером.