Когда после этого Баччо приступил к работе над статуями и историями, дела у него уже не сходились с теми обещаниями и обязательствами, которые были даны папе, ибо и в фигуры, и в истории он вкладывал мало старания, оставлял их незаконченными и со многими недостатками, заботясь более о том, как бы вытянуть деньги, чем об обработке мрамора. Но так как упомянутые синьоры видели, что делает Баччо, и уже раскаивались в своем предприятии, и так как оставались еще два самых больших куска мрамора, предназначавшихся на статуи, еще не высеченные, сидящего Льва и Климента, они распорядились, чтобы он и их закончил, попросив его вести себя лучше.

Сикст IV, в миру – Франческо делла Ровере, Папа Римский с 1471 года по 1484 год

Рим и Флоренция долго враждовали между собой, переходя от временных союзов к открытой войне. Своего пика это противостояние достигло при Папе Сиксте IV, который пытался свергнуть Медичи и даже был вдохновителем заговора («Заговор Пацци») против Лоренцо Великолепного.

Однако, поскольку Баччо забрал уже всю причитавшуюся ему денежную сумму, он завел разговоры с мессером Джованбаттистой да Риказоли, кортонским епископом, находившимся в Риме по делам герцога Козимо, о том, чтобы уехать из Рима во Флоренцию на службу к герцогу Козимо для работы над фонтаном его виллы Кастелло и над гробницей его отца синьора Джованни. Когда же от герцога был получен ответ, чтобы Баччо приезжал, он отправился во Флоренцию, бросив, не говоря ни слова, гробницы незаконченными, а статуи – на двух подмастерьев. Кардиналы, видя это, передали заказ на обе оставшиеся папские статуи двум скульпторам: одну Рафаэлю да Монтелупо, получившему статую папы Льва, другую же Джованни ди Баччо, которому была передана статуя Климента. После этого было отдано распоряжение приступить к работам над архитектурными частями, да и все, что было сделано раньше, было переделано, ибо и статуи и истории во многих местах были не отчищены и не полированы и принесли Баччо больше хлопот, чем славы.

Приехав во Флоренцию и узнав, что герцог послал скульптора Триболо в Каррару за мрамором для фонтанов в Кастелло и гробницы синьора Джованни, Баччо обошел герцога настолько, что выманил из рук Триболо гробницу синьора Джованни, уверив его превосходительство в том, что большая часть мрамора для этой работы уже находилась во Флоренции. Так, мало-помалу он втерся в доверие к герцогу настолько, что из-за этой близости и из-за спеси все его стали опасаться. Затем он убедил герцога поставить гробницу синьора Джованни в капелле Нерони церкви Сан Лоренцо, помещении тесном, душном и неприглядном, не сумев или не захотев предложить (как это надлежало) столь великому государю соорудить по этому случаю новую капеллу. Он добился также того, что герцог по его просьбе затребовал от Микеланджело большое количество находившегося у него во Флоренции мрамора, и герцог получил его от Микеланджело, а Баччо от герцога. Среди этого мрамора было несколько болванок, а также статуя, продвинутая Микеланджело довольно далеко. Баччо, забрав себе все, расколол и разбил на куски все, что только там было, думая, что он таким способом отомстит Микеланджело и доставит ему неприятность.