Баччо своего расстройства не показывал; так он имел обыкновение поступать всегда, делая вид, что не обращает внимания на плохие отзывы об его вещах. Тем не менее вероятно, что он испытал немалое огорчение, ибо тот, кто за честный труд получает хулу, если даже хула эта незаслуженна и несправедлива, долго, надо полагать, в глубине сердца мучается и страдает.
Утешен он был в своем расстройстве поместьем, которое сверх денежного вознаграждения он получил по распоряжению папы Климента. Этот дар вдвойне был дорог, выгоден и полезен, так как поместье это было расположено рядом с его имением в Пинциримонте и так как ранее оно принадлежало Риньядори, объявленному в то время мятежником, и его смертельному врагу, с которым он вел беспрерывную тяжбу из-за границ этого поместья.
В это время герцог Алессандро получил письмо от дожа Дориа, в котором тот писал, что, поскольку гигант был теперь закончен, он просит потребовать от Баччо, чтобы тот закончил и его статую, а если тот своего долга не выполнит, он ему это припомнит. Перепуганный Баччо не решился ехать в Каррару, однако кардинал Чибо и герцог Алессандро уговорили его туда отправиться, и он с несколькими помощниками принялся за статую. Дож изо дня в день следил за тем, что делал Баччо, и когда ему донесли, что тех достоинств, каких ему насулили, в статуе не было, он велел передать Баччо, что если тот не будет служить ему как следует, он за это ему отплатит. Услышав это, Баччо наговорил о доже всяких гадостей, тот же, когда об этом прослышал, решил так или иначе прибрать его к рукам и пригрозил ему галерой. Подозрения Баччо вызвали и соглядатаи, за ним следившие, и потому, будучи человеком предусмотрительным и решительным, он бросил работу как есть и воротился во Флоренцию.
В это же время примерно некая женщина, которую он держал у себя в доме, родила ему сына, и его назвали Клементе в память умершего в те же дни папы Климента, ибо первосвященник сей любил Баччо и постоянно ему покровительствовал. После его кончины Баччо узнал, что исполнителями завещания папы были кардиналы Ипполито Медичи, Инноченцио Чибо, Джованни Сальвиати и Никколо Ридольфи, а также мессер Бальдассаре Турини из Пеши и что они собирались воздвигнуть в Минерве две мраморные гробницы Льва и Климента, модели которых были им раньше сделаны. А теперь эти гробницы были обещаны феррарскому скульптору Альфонсо Ломбарди благодаря посредству кардинала Медичи, на службе у которого тот находился. Изменив по совету Микеланджело замысел, он сделал уже модели, но на заказ договор не заключил, а, поверив лишь на слово, ждал со дня на день отправления в Каррару за мрамором.