Однако дело не заладилось. По причинам, о которых мы можем только догадываться, так как точных сведений нет, помощников, сколь бы сведущими они ни были, отослали обратно во Флоренцию. Вазари пишет:

Видя, что усилия их далеки от желаемого результата, не будучи удовлетворен ими, однажды утром он скинул на землю все, что было сделано ими, а после затворился в капелле и больше не пожелал впускать их туда. Дома они его тоже так и не застали. Из-за насмешки и такого издевательства над ними, которое, как им показалось, длилось чрезмерно долго, приняли они решение и посрамленные вернулись во Флоренцию.

Впрочем, кое-кому из помощников пришлось остаться, чтобы избавить Микеланджело от самых унизительных обязанностей вроде приготовления штукатурки, измельчения и смешивания красок, переноски, очистки и ремонта инструментов.

Сами по себе условия работы были бесчеловечными. Часами нужно было находиться в одном и том же положении, с поднятой рукой, кончик носа в нескольких сантиметрах от свода. Неотвратимым было и попадание капель краски на лицо — почти пытка. Мало того что он сутками напролет корпел над своими творением — вдобавок к этому приходилось держать в поле зрения критику, следить за соперниками и врагами, напоминать папе об обещанной оплате, огорчаться из-за мучительных просьб родственников. Старшему из своих четырех братьев, Буонаррото, после энного по счету запроса о вспомоществовании он ответил: "Я вас предупреждаю, что я не толстосум. Я сам гол как сокол и не смогу получить остаток, пока не закончу дело, отчего претерпеваю лишения и тружусь денно и нощно". И отцу: "Я нахожусь здесь, всем недоволен, не очень здоров, работаю без перерыва, да к тому же за мной нет ухода и ни единого сольдо в кармане". А самому распущенному и наглому из братьев, Джан Симоне, художник однажды устраивает самый настоящий яростный нагоняй:

Я с двенадцати лет брожу по Италии, нищенствуя; сношу любые унижения, страдаю от бедности и усилий, прилагаемых ради добычи куска хлеба; мое тело разрывают боли от трудов, и жизнь свою я столько раз подвергал опасности, только бы помочь семье; а сейчас, едва удалось немного облегчить ее участь, ты жаждешь внести сумятицу и порушить сделанное мною за столько лет и с таким напряжением сил, — клянусь телом Христовым, так не будет! Если понадобится, я десять тысяч таких, как ты, одолею.