Критик Олег Михайлов, немало сделавший, чтобы вытащить Чудакова на литературную поверхность, однажды похвастался перед ним томиком Мандельштама, присланного кем-то из эмигрантов: «Одно из мелких злодеяний Сергея Ивановича заключалось в том, что, хотя он полагал, что нельзя красть книги у частных лиц, он этот том у меня стянул. Но как красиво! Выглядело так, что я ему сам его отдал. Он принес кипу книг, украденных в Ленинке. В том числе подарил мне книгу статей Жданова. Так вот, эту принесенную из Ленинки кипу книг он поставил на томик Мандельштама. А когда уходил, попросил: “Передай мои книги”, считая, что он у меня ничего не крадет, а я сам передаю. Я и передал — вместе с Мандельштамом». Иногда, правда, он возвращал книги владельцам (ему давали их под залог паспорта), но читать их было после Чудакова невозможно — они были исписаны телефонами и именами девушек.

Поэт Валентин Хромов выпивал с Чудаковым в пивной на Дорогомиловском рынке, а когда выпивка и деньги кончились, Сергей предложил сходить к нему домой: «Внизу сидела женщина, кастелянша. Вхожу. У двери стоял столик, на нем телефон, а впереди по коридору одна или две комнаты. Я сел за стол (дальше не пошел — куда я, с пьяной рожей?) и жду. А он пошел шарить по шкафам, искать деньги. Мать из комнаты слева спрашивает (я ее не вижу, она на кровати, судя по всему, лежит). Голос нельзя сказать, чтобы больного человека: “Кто там пришел?” — “Это Хромов“. — “А-а”. А Чудаков продолжает шарить. Наконец нашел, выходит, деньги в кармане — и мы пошли обратно на тот же рынок. То есть прятал деньги в книгах где-то, сам не сразу нашел… Он жил в Москве в 1950-е, как в своей квартире. Знал, где что лежит, кому что отдать, все под рукой. Его легко было встретить… С ним очень легко было разговаривать, потому что говорил только он, не обращая внимания на собеседника. В этом его принципиальное отличие от Бродского — тому важно было, чтобы его услышали, поняли, поэтому он часто обрывал себя: “Понятно, да?” А Чудакову надо было просто рассказать что-нибудь интересное, а слушают его или нет — не так уж и важно».

Чудаков был везде, его можно было встретить в «Артистическом», в «Метрополе» и «Национале», где он читал стихи проституткам (ну как Есенин!) со своей авоськой в руках. «Он был егерем этого московского заповедника. Знакомых встречали два-три раза в течение дня, и Чудакова — обязательно: растрепанный весь, рыжее пальто, оттопыренные карманы, жирные чебуреки в руке. Житейская суета для него не существовала, он шел один по Москве и видел только того, кто ему был нужен или интересен. Как у Шагала — он летел надо всеми», — вспоминала Татьяна Маслова. Она как-то пришла к нему в коммуналку, сразу вызвав интерес соседей, принявшихся звонить: «Милиция? Чудаков опять привел какую-то шлюху. Срочно примите меры!» Не дожидаясь участкового, Чудаков успел только рассказать своей гостье: «Вот вчера мне отдалась девушка, оказалась девственницей, плакала, а я сказал: вместо того чтоб плакать — зашей лучше мне рубашку, чего ты бездельничаешь? Вот разорванная рубашка, возьми иголку и сделай полезное дело». Особенно падким был Чудаков на девочек-провинциалок, приехавших поступать в институт. Они как-то сразу отдавались ему на единственном стоявшем в комнате столе, считая его первым поэтом после выученного в школе Пушкина.