В переулке жили Собакины – родственники третьей жены Ивана Грозного, Стрешневы – родственники второй жены царя Михаила Фёдоровича и А. И. Милославский – родственник жены царя Алексея Михайловича.

Во время нашествия французов все постройки в переулке сгорели, после 1812 года он застраивался заново. Ширина переулка была увеличена с семи до пятнадцати метров.

Все основные строения в переулке возводились уже из кирпича. Отметим одно из них – дом князя П. И. Одоевского, владевшего северной частью территории МХАТа. После смерти князя (1826) дом перешёл к В. И. Ланской, у которой проживал её племянник – писатель В. Ф. Одоевский. Владимир Фёдорович был близок с A. C. Грибоедовым и Д. В. Веневитиновым. Вместе с В. К. Кюхельбекером он издавал передовой для его времени журнал «Мнемозина».

В середине XIX столетия в переулке находилась знаменитая гостиница Ипполита Шевалье. Она была популярна среди завзятых посетителей располагавшихся рядом театров. В ней неоднократно останавливался Л. Н. Толстой, считая её «лучшей московской гостиницей». Сюда к нему приходили Д. В. Григорович, А. Н. Островский и A. A. Фет. За день до кончины здесь ужинал П. Я. Чаадаев. Около месяца (май – июнь 1855 года) у Шевалье жил H. A. Некрасов, приехавший в Москву ради искусственной минеральной воды. Отсюда он сообщал И. С. Тургеневу: «Весной нынче я столько писал стихов, как никогда». Это были стихотворения «Белинский», «На смерть Грановского», «Русскому писателю», сделаны наброски «Поэта и гражданина». Многие строки из последнего актуально звучат и в наши дни.

В Камергерском переулке звучали строфы великой эпопеи Л. Н. Толстого – Лев Николаевич читал здесь главы своего романа «Война и мир». Это происходило в доме, который стоял на углу с Б. Дмитровской. В 1866 году Лев Николаевич снимал в нём шесть комнат, «прекрасно меблированных, с дровами, самоварами, водой и всей посудой, серебром и бельём столовым за 155 рублей в месяц».

Здание, стоящее сегодня на его месте (дом 5/7), появилось в 1913 году. Многим москвичам оно известно по магазину «Педагогическая книга». В нём жили артисты Л. В. Собинов и Н. В. Хмелёв, писатель Л. А. Кассиль и композитор С. С. Прокофьев. Дом № 2, находящийся в противоположном конце переулка, тоже известен жившими в нём знаменитостями: в нём были квартиры писателей В. В. Вишневского, Ю. К. Олеши и Л. Н. Сейфуллиной, поэтов H. H. Асеева, Э. Г. Багрицкого, В. М. Инбер и М. А. Светлова.

Поэтическая элита начала осваивать переулок с начала 1920-х годов. Тогда на месте части дома № 1 было кафе «Десятая муза» (название дано в честь музы кино). В нём бывали поэты Д. Д. Бурлюк, В. В. Каменский и В. В. Маяковский.