Больше всего икон (около сотни) было в квартире Голованова — в том числе и как произведений древнерусского искусства, Спасая от уничтожения церковные ценности, дирижер собрал ценнейшую коллекцию (пополнившуюся и за счет собрания Алексея Щусева после смерти архитектора в 1948 году). Охаивая Голованова, Самосуд еще не знал, что у того дома хранится даже частица мощей преподобного Саввы Сторожевского из одноименного монастыря. Долгое время эта поруганная большевиками реликвия считалась утраченной, сохранилась она до наших дней благодаря Николаю Семеновичу. Главный дирижер Большого театра только самым близким людям показывал редчайшие книги Московского печатного двора — Пролог 1642–1643 годов и Соборник из 71 слова 1647 года, признанные ныне книжными памятниками национального значения. Что же касается собирательской деятельности Голованова, то она по праву признается современниками тайным духовным подвигом. К тому же, полифоническая личность, Голованов не только собирал иконы, но и сочинял духовные произведения, на широкое обнародование которых при жизни не надеялся. Новая его ипостась как русского духовного композитора стала известна лишь в 1990-х годах.

Коллекционировал Николай Семенович и живопись. Со многими художниками, чьи полотна Голованов включал в свое собрание, он был знаком лично и дружил — с Виктором Васнецовым, Константином Коровиным, Александром Головиным, Петром Кончаловским, Михаилом Нестеровым, с которым они, кстати, играли в четыре руки для великой княгини Елизаветы Федоровны «на белом громадном рояле Николаевского дворца в Московском Кремле» (это были люди одной группы крови — проект созданной на средства великой княгини Марфо-Мариинской обители разработал Щусев, росписью занимался Нестеров, а регентом там служил Голованов). Среди произведений Нестерова в коллекции Голованова — эскизы росписи и мозаики «Великомученица Варвара» (1894), «Ангел печали» (1900), второй вариант картины «Отцы пустынники и жены непорочны» (1933), созданной по его заказу, «Портрет преподобномученицы великой княгини Елисаветы Феодоровны Романовой» (1910–1912). Писали знакомые художники и самого дирижера, в частности Роберт Фальк в 1930-х годах. Скульптура в собрании дирижера была представлена работами Паоло Трубецкого, Михаила Врубеля и гранитной «Головой фараона», относящейся ко второму тысячелетию до нашей эры (Николай Семенович как-то напугал Нежданову идеей прикупить по случаю и египетскую мумию).

Разраставшаяся коллекция, чему способствовали отсутствие детей, единственный брак и большие оклады, получаемые Головановым в Большом театре, Большом симфоническом оркестре, консерватории, а также четыре Сталинские премии, вынудила его превратить их общую дачу с Неждановой на Николиной Горе в некое подобие филиала домашнего музея (он, кстати, добился в 1952 году открытия на даче памятной доски супруге). Унаследовавшая после смерти дирижера его состояние сестра, как могла, сохраняла собрание, для которого уже требовалась солидная охрана: в 1960-х годах дачу ограбили, причинив коллекции серьезный урон. Что-то разошлось по антикварным магазинам, немало ушло в Третьяковку, но часть коллекции все же можно увидеть ныне в его музее-квартире в Брюсовом переулке, включающем четыре комнаты: кабинет, гостиную, столовую и бывшую спальню. В спальне при жизни дирижера и хранились все сокровища, а за дверями ее были спрятаны Царские врата, куда-то потом пропавшие…