Серов (активный организатор и исполнитель массовых репрессий) не любил Рихтера, подозревая его в нелояльности к советской власти — странно было ожидать иного от человека, у которого расстреляли отца. Назначение Ивана Серова в 1958 году на должность начальника Главного разведывательного управления Генерального штаба внушило Рихтеру уверенность, что «железный занавес» перед ним вот-вот падет. Новый председатель КГБ, «комсомолец» Александр Шелепин уже не мог так убедительно отстаивать перед Хрущевым свою точку зрения, хотя и он, став обладателем секретнейшей информации, имел возможность оценивать искренность уверений советской богемы в ее преданности.

Активно настаивал на изменении отношения к Рихтеру тогдашний министр культуры Михайлов, писавший, что «Святослав Рихтер является одним из выдающихся советских музыкантов-исполнителей, что из-за ограничения его выездов за рубеж он в последнее время находится в подавленном моральном состоянии. Являясь свидетелем широкой зарубежной деятельности своих коллег, в том числе и менее известных музыкантов, С. Рихтер чувствует себя человеком, которому отказано в доверии. С. Рихтер, будучи в тяжелом состоянии, иногда без особых на то причин отменяет запланированные концерты. В то же время, выезжая в страны народной демократии, С. Рихтер всегда держится с достоинством и проявляет себя как скромный советский человек». Коллеги Рихтера открыто выражали ему свою поддержку — Гилельс, Ростропович, Леонид Коган, Кондрашин и др.

Из-за рубежа приходила масса приглашений Рихтеру на гастроли, все они отсеивались уже на этапе получения, до Рихтера доходила лишь малая часть, да и то окольными путями. Там, в Европе и Америке, не могли понять — почему известный пианист так часто болеет — а именно эта причина называлась в качестве отказа. Лишь письмо Рихтера Хрущеву с мольбой выпустить его хотя бы на неделю в Финляндию растопило лед. Никита Сергеевич вынес вопрос на заседание высшего органа управления страной — Президиума ЦК КПСС и заявил, что ручается за Рихтера. В мае 1960 года Святослав Теофилович выехал в Финляндию и, самое главное, вернулся оттуда. На гастролях он вел себя хорошо, не отрывался от коллектива и заслужил право уже в октябре поехать в Америку, где выступил с триумфом в Карнеги-холле (Нью-Йорк), концерты были организованы Соломоном Юроком. Постепенно пианиста стали отпускать по всему миру.

Как раз в это время с треском вылетел со своего теплого места Иван Серов: упрекая других в несовершенных преступлениях, он сам допустил немыслимый проступок. В 1962 году был разоблачен его подчиненный — агент иностранной разведки, офицер ГРУ Олег Пеньковский, и все бы ничего, да только семья Серова водила с этим презренным шпионом крепкую дружбу. Пеньковский, частенько выезжая за границу, привозил жене и дочери генерала чемоданы импортных шмоток. Серов был снят с должности, понижен в звании, лишен «Золотой Звезды» Героя Советского Союза, исключен из партии. Но ответственности за участие в сталинских репрессиях не понес. Умер он в 1990 году, в возрасте восьмидесяти четырех лет. Говорят, в старости очень полюбил классическую музыку.