Связь с окружающим миром была возможна, хотя и ограничена. В ноябре 1981 года Сахаровы даже одержали победу в схватке с КГБ из-за Лизы Алексеевой, невесты Алексея Семенова, сына Елены от предыдущего брака. Алексей в 1978 году эмигрировал в США, и Лиза три года пыталась последовать за ним. Сахаровы объявили голодовку, и через 16 дней, к удивлению многих, Лиза получила заграничный паспорт. Всем, кто знал об этом, было ясно, что Политбюро отменило решение КГБ по политическим причинам. Униженный поражением, что редко случалось в его практике, КГБ решил впредь никогда не отступать перед сахаровским «оружием» — голодовкой.

25 апреля 1983 года у Елены случился инфаркт. Она нуждалась в сложной операции на сердце, которую нельзя было сделать в Советском Союзе, особенно такому человеку, как она — ведь в 1975 году в советских больницах ни один опытный врач не брался оказать ей необходимую помощь из страха перед КГБ.

Тогда же Сахаров совершил политическую ошибку. Он написал открытое письмо известному физику из Стэнфордского университета Сиднею Дреллу, которое было опубликовано в американском журнале «Форин афферс» в июле 1983 года, где выдвинул предложение об уничтожении мощных советских ракет шахтного базирования, предназначенных для первого удара по США. Пока СССР был лидером в этой области и не собирался легко отказываться от этого. «Если для изменения положения надо затратить несколько миллиардов на ракеты MX, — писал Сахаров, — может, придется Западу это сделать». Это могло бы помочь, писал он, уменьшению опасности ядерной катастрофы.

КГБ тут же увидел возможность начать кампанию в прессе и воспользовался ею. 3 июля 1983 года газета «Известия» опубликовала письмо четырех академиков, обвинявших Сахарова в желании «заставить нашу страну капитулировать перед американским ультиматумом». Он получил около 2 500 обличительных писем от тех, кто поверил в такую искаженную версию сахаровской поддержки разоружения.

Состояние здоровья Елены все еще внушало опасения, и Андрей пытался настоять, чтобы ей позволили посетить США для лечения, а также для того, чтобы повидаться с родными. Он написал Юрию Андропову, а после его смерти 9 февраля 1984 года обратился к его преемнику Константину Черненко: «Эта поездка стала для нас вопросом жизни и смерти». 30 марта его вызвали в ОВИР города Горького и уведомили, что ответ на его обращения придет через месяц.

Однако КГБ не собирался быть мягким в такой трудный политический период: с временным кремлевским лидером, в разгар войны в Афганистане и на волне слухов о том, что Рейган готовился к первому ядерному удару. 2 мая Андрей провожал Елену в одну из ее регулярных поездок в Москву. Через окно аэропорта он наблюдал, как она идет к самолету. Вдруг подъехала машина, и Елену арестовала милиция. «Первый допрос и обыск состоялись прямо там, в аэропорту. Мне заявили, что я буду осуждена по статье 190 за распространение заведомо ложной антисоветской пропаганды», — рассказывала она.