В конце ноября наркомом стал Берия. Ознакомившись с деятельностью Спецгруппы ГУГБ и ее руководителя, он, как и Ежов, усомнился в преданности Серебрянского. Особое сомнение вызывал пресловутый «еврейский вопрос». Из числа более чем двухсот агентов СГОН значительную часть составляли евреи (что и понятно — после прихода нацистов к власти евреи активно сотрудничали с советскими спецслужбами). В одной из бесед с Деканозовым Берия даже сказал: «Серебрянский устроил на казенное жалованье еврейскую родню, которая оказалась ни к чему не годной, и теперь должен понести за это ответственность».
Следствие по делу Серебрянского было поручено начальнику 2-го отделения 2-го (Секретно-политического) отдела ГУГБ В. С. Абакумову. Первый раз Яков Исаакович был допрошен 13 ноября 1938 года, однако необходимых признательных показаний от него добиться не смогли. На протоколе допроса имеется резолюция Л. П. Берии: «Тов. Абакумову! Хорошенько допросить!» После этого к Якову Исааковичу стали применять «интенсивные методы» дознания. Как позднее рассказывал сам Серебрянский, 16 ноября 1938 года на допросе у Абакумова с участием начальника 2-го отдела ГУГБ Б. З. Кобулова и наркома Берии его жестоко избили, и, спасая жизнь, он вынужден был дать ложные показания о своей «антисоветской деятельности». На допросах Яков Исаакович называл вымышленные фамилии — это позволяло тянуть время и не бросать тень подозрения на тех, кто действительно работал с ним.
С 5 декабря 1938 года, после назначения Виктора Абакумова начальником Управления НКВД Ростовской области, следствие по делу Серебрянского поочередно вели С. Р. Мильштейн, П. И. Гудимович и П. А. Перепелица. Двадцать пятого января 1939 года Якова Исааковича перевели из Лубянки в Лефортовскую тюрьму. До 13 февраля, то есть более трех месяцев после ареста, он содержался под стражей без санкции прокурора! Еще через две недели, 21 февраля, Серебрянский был уволен из органов НКВД «по факту ареста».
Полина Серебрянская впервые была допрошена 28 февраля 1939 года (!). Ее обвиняли в недонесении на собственного мужа.
«В марте 1939 года, когда я стал заместителем начальника разведки НКВД, — вспоминает П. А. Судоплатов, — одной из моих главных задач было внедрение нелегалов в Западной Европе и создание агентурной сети, связанной с немцами, имевшими дипломатическое прикрытие. Особенно это касалось Германии, являвшейся центром внимания всей нашей работы. После репрессий 1937–1938 годов германскими делами в разведке стали заниматься новые люди, и наши контакты с агентами оказались временно прерванными.