В октябре 1951 г. жена Полякова – Киселева, получив заключение о необходимости проведения соответствующих консультаций в Москве, выехала вместе с больным ребенком в СССР. За проезд жены с ребенком и за лечение его в США Поляков выплатил представительству 1 тысячу долларов.

После лечения сына в Москве, Н. П. Киселева оставила его родителям мужа, проживавшим в Подмосковье, и в июне 1952 г. возвратилась к мужу в Нью-Йорк. Здесь нужно отметить, что осложнения после гриппа сказались на здоровье Игоря, он рос болезненным мальчиком и в 1964 г. шестнадцати лет от роду умер.

На службе у Полякова все складывалось хорошо, командование резидентуры им было довольно, в коллективе он заслужил авторитет, вел себя вежливо, скромно, тактично. Но вдруг в октябре 1953 г. на партактиве представительства СССР в ООН он допустил промах, чуть не стоивший ему всей дальнейшей карьеры. На партактиве с докладом о позиции советской делегации по вопросам разоружения на 8-й сессии Генеральной Ассамблеи ООН выступил постоянный представитель СССР в ООН А. Я. Вышинский. В прениях попросил слова и Д. Ф. Поляков. В коротком по времени выступлении он заявил, что предложения СССР сократить имеющиеся вооружения па одну треть, высказываемое в течение длительного времени, уже надоело мировой общественности, как он выразился, «набило оскомину» и старо в своей основе. Поэтому это предложение нуждалось в изменении и к решению связанных с разоружением вопросов необходимо подходить по-новому. С удивлением смотрел на молодого разведчика А. Я. Вышинский. В глазах советского дипломата стоял вопрос: «Что он говорит? В своем ли он уме»?

Сразу после окончания партактива Вышинский вызвал к себе резидента ГРУ и поставил перед ним вопрос, как он выразился, «неофициально» о доверии Полякову. Нужно отметить, что резидент, как мог защищал своего сотрудника. Он сослался, что это выступление не вызвано его настроением, объяснял все это молодостью, незнанием вопроса и неумением правильно излагать свои мысли. Вышинский согласился с резидентом, но решил побеседовать с Поляковым. На следующий день он вызвал его к себе и долго растолковывал ему мотивы необходимости постановки вопроса о разоружении на одну треть. Поляков был согласен во всем с Вышинским и в объяснительной записке написал, что расценивает свое выступление как неуместное и неподготовленное и благодарен товарищам, которые помогли разобраться в этом вопросе.

23 октября 1953 г. резидент ГРУ сообщил в центр, что 17 октября с. г. Поляков на партактиве в представительстве выступил с враждебной по форме критикой позиции в вопросе разоружения. Но осознав свою ошибку признал свое выступление неуместным. Руководство ГРУ никаких выводов по данному факту не предприняло. Полякову повезло.