Через некоторое время в Урюпинске, в квартире родственников второй жены И. В. Сталина, Надежды Сергеевны Аллилуевой, состоялось его знакомство с Ольгой Голышевой, от которой у него остался сын, сегодня единственный из сталинских потомков кадровый военный, о чем так мечтал И. В. Сталин.

Разница в возрасте у молодых людей была совсем небольшой:

Яков — 1907 года рождения, а Ольга — 1909.

Была ли это большая взаимная любовь, нет ли — сказать трудно. Но отношения были продолжены в Москве. Рожать Ольга Голышева уехала в Урюпинск, в родительский дом. 10 января 1936 года она родила сына Евгения, all января в книге регистрации новорожденных бюро ЗАГС г. Урюпинска Сталинградской области появилась актовая запись № 49. Имя новорожденного Джугашвили Евгений. Отец — Джугашвили Яков Иосифович, грузин, 27 лет, студент, мать — Голышева Ольга Павловна, русская, 25 лет, техник.

Малыш рос бойким, смышленым. Через год он уже вовсю бегал по двору, похожий на шустрого цыганенка, и без конца повторял свое ребячье «та-та-та-та». За эту скороговорку мать и ее сестра Надежда Павловна, которая большей частью воспитывала малыша, в шутку прозвали его Таткам.

Вскоре Ольга снова уехала в столицу, оставив ребенка на попечение родителей. Здесь он и рос, затем пошел в школу.

Отношения у Якова с Ольгой не складывались. И через некоторое время они расстались. В 1939 году Яков женился на танцовщице Юлии Мельцер, и у них родилась дочь Галина.

К Юлии Мельцер и их дочери Гале Яков Джугашвили относился с большой любовью. Об этом свидетельствует вот это письмо к, ним, направленное 26 июня 1941 года из района Вязьмы, где он старается успокоить жену и не говорит о тяготах военного времени:

«Дорогая Юля!

Все обстоит хорошо. Путешествие довольно интересное. Единственное, что меня беспокоит, — это твое здоровье. Береги Галку и себя, скажи ей, что папе Яше хорошо. При первом удобном случае напишу более пространное письмо. Обо мне не беспокойтесь, я устроился прекрасно. Завтра или послезавтра сообщу тебе точный адрес и попрошу прислать мне часы с секундомером и перочинный нож.

Целую крепко Галю, Юлю, отца, Светлану, Васю. Передай привет всем. Еще раз крепко обнимаю тебя и прошу не беспокоиться обо мне. Привет В. Ивановне и Лидочке.

С Сапегиным все обстоит благополучно.

Весь твой Яша».

Судьба Юлии Мельцер, матери дочери Якова, далеко не безоблачна, хотя она в это время жила в семье И. Сталина. После того как И. Сталину стали известны некоторые сведения о пленении Якова, у него возникло подозрение в предательстве. Сталин стал подозревать и жену Якова, которая вскоре была арестована, позже реабилитирована.