В школе был заводилой, особенно если это было связано с драмкружком, с разными «блузами-шмузами». Много времени проводил во дворах своего дома. Я говорю «во дворах», потому что этот старый доходный дом имел пять дворов! Арка — двор, еще арка — двор, опять арка и снова двор.
Ребятня была дворовая, шпанистая, часто бегали на Чистые пруды.
Жизнь в семье была нелегкой. Мама, машинистка, ходила на службу, а вечером стучала на машинке, чтобы что-то заработать. Отчим редко появлялся, много гастролировал, семье помогал мало, хотя уже появился на свет маленький брат Леня.
Кажется, в 1929 году Рубин уехал на гастроли в Латвию, тогда это была «заграница», и уже никогда не возвращался ни в свою страну, ни в свою семью. Он так никогда и не узнал, что его сын Леня погиб на войне в 18 лет.
О школе Виктор рассказывал много и интересно. Иногда это были очень веселые рассказы, смешные, а иногда грустные. Его никто никогда не бил, он был крепкий парнишка и всегда мог дать сдачи. Его не обижали, но иногда на обиду нельзя было и ответить. Виктор рассказывал такую историю: в школе был преподаватель географии, пожилой человек с внешностью Николая-Угодника, голубые чистые глаза, совершенно седые волосы и борода. Он был бывший преподаватель гимназии. В классе было несколько девочек и мальчиков евреев. Он их не любил и часто делал колкие, обидные замечания в их адрес. Кто-то из детей пожаловался родителям. Родители пришли к директору и попросили прекратить это. И вот наступил день, когда преподаватель географии вошел в класс, сел, раскрыл журнал, помолчал немного и сказал:
— Дети! Сегодня меня вызвал директор и сказал, что поступили жалобы родителей некоторых учеников на то, что я плохо отношусь к евреям. Евреи, встаньте!
Несколько мальчиков и девочек встали из-за парт.
— Скажите, евреи, разве я плохо к вам отношусь?
Дети, смущенные, покрасневшие (к ним никто никогда так не обращался), что-то забормотали, опустили глаза и никто из них не сказал «да».
Учитель помолчал и милостиво сказал:
— Садитесь, евреи!
Вот такое, видимо, случалось. Виктор говорил мне, что в те годы антисемитизма фактически не было.
Его школьный товарищ, профессор А. Л. Штейн, вспоминает:
«В пятом классе меня посадили за одну парту с кудлатым пареньком в аккуратной маечке. Он был немного старше меня, но гораздо более развит. Его звали Витя Драгунский. Он был осведомлен в вопросах литературы и искусства, блистал остроумием и вскоре стал лидером нашего класса. Виктор даже стал председателем совета отряда. Мы с ним много разговаривали на уроках, и нас рассадили. Его посадили с дочкой пастора Стеллой Штрек, тихой скромной девочкой с длинной косой. Виктор сразу стал изображать из себя Мефистофеля, беседующего с белокурой Гретхен.