Он рано научился читать – книги и географические карты. Играл в футбол, прыгал в речку Рось. На антисемитский вопрос: „Ты зачем Христа распял?" честно отвечал: „Я не пял". Любил сначала Луи Буссенара, потом Гоголя, Льва Толстого, Стендаля. Потом Бунина (у меня сохранился том прозы Бунина, подаренный Борисом, – с пометами пристального чтения).
После революции социальное происхождение Ямпольского было под подозрением: „Всю жизнь я боялся; в сущности, если одним словом выразить мою жизнь, это слово – страх. Да, так оно и есть и от этого никуда не уйти. Сначала это был страх, что я не родился от того отца, от которого надо бы родиться. Еще ничем не запятнанный, еще не сделавший ничего хорошего и ничего плохого, я вдруг обнаружил свою неполноценность, беспомощность. Я все боялся, что узнают, что некогда он имел лавчонку, распроклятую гнилую лавчонку с мышами, в глухом вонючем базарном переулке, где в картонных коробках навалом лежали платки Прохоровской мануфактуры, касторовые и перламутровые пуговицы, английские булавки, бельгийские кружева, житомирские крючки, и бабы долго рылись в коробках, подбирая нужные им пуговицы, и когда они расплачивались медяками или серебром, он кидал монеты в жестяную коробку с лаковым Жорж Борманом. И меня долго не принимали в пионеры…"
Маленьким мальчиком он боялся уснуть, чтоб не проспать мировую революцию. Нес плакат: „Школы стройте, тюрьмы сройте!"