Командировка проходила в согласии с дипломатическим протоколом и без каких-либо серьезных происшествий. Но вот, покинув завод, госплановцы в сопровождении губернатора Нагои и охраны отправились на вокзал, чтобы скоростным поездом (200 километров в час) переехать в город Осака. Далее рассказывает Байбаков: «На перроне вокзала во время ожидания поезда произошло событие, о котором позже газеты подняли трезвон на весь мир: на меня, мою супругу и сопровождавшего нас работника советского посольства Немзера Л. А. было совершено покушение. Подбежавший к нам террорист неожиданно ударил Немзера большим мечом из мореного дерева и тут же, подпрыгнув, сильным ударом меча по плечу чуть не свалил меня с ног. Не успел я выпрямиться, как меч снова взметнулся, но уже был направлен на мою супругу, стоявшую с губернатором Нагои напротив меня. Губернатор поднял руку, заслоняя Клавдию Андреевну, но ударом меча ему перебило палец. И все же, превозмогая боль, он успел перехватить вновь взметнувшийся меч, чем спас жизнь моей супруги, предотвратив удар по голове. Только после этого преступник был схвачен охраной. Вскоре подошел поезд, и мы уехали. Не прошло и часа, как мы прибыли в Осаку и разместились в отеле. Находясь в номере, мы включили телевизор. На телеэкране появилось изображение государственного флага Японии, на фоне которого были помещены фотография напавшего на нас молодого человека и надпись: “Он борется за наши Северные территории”. Преступником оказался японец в возрасте примерно 25 лет, недавно отбывший двухлетнее тюремное заключение за уголовное преступление. Он был руководителем группы из пяти человек, поставивших своей целью добиться передачи Японии четырех Курильских островов. Диву даешься, как можно было все это узнать и подготовить репортаж в течение одного часа».

А до этого Байбакова поразило другое. Через 15–20 минут после отправления поезда из Нагои к ним в купе вошли несколько человек и от имени правительства принесли извинения за случившееся. Байбаков, в свою очередь, просил передать императору и правительству решительный протест советской делегации в связи с неудовлетворительным обеспечением ее безопасности. Через советское посольство Байбаков отправил и шифрограмму в Москву с сообщением об инциденте. Москва ответила: визит продолжать в соответствии с намеченным планом, на покушении внимания не акцентировать.

Руководители японских фирм, где госплановцам потом пришлось побывать, начинали разговор, как правило, с извинений за случившееся. Но в беседе с главой делегации постоянно поднимали вопрос о Курильских островах.