После 10 дней пребывания на стадионе интернированные были разделены на группы и разосланы в лагеря (называвшиеся camps des travailleurs volontaires) по всей Франции. Беньямин и его друзья, включая не только Арона и Заля, но и драматурга Германа Кестена, добились, чтобы их не разделяли; под вооруженной охраной их сначала доставили на автобусе на Аустерлицкий вокзал, а затем на поезде до Невера – городка примерно в 150 милях к югу от Парижа на западной окраине Бургундии. Прибыв туда к вечеру, интернированные были вынуждены совершить двухчасовой пеший переход до заброшенного замка Вернуш. Этот переход стал пыткой для Беньямина, у которого начало отказывать сердце. Впоследствии он рассказывал Адриенне Монье, что, хотя его скудные пожитки нес Арон, в дороге он упал от изнеможения. В замке не было абсолютно никакой обстановки, и 300 интернированных были вынуждены спать на полу, пока несколькими днями позже им не привезли солому. Все эти потрясения стали для Беньямина тяжелым бременем; по сравнению с большинством других заключенных ему требовалось больше времени, чтобы привыкнуть к лишениям, включавшим голод, холод, грязь и «непрерывный гам». Его здоровье по-прежнему ухудшалось, и были дни, когда он лежал, не имея сил даже на то, чтобы читать. При помощи Арона он устроил для себя под винтовой лестницей что-то вроде каморки; штора из мешковины в какой-то мере обеспечивала ему там приватность.

Разумеется, проблемы, сопряженные с жизнью в лагере, не сводились к одним лишь материальным лишениям. Интернированные ничего не знали о намерениях властей, и будущее было им абсолютно неведомо. По лагерю ходили самые безумные слухи, порой намекая на скорое освобождение, порой – на окончательное лишение свободы. Кроме того, война, раздиравшая континент, почти полностью лишила интернированных всяких вестей от друзей и близких. Беньямин по крайней мере знал, что Дора и Штефан пребывают в безопасности в Лондоне. Вместе с тем он не получил ни одного известия от сестры, и лишь несколько недель спустя до него стали доходить новости от его друзей в Париже и Швейцарии. Одним из самых примечательных аспектов последних месяцев жизни Беньямина в Европе было укрепление его дружбы с писателем Бернардом фон Брентано, тесно сотрудничавшим с Брехтом; Брентано был одним из немногих людей, с которыми Беньямин переписывался в то время, и последний старался держать его в курсе своего местонахождения и условий существования. Кроме того, Беньямин опасался, что начало войны может надолго лишить его стипендии, даже если институт будет в состоянии ее выплачивать; он знал, что банковские счета интернированных по крайней мере временно заморожены. Неясно было, сумеют ли иностранцы когда-нибудь изъять свои средства из французских банков. По этой причине Беньямин писал Жулиане Фавез, парижскому администратору института, прося ее позаботиться о том, чтобы его деньги не пропали и чтобы за его квартиру своевременно вносилась оплата. Кроме того, он обратился к ней с просьбой уведомить Хоркхаймера и Поллока о его состоянии: «У меня почти не бывает спокойствия, без которого я не способен писать напрямую в Нью-Йорк» (GB, 6:339). Выяснилось, что устройством его дел занимались его сестра и Милли Леви-Гинзберг (жена его друга, историка искусства Арнольда Леви-Гинзберга, племянника Эльзы Херцбергер), заодно присматривавшие за его квартирой и имуществом.