Во второй половине XIX века, когда началась массовая эмиграция евреев в Палестину, им пришлось столкнуться почти сразу же с нападениями арабов. Это были бандитские налеты на новые поселения, грабежи, насилия и убийства. Сначала эти нападения не носили характера политической борьбы. Арабы, просто в силу своей ментальности, стремились нажиться за счет колонистов, не делая особых различий между евреями и другими жителями Турецкой Палестины. Это была в то время захолустная провинция, и местные власти не имели сил для защиты поселенцев.
Первоначально евреи, а это были в основном уроженцы России и стран Восточной Европы, не имевшие навыков вооруженной борьбы, нанимали тех же арабов для защиты своих поселений. Однако вскоре выявилась совершенная неэффективность такого метода обороны. Евреи поняли, что без собственного участия в вооруженной борьбе им не выжить на земле своих предков, в Эрец-Исраэль.
Толчком для организации собственной охраны послужило прибытие в Палестину группы репатриантов из России, членов организации, известной под названием «Билу». Это были молодые, сильные и смелые люди, поселившиеся в Ришон ле Ционе и организовавшие там мощную вооруженную охрану. Постепенно эта система распространилась и на другие поселения. Командирами охранников стали мужчины, прошедшие службу в царской армии России, поэтому и приказы отдавались на русском языке. Руководителем охраны был Элиэзер Марголин — первый военачальник рождавшегося еврейского государства, впоследствии — полковник британской армии.
Вторая алия (1904–1914 гг.) еще более усилила стремление к самообороне, ибо в ее составе были участники отрядов самообороны от российских погромов, люди, имевшие уже боевой опыт. Их руководителем стал человек незаурядный — Михаил Гальперин. И наконец, местные отряды объединились, создав в апреле 1909 года в Месхе организацию еврейской самообороны под названием «Хашомер» («Страж»). Возглавил ее Исраэль Шохат, расходы на приобретение оружия шли из общего бюджета. В охране, кроме небольшого числа профессионалов, принимали участие и все мужчины, способные носить оружие.
«Хашомер» стал достаточно мощной организацией, и его деятельность изменила отношение арабов к евреям — их стали бояться, а значит — уважать. «Хашомер» явился первым звеном в истории армии государства Израиль.
В годы Первой мировой войны ситуация в Палестине усложнилась. Население еврейского ишува сократилось с 85 до 56 тысяч. Большинство евреев имели гражданство России, а она воевала с Турцией, и началось массовое уклонение от мобилизации в армию. Но к весне 1916 года многие приняли турецкое гражданство и были мобилизованы, а 80 еврейских гимназистов — посланы в военные училища и впоследствии стали офицерами. Именно они после войны стали первыми кадровыми офицерами еврейских вооруженных формирований.