Особенно в Сингапур стекались этнические китайцы, которые вскоре стали его большинством - одни приехали с близлежащего Малайского полуострова и Индонезийского архипелага, другие бежали от беспорядков и нищеты в охваченном кризисом Китае XIX века. Среди последних был прадед Ли, который приехал в Сингапур из южной китайской провинции Гуандун в 1863 году. Малайцы, индийцы, арабы, армяне и евреи также поселились в этом свободном порту, придав городу полиглотский характер. К 1920-м годам Малайзия производила почти половину мирового каучука и треть олова, экспортируя их через сингапурский порт.

К моменту рождения Ли Сингапур также стал краеугольным камнем британской военной стратегии в Азии. Британия была союзником Японии с 1902 года, дойдя до того, что призвала японских морских пехотинцев на помощь в подавлении мятежа индийской армии в Сингапуре в 1915 году. Но к 1921 году Адмиралтейство стало обеспокоено растущей мощью Японии и решило построить в Сингапуре значительную военно-морскую базу с целью превратить его в "Гибралтар Востока". Несмотря на подъем Японии, мир детства Ли был миром, в котором Британская империя казалась непобедимой и вечной. Не было и речи о каком-либо недовольстве, - вспоминал он десятилетия спустя, - превосходный статус британцев в правительстве и обществе был просто фактом жизни.

Семья Ли процветала в годы бума 1920-х годов. Под влиянием особенно англофильского деда родители Ли пошли на необычный шаг и дали своим сыновьям английские имена в дополнение к китайским. Имя Ли было "Гарри". С шести лет он учился в англоязычных школах.

Несмотря на это английское влияние, воспитание Ли было традиционно китайским. Он рос вместе со своей расширенной семьей - включая семь двоюродных братьев и сестер - в доме деда по материнской линии, где его родители делили одну комнату со своими пятью детьми. Благодаря этому детскому опыту и влиянию конфуцианской культуры в его сознании рано запечатлелись сыновняя почтительность, бережливость и стремление к гармонии и стабильности.

Его родители не были образованными профессионалами и пострадали, когда в 1929 году разразилась Великая депрессия. Ли писал в своих мемуарах, что его отец, кладовщик нефтяной компании Shell Oil Company, часто "приходил домой в плохом настроении после проигрыша в блэкджек... и требовал заложить какую-нибудь драгоценность моей матери, чтобы он мог вернуться и снова попытать счастья". Она всегда отказывалась, оберегая образование детей, которые, в свою очередь, обожали ее и чувствовали пожизненное обязательство соответствовать ее высоким ожиданиям.