И все же воды не хватало, да и качество ее ухудшилось. Многие находили причину в том, что мытищинские источники иссякли. Дескать, сколько же можно качать оттуда воду. Об этом, собственно, говорилось и в проекте Шухова и его коллег, призывавших осваивать водные ресурсы Яузы. Еще в 1884 году комиссия по вопросу об устройстве водопровода отмечала, что пора, наконец, «отрешиться от установившегося безусловно отрицательного взгляда на пригодность речной воды для водоснабжения Москвы и от слишком категорического и притом несколько одностороннего взгляда на возможность сполна обеспечить водоснабжение такого большого города, как Москва, одной подпочвенной водой». Кроме того, «городскому управлению следует обратить должное внимание на открытые источники (как то на Москву-реку, Клязьму и т. д.)».

Уже через четыре года после пуска водопровода его возможности истощились – и полтора миллиона ведер в сутки Москве не хватало. А ведь этого и следовало ожидать – строить новый водопровод нужно с расчетом постоянно растущей потребности в воде. Проект Зимина же давал лишь полтора, а не три с половиной миллиона ведер, как в отвергнутом проекте конкурентов. В 1899 году московские власти приняли очередное решение об очередном расширении водопровода, на что ассигновали 2 250 000 рублей. Инициатором строительства нового Москворецкого водопровода был все тот же… Зимин, по сути и являвшийся главным человеком в системе московского водоснабжения. Он получил и солидный грант на зарубежную командировку для изучения международного опыта. По его же проекту и решено было строить новый водопровод из верховья Москвы-реки, от села Рублево. Ну а москвичи по-своему отреагировали на очередную затею инженера Зимина. Чего стоит одна лишь газетная карикатура на него, стоящего в виде памятника, у которого вместо рта фонтан, откуда бьет вода. Припомнили ему и повышение оклада почти в полтора раза (с 10 до 14 тысяч рублей в год), и даже служебное авто, которое он просил ему выделить у Городской думы.

Москворецкий водопровод строился в два приема, с 1900 по 1912 год. Первую воду он смог дать в 1902 году. Вода поступала из Рублева по трубопроводу к огромному резервуару на Воробьевых горах. Постепенно объем мытищинской воды падал, достигнув 10–20 % общего объема потребляемой Москвой воды. Однако и здесь нашлось чем укорить Зимина – применяемые для очистки речной воды английские фильтры не справлялись со своей задачей при паводках. Проходил месяц после паводков, а вода текла из кранов по-прежнему желтая. Для борьбы с желтизной решили добавлять в воду сернокислый глинозем, но и он в итоге не помогал, засоряя фильтры. Так и не увидев окончания строительства своего детища, то ли от неимоверных усилий, то ли не выдержав вала саркастических насмешек, инженер Зимин скончался в 1909 году, ему было всего 60 лет.