На дипломатической службе с ноября 1855 года. Работал в российских миссиях в Греции (1856–1859), Болгарии, Мюнхене (18611868) и Вене (1869). В 1872–1877 гг. состоял советником посольства Российской империи в Константинополе. Затем занимал должность посланника в Королевстве Саксонском (1879–1882), откуда был переведен управляющим посольством в Константинополе (1882). С 1883 по 1887 гг. – чрезвычайный и полномочный посол России в Турции; с 1897 по 1904 гг. – посол России в Италии; с 1904 по 1910 гг. – посол России во Франции. Умер во Франции. Похоронен в Санкт-Петербурге, на Никольском кладбище Александро-Невской лавры.
Вторая жена (с 1861 г.) А. И. Нелидова, княжна Ольга Дмитриевна Хилкова, дочь статского советника, князя Д. А. Хилкова, фрейлина Ее Императорского Величества, после смерти мужа осталась жить во Франции; возглавляла Комитет русских дам в Париже. Первой женой А. И. Нелидова была Елена Николаевна Анненкова, с которой он развелся из-за ее любовной связи с министром финансов А. А. Абаза.
У Александра Ивановича Нелидова было пятеро сыновей: Александр, Дмитрий (1863–1935), Иван (1865-?), Георгий (18741918) и Владимир (1887–1978). Двое из них, Дмитрий Александрович Нелидов и Георгий Александрович Нелидов, служили в МИД. Дмитрий Александрович занимал пост министра-резидента в Ватикане. О Георгии Александровиче известно только то, что он родился в Константинополе (09.12.1874), и в 1894 г., закончив Пажеский Его Императорского Величества корпус, поступил на службу в МИД (с 08.09.1894).