Курганы близ Керчи вызывали особый интерес Стемпковского. Он писал: «Не должно было бы оставить без внимания многочисленные, огромные курганы по северным берегам Азовского моря рассеянные». Он отмечает руины древних зданий в окрестностях Керчи: следы башен древнего Мирмекиона в Змеином городке, «остатки замка на горе Опуке и, наконец, древнее здание из огромных нерегулярных камней, без цемента сложенное, известное под именем Золотого кургана». Планы и профили всех остатков древних зданий – вот с чего необходимо было начать.

Следы стен и башен города еще видны были, «но скоро, может быть, совершенно будут изглажены. По новым предположениям относительно Керчи, где недавно учрежден порт, назначено уничтожить тамошнюю небольшую крепость».

Ведь самому Стемпковскому, в качестве градоначальника Керчи (в начале 1828 года он получил это назначение), придется сносить эти башни, если они мешают рождению нового города. Нужно было спешить со съемками этих планов.

Нужно было спасти «недра классической земли» от хищников-кладоискателей. Стемпковский добился запрещения случайных раскопок и начал собирать у частных лиц (не жалея собственных средств) монеты, скульптуру и всё, что могло быть ценно для будущего музея. В 1825 и 1826 годах ему удалось открыть такие музеи в Керчи и Феодосии. Все боспорские находки, связанные со Средневековьем, Стемпковский сосредоточил в Феодосии. Этот город он считал потерянным для изучения античности, но он был живым свидетелем генуэзских поселений. Музей для Стемпковского не был мертвой коллекцией. Музеи надеялся он превратить в базы для археологических исследований.

Создание музея давало возможность Стемпковскому сделать пересмотр всем боспорским находкам, распределить их согласно эпохам, соединить разрозненное и произвести исследования и описания.

Описания Стемпковского были написаны в виде коротеньких статей, которые печатались одна за другой в газете «Одесский вестник». Он считал это очень полезным: люди, которые за утренним завтраком просматривали последние политические новости и одесские сплетни, узнавали о Митридате III, о династиях Спартокидов, Рискупоридов, Тивериев Юлиев и о других властителях Боспорского царства, монеты с изображением которых изучал Стемпковский.

Археология как наука начинала занимать читающую русскую публику. Раскопки перестали быть таинственным испытанием «фортуны».

Во всё время пребывания Стемпковского в Керчи, особенно же после того как стал он градоначальником, велись планомерные раскопки, которые уже не были любительскими и никому не давали доходов. Согласно плану своему, начал Стемпковский исследование керченских курганов. Первый из них, Куль-Обский курган, дал богатейшие результаты. Знаменитая Куль-Обская ваза познакомила науку с характером и обликом скифов, древнейшего населения полуострова. С этой находкой связано имя Стемпковского.