Prvi začetki naselja segajo v 19. stoletje. Nastalo je na prostoru, ki ga na severu omejuje Utik z viško teraso, na jugu je odprt proti Ljubljanskemu barju, na zahodu pa ga dolina Gradaščice povezuje s Polhograjskim hribovjem. V preteklosti sta to ozemlje pogosto poplavljala Gradaščica in Mali graben. Struga Gradaščice je bila vijugasta, bregovi pa nizki in obraščeni z grmovjem (jelša, leska, vrba). Svet med obema vodotokoma je bil močvirnat, s posameznimi kotanjami, v katerih se je voda zadrževala celo leto. Prevladovali so travniki, le na severu, ob Utiku in viški terasi, so prehajali v listnate gozdove z veliko podrasti. Južno od Malega grabna so se v smeri Barja širili logi.
Zaradi nevarnosti poplav so prve kmetije nastale na nizki vzpetini nad strugo Gradaščice. Prvi kmetiji sta bili pri Spodnjem in Zgornjem Vrhovcu. Imeli so velika posestva tudi ob Gradaščici in Malem grabnu. Naselje Vrhovci je dobilo ime po teh dveh kmetijah. V njuni neposredni bližini je bil na vzpetini bokalški grad, pod grajskim hribom pa velik mlin na Gradaščici. Med Malim grabnom in Gradaščico je obstajala še kmetija pri Roku.
Leta 1909 so nastale Vidiceve opekarne na Vrhovcih. To je začetek širšega naseljevanja tega področja. Ljudje so s pomočjo odpadnega materiala zasipavali, ravnali in dvigovali prostor ob Malem grabnu in Gradaščici. Na tem prostoru so si nato gradili hiše. Leta 1931 je bilo na tem ozemlju že 11 enodružinskih hiš. Večina je stala na robu viške terase, le malokatera v bližini Gradaščice. Ta je skoraj vsako leto poplavljala in s tem povzročala škodo na vrtovih in hišah. Najhuje je bilo leta 1926, ko je vodni val Gradaščice s Polhograjskega hribovja prihrumel na Vrhovce in odnašal vse, kar mu je bilo napoti.