Првите Роми на територијата на Балканот пристигнале кон средината на 11 век, кога ја напуштија Ерменија и тргнале кон Анадолија, за потоа во Грчка и понатаму на север.
Подоцна во 14 век кон средината на 14 век , се пронајдуваат архивски материјали за Ромите и во Загреб и во Љубљана. Поголема група на Роми на територија на денешна Србија пристигаат во периодот на владеењето на кралот Стефан Дечански, додека неговиот син Стефан Душан (1348. година) донесува посебен даночен закон за Ромите кој се занимаваа со ковачки занает. Ромите и пред Османлиите беа во голем број населени на територија на Балканскиот полуостров, а таа потврда и со фактот на масовна појава на словенски имиња кај Ромите во првата половина на 16 век. За време на Османлиската империја Ромите имаа и своја територија –Санџак попознат како Ромски санџак, најпрво во Анадолија, а потоа и на Балкнаот. Во периодот кога пристигнале на Балканот Ромите им припаѓаа на групата од христијанска религија, а со пристигање на Турците масовно ја попримија исламската. На почетокот на 16 век (1522. година) направен е и провиот попис каде Ромите во Румелија од кој се заклучува дека во тој период Ромите живееле на територијата на денешна србија во регионот на Ресава, Пирот, Ново Брсдо, Нови пазар, Смедерево, Врање и на Косово (Приштина, Призрен и Пеќ) Во Белград првиот попис на Роми е направен во 1536 година.