前214年（秦始皇卅三年），秦朝派军攻占百越，置南海郡，将香港一带正式纳入秦国地图。
公元736年（唐朝开元二十四年），香港属于循州（今惠州市），并设立了屯门军镇，当中两千名士兵驻守在屯门主力保护海上贸易。自唐朝起，香港沥源（今沙田）以及大奚山（今大屿山）沙螺湾土壤适合牙香树生长，种香及产香也逐渐发展起来。一直到清朝康熙元年（1662年）海禁迁界时为止。根据考证，明朝时由东莞南部及新安全境（包括香港）香树制品会经过陆路运至尖沙头（今尖沙咀），以小艇送到石排湾（今香港仔），再用俗称为“大眼鸡”的艚船运至广州，最后送往苏杭销售[38]。“香港”这个名称由来，其中一个传说就是因为盛产和出口香木，因此得到“香港”（运送香料的港口）一名[39]。
五代十国时期，由于大步（今大埔）一带盛产珍珠，南汉刘氏遂于963年设立官办珠场，称为媚川都。公元971年（北宋开宝四年），九龙湾一带设立官富场，派遣盐官驻守。南宋末年，宋端宗和宋帝昺被元朝军队逼迫，逃到香港，根据传说，他曾经在土瓜湾一块大石头上休息，后人称该处为宋王台或者宋皇台。