先秦时期，现在的玉林市境属百越地，有骆越、西瓯等部族居住。
秦始皇三十三年（公元前214年），分属桂林、象二郡。

　　西汉初，属南越国。元鼎六年（前111年）， 为布山县地和合浦县地，属交趾刺史部的鬱林郡和合浦郡。王莽新朝，仍为布山县地和合浦县地，属鬱平、桓合二郡。

　　东汉，今市境仍为布山、合浦二县地，属产交刺史部的林郡和合浦郡。建安八年（公元203年）， 改属交州刺史部的鬱林郡和合浦郡。

三国吴，今市境布山、合浦二县地仍属交州刺史部的林郡和合浦郡，黄武五年（226年）， 布山县改属广州刺史部的鬱林郡，不久并入交州。（《南朝·宋书》载："吴立，曰阴平。"《清一统志》载："吴置阴平县，属鬱林郡。"）

晋朝，今市境为阴平县地、布山县地和合浦县地，分属广州刺史部的鬱林郡和交州刺史部的合浦郡。太康元年（ 280年），阴平县改为鬱平县。

南朝，今市境西北在宋、齐、梁三朝时，为鬱平县地，属广州刺史部的鬱林郡。梁朝改属定州，后改属南定州。陈天嘉二年（561年），置石南县，属石南郡， 石南郡和鬱林郡皆属南定州。今市境东南的合浦县地，宋初属合浦郡，秦始七年（471年）置方度县，属越州的南流郡。齐朝， 增置兴昌县，属越州的定川郡。梁朝，废方度、兴昌二县入定川郡。梁、陈两朝时，定川郡仍属越州。

隋朝，今市境西北的鬱平县和石南县，初属南定州。开皇十年（590年），改属尹州。大业二年（606年）属鬱州，三年（607年）又改属鬱林郡。大业二十年（616年），梁王肖铣析石南地置兴德县，不久，废兴德县。市境东南的定川郡，隋初属越州。开皇十年（590年）废郡后， 置定川县，属越州，大业初改属禄州，不久改属合州、合浦郡，后省定川县入北流县。

唐武德四年（621年），今市境西北复置兴德县，与平、石南属南尹州，贞观九年（635年）改属贵州。 麟德二年（665年），置兴业、潭栗二县与兴德、鬱平、石南属州，乾封元年（666年）改属鬱林州。建中二年（781年），废石南入兴业县(另据清嘉庆版《兴业县志》(续修)载:"贞元间，省兴德、鬱平、潭栗，乃为兴业县，属鬱林州治。")

武德四年（621年）， 今市境东南又析北流县地置南流县，属容州，贞观十一年（637年），分南流县置定川、 宕川二县，三县皆属牢州。永淳元年（682年），置善劳、 善文、抚安、宁仁、安仁、怀义、福阳、古符，八县皆属党州。永淳二年（683年），析出安仁、怀义、福阳、 古符四县属平琴州。至德二年（758年），改安仁为容山、抚安为抚康。 建中二年（781年），容山、怀义、福阳、古符四县改属党州，又省善文、宁仁、福阳、古符四县。

唐末，今市境有兴业、鬱平、兴德、潭栗、善劳、抚康、容山、怀义、南流、定川、宕川等11个县，分属鬱林州、党州和牢州。

五代十国，今市境仍设兴业、鬱平、兴德、潭栗四县（《五代史职方考》、《十国春秋地理表》有石南县），属鬱林州；善劳、抚康、容山、怀义四县（《清一统志》为善劳、容山），属党州；南流、定川、宕川三县，属牢州。上述三州初属后梁，天福元年（936年）属楚，广顺元年（951年）属南汉。

宋开宝五年（972年），今市境废鬱平、兴德、 潭栗入兴业县，又废善劳、抚康、容山、怀义、定川、宕川六县入南流县。兴业、南流二县属广南路（后改广南西路）鬱林州。宋至道二年（公元996年），鬱林州治设于南流县（今玉林市），建州于今玉林市区中心，迄今已1004年，故人称玉林为"千年鬱林"。

新中国成立后，设鬱林专区，专署驻鬱林县，共管辖玉林、兴业、博白、陆川、北流、贵县等六县，1958年7 月设玉林专区，辖玉林、贵县、桂平、平南、容县、陆川、北流、博白等八县，专署驻玉林县，1971年改称玉林地区。1995年12月，经国务院批准，玉林地区一分为二，分设玉林地区、地级贵港市，县级贵港市、桂平市、平南县划归地级贵港市管。

1997年4月经国务院批准，同年5月广西壮族自治区人民政府下发通知，撤销玉林地区和县级玉林市，设立地级玉林市，管辖玉州区、福绵管理区、北流市、容县、陆川县、博白县、兴业县，共119个乡镇，总面积12838平方公里。玉林撤地设市，揭开了千年古州的新篇章，标志着玉林进入了历史发展新阶段。