春秋时期，境内有琅琊、安陵两城邑。战国初，越灭吴，于公元前468年徙都琅琊，今县域南部沿海一带属越，历224年。后越败于楚，地属楚。战国后期，县域全部属齐。秦统一六国，境内设琅琊郡，并附郭置琅琊县，治所均在琅琊（今夏河城），县域属琅琊县。汉承秦制，并增琅琊国、柜县和祝兹侯国治于境内；晋省琅琊，隋复置琅琊县；唐代又裁，境地归胶州、诸城，此后废置千余年。

　　1943年，建立抗日民主政府诸胶边办事处，1944年析置藏马、诸胶边两县，属滨海行署。1946年9月，划胶县洋河以南9个区和青岛办事处的薛家岛区建立胶南县，因在原胶县南部而得名，属滨北专区。1950年5月滨北专区撤销，藏马、胶南两县属胶州专区。1956年3月藏马县并入胶南县。是年胶州专区撤销，胶南县属昌潍专区。1958年10月胶南县改属青岛市，1961年4月复属昌潍专区，1978年11月（一说1979年1月）再度划归青岛市。1990年12月18日，国务院批准同意撤销胶南县，设立县级胶南市。

　　1991年1月14日，撤销海青乡，设立海青镇；撤销小场乡，设立信阳镇。1992年12月28日，撤销隐珠乡，设立隐珠镇。1993年10月26日,撤销寨里乡，设立寨里镇；撤销张家楼乡，设立张家楼镇；撤销藏南乡，设立藏南镇；撤销薛家庄乡，设立黄山镇。

　　1995年1月4日，将隐珠镇的广城、豆金河、两河、辛屯、山前、孟家滩、薛家滩、向阳岭、石咀子、烟台前、新建、孙家滩等12个村划出，设立灵海办事处，办事处机关驻上海路孟家滩村；撤销宝山乡、胶河乡、铁山乡，设立宝山镇、胶河镇、铁山镇。1995年4月28日，撤销胶南镇，设立珠海、珠山两个街道。珠海街道机关驻珠海路中心，珠山街道机关驻原胶南镇人民政府驻地。

　　1996年4月26日，将胶南市灵山卫镇的台子沟、八里庄、荒里、扒山、岔河、戴戈庄、两埠岸、王家港、花科子、薛辛庄、高家台、周家夼12个行政村划归黄岛区长江路街道；将胶南市红石崖镇的张戈庄、龙湾崖、郭家台子、法家园、管家洼、龙凤村、可洛石、龙斗山前8个行政村划归黄岛区黄岛街道（鲁政字[1996]73号）。

　　1997年，胶南市面积1935平方千米，人口85.5万人。辖3个街道、19个镇、4个乡：珠山街道、珠海街道、灵海街道、王台镇、红石崖镇、胶河镇、宝山镇、黄山镇、六汪镇、铁山镇、隐珠镇、灵山卫镇、大村镇、藏南镇、张家楼镇、大珠山镇、寨里镇、海青镇、大场镇、信阳镇、泊里镇、琅琊镇、市美乡、理务关乡、塔山乡、灵山岛乡。市政府驻珠海街道的王戈庄。

　　2000年第五次人口普查，胶南市总人口827771人，其中：珠海街道78333人、珠山街道72388人、灵海街道28249人、隐珠镇37462人、大珠山镇38899人、张家楼镇25436人、寨里镇24223人、琅琊镇35601人、藏南镇27726人、泊里镇51481人、信阳镇18441人、大场镇34502人、海青镇41167人、大村镇32755人、六汪镇22741人、胶河镇21276人、宝山镇29509人、铁山镇22725人、黄山镇21792人、王台镇46145人、红石崖镇31123人、灵山卫镇29049人、塔山乡17960人、理务关乡18741人、市美乡17856人、灵山岛乡2191人。

　　2001年，撤销灵山岛乡，并入积米崖港区；撤销塔山乡，并入大场镇；撤销信阳镇，并入泊里镇；撤销市美乡，原市美乡10个村并入六汪镇，其余18个村并入大村镇；撤销寨里镇，原寨里镇22个村并入张家楼镇，6个村并入藏南镇，5个村并入琅琊镇；撤销黄山镇，成立黄山经济区；撤销胶河镇，成立胶河经济开发区；撤销灵海街道；将琅琊镇部分村庄和原寨里镇的部分村庄划归琅琊台旅游度假区，将珠海街道的部分村庄和大珠山镇的部分村庄划归海滨工业园。全市由原来的27个乡镇街道、经济区，调整为19个乡镇街道、经济区。

　　2001年底，全市总面积1894平方千米。总人口83.67万人，其中非农业人口13.36万人。辖2个街道（珠山、珠海）、15个镇（大珠山、琅琊、泊里、隐珠、大场、海青、大村、六汪、王台、红石崖、灵山卫、张家楼、藏南、铁山、宝山）、1个乡（理务关）、5个区，49个居委会、1001个行政村（《山东年鉴2002年》数据：1008个行政村、49个居委会）。

　　2002年6月19日，省政府批复同意：胶南市撤销理务关乡，设立理务关镇；其行政区域和人民政府驻地不变。2002年底，全市总面积1894平方千米。总人口83.7万人，其中非农业人口14.4万人。少数民族1384人。辖2个街道（珠山、珠海）、16个镇（大珠山、琅琊、泊里、隐珠、大场、海青、大村、六汪、王台、红石崖、灵山卫、张家楼、藏南、铁山、宝山、理务关），39个社区、1001个行政村（《山东年鉴2003年》数据：1057个行政村、居委会）。

　　2003年11月19日，胶南市红石崖镇划归青岛市黄岛区管辖。2003年底，全市总面积1846平方千米。总人口80.6万人，其中非农业人口15万人。辖2个街道、15个镇，1016个行政村（居委会）。

　　2004年底，全市总面积1846平方千米，总人口80.8万人，其中非农业人口14.4万人。辖15个镇、2个街道、5个园区。隐珠镇：面积98平方千米，辖50个行政村、4.3万人。大珠山镇：面积90平方千米，辖30个行政村和7个居委会、3.1万人。张家楼镇：面积134平方千米，辖63个行政村、4.6万人。泊里镇：面积152.4平方千米，辖101个行政村、7.5万人。琅琊镇：面积82平方千米，辖59个行政村、3.6万人。藏南镇：面积105平方千米，辖43个行政村、3.2万人。大场镇：面积127平方千米，辖87个行政村、5.4万人。海青镇：面积100平方千米，辖64个行政村、4.4万人。理务关镇：面积65平方千米，辖33个行政村、1.98万人。大村镇：面积152平方千米，辖82个村、4.47万人。六汪镇：面积151.2平方千米，辖43个行政村、3.2万人。宝山镇：面积117平方千米，辖44个行政村、3.1万人。铁山镇：面积101平方千米，辖43个行政村、2.35万人。王台镇：面积85平方千米，辖52个行政村和1个居委会、4.6万人。灵山卫镇：面积36平方千米，辖29个行政村、2.3万人。珠山街道：面积43.6平方千米，辖20个行政村和4个农村居委会及12个城市居委会、7.1万人。珠海街道：面积44平方千米，辖18个行政村和18个城市居委会、6.4万人。山东省胶南经济开发区：面积23.4平方千米，辖12个行政村、7个居委会，人口2.8万人（其中非农人口1.1万人）。青岛琅琊台省级旅游度假区：面积9.8平方千米，辖7个行政村、3897人。黄山经济区：面积76平方千米，辖37个行政村、2万人。胶河经济区：面积56平方千米，辖32个行政村、2.25万人。积米崖港区：面积9.53平方千米，辖积米崖港和灵山岛管区、4500余人。胶南市海滨工业园：面积27.9平方千米，辖11个行政村、5.6万人。（数据来源：《青岛年鉴2005版》）

　　2005年，撤销隐珠、灵山卫、铁山、大珠山四个镇，分别在原行政区域设立隐珠、灵山卫、铁山、滨海街道。12月18日4个街道正式挂牌成立。