西周到春秋时期，市境内有莒、介国。莒,公元前1120年（周武王十三年）始封少昊后裔兹舆期为莒子，建都于计（今南关街道办事处城子村）。春秋时,莒南徙至今莒县一带，计为莒国的一个邑，治所仍在今南关街道办事处城子村。介,公元前11世纪（周武王时），葛卢氏封国，治所位于今南杜村乡赵家城献（旧志以为在里岔乡牧马城）。计、介春秋末期并入齐国。

　　秦代，公元前221年（始皇二十六年）以介地设置黔陬县属琅邪郡（治所在今胶南县夏河城）。

　　西汉时，市境内除黔陬县外，还有计亓县（治所在计斤城）、邞县（治所在今铺集镇黔陬村，新莽时更名为纯德县）和祓侯国（治所在今里岔乡牧马城，新莽时国除）。均属琅邪郡（治所在今诸城市）。

　　东汉时，公元37年（建武十三年）撤销邞县、计亓县，其地并入黔陬，又析置葛卢县（旧志失载，其址无考）。黔陬、葛卢县属青州刺史部东莱郡（治所在今龙口市西部）；公元198年（建安三年）黔陬县属城阳郡（治所在今诸城市）；三国魏时，黔陬县属青州城阳郡。

　　西晋时，公元289年（太康十年）移城阳郡驻黔陬县，公元296年（元康六年）城阳郡改置高密王国，都黔陬，将治所迁到胶河西岸（位于今铺集镇西北），史称“黔陬西城”。

　　十六国时期，公元350年，黔陬县属前秦青州高密郡（治所城阴城，在今高密县西部）；公元384年（东晋太元九年）辖于后燕青州（治所济南）高密郡；公元398年辖于南燕青州高密郡；公元409年（东晋义熙五年）东晋灭南燕，属北青州高密郡。

　　南北朝时期，公元420年（南朝宋永初元年）黔陬县属南朝青州高密郡。公元464年（南朝宋大明八年）曾撤销高密郡，黔陬县属北海郡。公元469年（北魏皇兴三年）属北魏青州高密郡（治所在今诸城市）。公元529年（永安二年）设置胶州，驻东武（今诸城市），黔陬县属于胶州高密郡（治所在城阴城）。公元556年（天保七年）北齐置平昌郡，驻黔陬县，属胶州。

　　隋代，公元583年（隋开皇三年）撤郡，黔陬直属胶州。公元605年（大业元年）撤销黔陬县并入胶西县。黔陬县从设到撤，共历时827年。公元596年（隋开皇十六年）设置胶西县，治所在今高密县（胶河与墨水河之间）的南朱家庄，史称隋胶西城，俗称“朱晏城”，属于密州（公元585年胶州更名密州）。公元607年（隋大业三年）密州改为高密郡。公元613年（隋大业九年）胶西城毁于战火。

　　唐代，公元623年（武德六年）撤胶西县，其地并入高密县，又在高密县东部置板桥镇。板桥镇治所在今市区广州南路胜利桥西北（原遗址名“土城口”），属密州（高密郡）高密县。五代时期，经过后梁、后唐、后晋、后周不断改朝换代，板桥镇的隶属关系未变。

　　公元1087年（北宋元祐二年）设胶西县，驻板桥镇，属京东东路密州。金代属山东东路密州，境内设有张仓镇（今胶南县）、陈村镇（今胶州大店）和梁乡镇（今胶州良乡，一说胶南县古镇营）。1227年（蒙古太祖二十二年）设胶州，驻胶西县。

　　明代，公元1369年（明洪武二年）撤胶西县，改名胶州，仍辖高密、即墨二县。1376年（明洪武九年）属山东布政使司莱州府。

　　1734年（清雍正十二年）裁灵山卫，并入胶州。灵山卫设巡检司。1898年（清光绪二十四年），德国强行租借胶州湾及沿岸，塔埠头到积米崖一带45个村（屯）划入胶澳租界。1904年胶州升为直隶州，直属山东布政使司，辖高密、即墨二县。

　　1913年（民国2年）撤胶州，改为胶县。胶县，初属胶东道，1925年改设莱胶道，驻胶县。1927年直属山东省。1937～1945年，胶县属第十七行政督察区。1938年（民国27年）胶县沦为日占区，属鲁东道尹公署。1939年划入青岛特别市，改为伪青岛特别市胶州乡区行政办事处，1940年2月改为伪青岛特别市胶州区办事处，10月将第三区东七级等8个村划入即墨县。1942年9月塔埠头、薛家岛等45个村庄划入胶州区。1945年8月15日，日本投降，胶县城被国民政府军占领。1943年11月，在胶县北部大杜戈庄成立胶县抗日民主政府，属胶东行政区南海专区。1945年8月析置诸胶县（今胶南县），将柳圈、漕汶、王台、河西庄、丛家屯、抬头、前家空、埠上兰等717个村庄划入。1945年11月，在铁路以南成立胶县民主政府，1946年属于滨海行署第一专署，1946年下半年滨海行署第一专署划入胶东行署，更名为滨北专署。1947年11月胶城解放，县民主政府迁入。1945年8月析置胶高县，将胶县铁路以北沽河、丰隆、胶莱、北都、联屯5个区，225个村划入。1947年12月又析建胶河县，将胶县西南部沙河、牛沟、朱郭三区划入。

　　建国后，1949年10月撤销胶高县，将沽河、丰隆、胶莱、北都、联屯5个区划入胶县。1950年5月滨北专区撤销，胶县属于胶州专区（驻胶县城）。1953年6月撤胶河县，将沙河、牛沟、朱郭3个区划入胶县。1956年2月撤销胶州专区，胶县改属昌潍专区。1957年1月，将平度县的刘家花园、沟西、刁家丘、河南4个村划入胶县。1958年10月胶县划归青岛市。1961年5月，重新划归昌潍专区。1978年11月，再度划归青岛市。1987年2月12日，国务院国函（1987）26号文批准：撤销胶县，设立胶州市（县级），以原胶县的行政区域为胶州市的行政区域。属青岛市代管。

　　1988年1月10日，撤销胶城镇、大庄乡和三官庙乡，设立阜安、中云、北关和南关4个街道办事处。

　　1993年9月11日，设立云溪街道办事处，将阜安街道办事处的郑家小庄村和振华、兴华、丰华居委会，小麻湾镇的东石河、西石河、李家河、周家滩、大西庄村，共3个居委会、6个村划归云溪街道办事处管辖；河西郭乡政府驻地由河西郭村迁至董城村，河西郭乡更名为董城乡；撤销西祝村乡，设立胶西镇；撤销张家屯乡，设立张家屯镇；撤销里岔乡，设立里岔镇；撤销冷家村乡，设立洋河镇；撤销夼集乡，设立九龙镇。　　1996年，胶州市面积1210平方千米（其中城区面积108平方千米），人口72.6万。辖5个街道、13个镇、4个乡：阜安街道、中云街道、北关街道、南关街道、云溪街道、胶东镇、李哥庄镇、北王珠镇、马店镇、胶西镇、苑戈庄镇、张应镇、铺集镇、张家屯镇、里岔镇、洋河镇、九龙镇、营海镇、前店口乡、后屯乡、南杜村乡、董城乡。市府驻阜安街道。

　　2000年第五次人口普查，全市总人口783478人，其中：阜安街道75733人、中云街道60817人、北关街道39233人、南关街道40065人、云溪街道20179人、胶东镇35220人、李哥庄镇58734人、北王珠镇41282人、马店镇37084人、胶西镇40835人、苑戈庄镇18598人、张应镇31289人、铺集镇37939人、张家屯镇22442人、里岔镇29193人、洋河镇34519人、九龙镇28498人、营海镇34380人、前店口乡25322人、后屯乡30394人、南杜村乡21403人、董城乡20319人。

　　2001年2月，撤销前店口乡、胶东镇，设立新的胶东镇；撤销张家屯镇、铺集镇，设立新的铺集镇；撤销苑戈庄镇、胶西镇，设立新的胶西镇；撤销董城乡、洋河镇，设立新的洋河镇（鲁政函民字[2001]5号）。

　　截至2001年12月31日，全市总面积1210平方千米。总人口76.03万人，其中非农业人口14.51万人。辖5个街道（阜安、中云、北关、南关、云溪）、11个镇（北王珠、马店、李哥庄、胶东、营海、铺集、张应、胶西、九龙、洋河、里岔）、2个乡（后屯、南杜村），53个居委会、811个村委会（另一数据为：878个村委会、居委会）。

　　2002年6月19日，省政府批复同意：撤销南杜村乡，设立杜村镇；撤销后屯乡，设立胶北镇。以上2乡撤乡设镇后，其行政区域和人民政府驻地不变。

　　截至2002年12月31日，全市总面积1210平方千米。总人口76.34万人，其中非农业人口14.89万人。辖5个街道（阜安、中云、北关、南关、云溪）、13个镇（北王珠、马店、李哥庄、胶东、营海、铺集、张应、胶西、九龙、洋河、里岔、胶北、杜村），54个社区、811个村委会（另一数据为：823个村委会、居委会）。

　　2003年4月1日，北王珠镇更名为胶莱镇。截至2003年12月31日，全市总面积1210平方千米。总人口76.5万人，其中非农业人口15.3万人。辖5个街道（阜安、中云、北关、南关、云溪）、13个镇（胶莱、马店、李哥庄、胶东、营海、铺集、张应、胶西、九龙、洋河、里岔、胶北、杜村），872个村委会（居委会）。

　　2004年底，阜安街道：面积12.9平方千米，辖28个居（村）委会、7.5万人。中云街道：面积19.6平方千米，辖32个居（村）委会、6.2万人。北关街道：面积35平方千米，辖28个村（居）委会、2.99万人。南关街道：面积33.7平方千米，辖31个行政村和1个居委会、3.47万人。云溪街道（山东省胶州经济开发区）：面积30平方千米，辖7个行政村和3个居委会、1.6万人。胶东镇：面积90平方千米，辖53个村（居）委会、5.5万人。李哥庄镇：面积75平方千米，辖43个村（居）委会、6万人。胶莱镇：面积85平方千米，辖69个行政村、4.3万人。马店镇：面积75平方千米，辖49个行政村、3.8万人。胶北镇：面积73平方千米，辖46个行政村、3.2万人。胶西镇：面积112平方千米，辖73个行政村、6.1万人。杜村镇：面积67平方千米，辖41个行政村、2.4万人。张应镇：面积82.7平方千米，辖48个行政村、3.2万人。铺集镇：面积122平方千米，辖69个行政村、5.92万人。里岔镇：面积74.27平方千米，辖53个行政村、3.2万人。洋河镇：面积128.7平方千米，辖84个行政村、5.8万人。九龙镇：面积72平方千米，辖50个行政村、2.9万人。营海镇：面积121平方千米，辖47个行政村、3.4万人。（数据来源于《青岛年鉴2005版》）

　　2008年，全市辖5个街道、13个镇：阜安街道、中云街道、北关街道、南关街道、云溪街道、胶莱镇、马店镇、李哥庄镇、营海镇、铺集镇、张应镇、里岔镇、胶东镇、胶西镇、洋河镇、九龙镇、杜村镇、胶北镇。市政府驻南关街道。

　　2009年8月24日，经省政府批准，胶州市调整部分行政区划：撤销营海镇，设立营海街道办事处，办事处机关驻原镇政府驻地。撤销胶东镇，设立胶东街道办事处，办事处机关驻原镇政府驻地。南关街道办事处更名为三里河街道办事处。