山東,金代以前為地理概念,泛指崤山、華山或太行山以東的黃河流域廣大地區(qū)。金代大定八年(1168年)置山東東、西路統(tǒng)軍司,山東遂成為正式行政區(qū)劃名稱。明代山東布政司(又稱行。┕茌6府、104縣,大致奠定了今山東省行政區(qū)域范圍。清代山東基本沿襲明代山東的版圖,稱山東省。因西周封邦建國時,今山東境內(nèi)曾存有齊、魯、曹、滕、衛(wèi)諸國,周公旦封于魯,所以現(xiàn)在山東又簡稱“魯”。清末,山東省有濟南、東昌、泰安、兗州、沂州、曹州、登州、萊州、青州、武定10府,濟寧、臨清、膠州3個直隸州,共轄8個散州96個縣。中華民國初期,劃分為濟南、濟寧、膠東、東臨4道,屬縣107個。1928年廢道,各縣直屬省。1937年10月,日軍侵占山東,國民黨省政府流亡。1938年7月,中共蘇魯豫皖邊區(qū)省委發(fā)出關(guān)于恢復(fù)縣、區(qū)、鄉(xiāng)政權(quán)的指示,到年底有12個縣成立了抗日民主政府。1939年7月,中共山東分局將山東劃分為3個區(qū)和2個特區(qū):膠濟路南、隴海路北、津浦路東為一區(qū),津浦路西為二區(qū),膠東為三區(qū),湖西、清河為特區(qū)。1940年8月,山東省戰(zhàn)時工作推行委員會成立,下轄16個專員公署,88個縣。1945年8月,根據(jù)山東省出席中國解放區(qū)代表會議全體代表聯(lián)名建議,省臨時參議會和省行政委員會第20次聯(lián)席會議決定,改山東省戰(zhàn)時行政委員會為山東省政府,黎玉為省政府主席,下設(shè)5個行政公署,共轄21個專署、119個縣。1945年8月13日,由7個廳局組成的山東省政府在莒南縣大店鎮(zhèn)宣告成立。這標志著中國共產(chǎn)黨領(lǐng)導(dǎo)建立的第一個省級政權(quán)——山東省政府的誕生。1949年3月,山東省政府改稱山東省人民政府,下轄14個市(包括濟南、青島、徐州、濰坊4個省轄市)、140個縣、2個辦事處、2個特區(qū)。1950年,將16個專區(qū)合并為滕縣、臨沂、泰安、沂水、德州、惠民、淄博、昌濰、膠州、萊陽、文登11個專區(qū)。
1952年,平原省撤銷,所屬聊城、菏澤、湖西3個專區(qū)29個縣劃歸山東。原河北省臨清、館陶、恩城、夏津、武城5個縣劃歸山東。而將山東的東光、吳橋、寧津、慶云、鹽山、南皮6個縣劃歸河北;徐州市、新海連市及豐、沛、華山、銅北、贛榆、邳、東海等縣劃歸江蘇。
1953年6月,滕縣專區(qū)更名為濟寧專區(qū)。7月,撤銷湖西專區(qū)和沂水專區(qū),將其所屬縣市分別劃歸濟寧、菏澤和臨沂專區(qū)。1954年12月,撤銷淄博工礦區(qū),設(shè)立淄博市。1958年,萊陽專區(qū)更名為煙臺專區(qū)。1960年,撤銷嶧縣,設(shè)立棗莊市。1963年,河南省東明縣劃歸山東。1964年,范縣劃歸河南。1965年,館陶劃歸河北,河北省的寧津縣、慶云縣劃歸山東。1967年,專區(qū)更名為地區(qū),全省共轄德州、惠民、昌濰、煙臺、臨沂、泰安、濟寧、菏澤、聊城9個地區(qū),濟南、青島、淄博、棗莊4個省轄市,5個縣級市,107個縣。1981年5月,昌濰地區(qū)更名為濰坊地區(qū)。1982年11月,設(shè)立省轄東營市。1983年,撤銷煙臺地區(qū)、濰坊地區(qū)、濟寧地區(qū),設(shè)立地專級煙臺市、濰坊市、濟寧市。1985年,撤銷泰安地區(qū),設(shè)立地專級泰安市。1987年,威海市升為地專級市。1989年日照市升為地專級市。1992年,惠民地區(qū)更名為濱州地區(qū),萊蕪市升為地專級市。1994年,撤銷臨沂地區(qū)、德州地區(qū),設(shè)立地專級臨沂市、德州市。1997年,撤銷聊城地區(qū),設(shè)立地專級聊城市。2000年,撤銷濱州地區(qū)、菏澤地區(qū),設(shè)立地專級濱州市、菏澤市。
至2004年底,全省劃分為濟南、青島、淄博、棗莊、東營、煙臺、濰坊、濟寧、泰安、威海、日照、萊蕪、臨沂、德州、聊城、濱州、菏澤17個地級市,縣級單位140個,鄉(xiāng)鎮(zhèn)級單位1941個,其中,街道辦事處423個,鄉(xiāng)295個,鎮(zhèn)1223個。