抗日戰爭時期，在沒有八路軍主力支援、遠離中共山東分局、八路軍山東縱隊（山東軍區）指揮中心的情況下，膠東區克服重重困難，自己動手創建、發展和壯大抗日武裝。早在日軍侵占膠東之前，中共膠東特委就領導發動了天福山·威海起義，成立了山東人民抗日救國軍第三軍。隨后，各縣黨組織建立的抗日武裝隊伍，相繼被編入“第三軍”序列。1938年2月，中共膠東特委書記理琪親率“第三軍”第一大隊及特務隊奔襲牟平城、血戰雷神廟，打響了膠東武裝抗日第一槍。1938年3月，中共掖縣縣委領導發動了玉皇頂抗日武裝起義，成立了膠東抗日游擊第三支隊。到1938年4月底，在不到兩個月的時間里，“第三支隊”就發展到三千七八百人槍；8月，“第三支隊”接受整編，被編入“第三軍”序列。9月18日，“第三軍”在掖縣沙河鎮整編為山東人民抗日游擊隊第五支隊（簡稱“第五支隊”）。第五支隊轄第六十一、第六十二、第六十三、第五十五共4個團，并轄機槍連、騎兵連、通信連等直屬隊。全軍共有近8000人。12月，改稱八路軍山東縱隊第五支隊。“第五支隊”的成立，不但標志著共產黨領導的膠東各抗日武裝達到空前的統一，也使膠東八路軍的建設開始走上正規化。1940年9月18日，“第五支隊”改編為八路軍山東縱隊第五旅（簡稱“第五旅”）。原膠東特委軍事部在經歷了蘇魯豫皖第三軍區、山東省第三軍區后，改編為新的八路軍山東縱隊第五支隊（簡稱“新五支隊”）。1941年8月，中共山東分局和山東縱隊指示“第五旅”駐膠東西部，領導北海、西海、南海3個指揮部，“新五支隊”駐東部，并領導東海指揮部。1942年7月1日，成立膠東軍區，以“新五支隊”機關為基礎組建膠東軍區機關，軍區直轄第十六、十七團、膠東抗大以及四個軍分區，并統一指揮“第五旅”。1943年3月，“第五旅”與膠東軍區合并，撤銷“第五旅”建制，成立統轄膠東主力部隊、地方部隊的新的膠東軍區。膠東軍區下轄第十三、十四、十六三個兵員充足的主力團及一個教導團、四個軍分區。

　　為了將侵略者趕出中華大地，膠東八路軍機智靈活運用游擊戰術，積極打擊日偽軍，進行反“掃蕩”、反“蠶食”、反封鎖、反掠奪，創建、鞏固和發展了抗日根據地。為了堅持抗日民族統一戰線，膠東八路軍對國民黨投降派的進攻進行了有理、有利、有節的自衛還擊，同時，大膽放手發動群眾，壯大人民抗日力量。在“獨立自主的山地游擊戰”、“基本的是游擊戰，但不放松有利條件下的運動戰”等作戰方針、原則指引下，膠東八路軍執行了首先控制山區、依托山區向平原發展，逐步打通與清河區、濱海區聯系的具體方針，采取敵進我進的作戰手段，逐漸從游擊戰發展為帶有游擊性的運動戰與以爆破和突擊相結合的對城堡攻堅戰，同時還組織了武裝工作隊，深入敵占區開展斗爭。

　　抗戰期間，膠東八路軍部隊對日偽軍作戰7590余次，攻克日偽軍據點425處，斃傷俘日偽軍13.4萬人，占山東抗日根據地軍民殲滅日偽軍總數的25%。無論是作戰次數，還是斃傷俘日偽軍總數，膠東區在山東抗日根據地都是最多的。這也是膠東區實行了精兵簡政、主力地方化，主力部隊、地方武裝和民兵三位一體的政治、軍事、經濟、文化相結合的人民戰爭，取得的豐碩成果。

　　經過抗日戰爭血與火的砥礪，到抗戰大反攻時，膠東八路軍主力發展到兩個師（山東軍區第五師、第六師）、兩個警備旅（山東軍區警備第四旅、第五旅）和一個海上支隊，總兵力近三萬人；民兵發展到22萬人，自衛團達到八十余萬人，分別占山東抗日根據地民兵、自衛團總數的44%、53%。

　　抗戰勝利后，膠東陸續走出了第41、27、31、32軍四支戰功赫赫、功勛卓著的解放軍部隊。目前除32軍外，其他三個軍已發展成集團軍仍在建制，占解放軍現有18個集團軍的六分之一。