1925年11月21日，中共廣東區(qū)委在肇慶組建了隸屬于國民革命軍第4軍的34團（后改稱獨立團），由葉挺任團長。該團骨干由黃埔軍校的共產(chǎn)黨員、共青團員組成，是中國共產(chǎn)黨直接領(lǐng)導(dǎo)下的第一支正規(guī)武裝。獨立團的成功組建，是中共廣東區(qū)委執(zhí)行中共“三大”制定的統(tǒng)一戰(zhàn)線方針，在軍事上實行國共合作的成果。

　　第一次國共合作期間，由陳延年任書記的中共廣東區(qū)委和黃埔軍校淵源頗深。在廣東國民政府改造舊軍隊的過程中，中共廣東區(qū)委決定建立一支由共產(chǎn)黨人直接領(lǐng)導(dǎo)的正規(guī)軍隊。經(jīng)過研究，中共廣東區(qū)委決定在肇慶組建一支團級單位的部隊，隸屬于國民革命軍第4軍第12師，由第4軍參謀處長葉挺任團長。究其原因，主要考慮到第4軍副軍長兼12師師長陳可鈺原是孫中山警衛(wèi)團長，副師長張發(fā)奎原是警衛(wèi)團3營營長，而葉挺曾是警衛(wèi)團2營營長，他們之間有很深的交往。而建團選點在肇慶，主要原因有三：一是肇慶當(dāng)時是第4軍的后勤部所在地，副軍長陳可鈺負責(zé)后勤部的工作，部隊給養(yǎng)充足，水陸交通方便，便于與設(shè)在廣州的中共廣東區(qū)委聯(lián)絡(luò)；二是肇慶是軍事重鎮(zhèn)，是兩廣水陸交通要沖，扼西江之咽喉，地形險要；三是當(dāng)時西江一帶農(nóng)民運動剛開始，農(nóng)會力量薄弱，而反動的民團猖獗,部隊成立于肇慶，有利于支援西江的農(nóng)民運動。

　　1925年秋，中共廣東區(qū)委陳延年、周恩來等人經(jīng)過和國民政府負責(zé)人、黃埔軍校黨代表汪精衛(wèi),黃埔軍校校長蔣介石,國民革命軍第4軍軍長兼黃埔軍校副校長李濟深等人商議，決定建立34團，財政來源由軍部、師部直接供給。9月中旬，周恩來、陳延年向葉挺傳達了這一計劃，葉挺“毫不遲疑地接受了黨所托付的這一光榮任務(wù)”。

　　34團的骨干成員很大一部分來自“建國陸海軍大元帥府鐵甲車隊”（孫中山逝世后，改名為“國民政府鐵甲車隊”）。1924年11月，黃埔軍校政治部主任周恩來和中共廣東區(qū)委在取得孫中山同意之后，從黃埔軍校第1期畢業(yè)生中抽調(diào)部分黨團員作為骨干，在廣州組建了建國陸海軍大元帥府鐵甲車隊（簡稱鐵甲車隊），徐成章（黃埔軍校特別官佐）為隊長，廖乾吾（黃埔軍校政治部教官）為黨代表，周士第為副隊長，趙自選為軍事教官，曹汝謙為政治教官。鐵甲車隊所屬成員的配備與調(diào)動，都是由中國共產(chǎn)黨廣東區(qū)委書記陳延年和區(qū)委軍事部長周恩來決定的。第二次東征期間，鐵甲車隊官兵被派到深圳附近的沙魚涌和投靠陳炯明的羅坤、鄧文烈部展開激戰(zhàn)。1925年11月，鐵甲車隊從沙魚涌返回廣州后，近百人調(diào)到肇慶組建葉挺獨立團，并提級使用。周恩來又親自從黃埔軍校調(diào)來許繼慎、楊寧等一批軍事骨干到獨立團，并在湖南、廣東、廣西招收了一批農(nóng)民，及由工廠、礦山的中國共產(chǎn)黨組織介紹來的部分工人，作為部隊的基本成分。

　　1925年11月21日，在國民革命軍第4軍獨立旅擴編為第12師時，第4軍第12師第34團在肇慶成立，團部設(shè)在肇慶閱江樓，下轄3個營和直屬部隊，共2000余人。據(jù)周士第回憶：“該團連以上干部絕大部分是共產(chǎn)黨員和共產(chǎn)主義青年團員，班、排長一部分是共產(chǎn)黨員和共產(chǎn)主義青年團員?！?/p>

　　在34團建立的同時，中共廣東區(qū)委決定設(shè)立中共黨支部，隸屬中共廣東區(qū)委，支部領(lǐng)導(dǎo)不叫支委會而稱支部干事會。建團之初，有中共黨員20多人，后來發(fā)展至100多人。黨支部下設(shè)黨小組，第1、第2、第3營，直屬隊(兩個)共6個黨小組。34團的行政和軍事方面由中共廣東區(qū)委直接領(lǐng)導(dǎo)，排以上干部的任免和調(diào)動、部隊人員的補充及重大的軍政訓(xùn)練計劃等，都由中共廣東區(qū)委決定。其中，連以上干部都由周恩來挑選優(yōu)秀共產(chǎn)黨員擔(dān)任，有的黨員士兵也由周恩來親筆簽寫意見派到獨立團來。據(jù)當(dāng)事者饒衛(wèi)華回憶：“獨立團在組織上屬廣東區(qū)委組織部領(lǐng)導(dǎo)。組織部長是穆青，我當(dāng)秘書。穆青同志每月都要去肇慶兩三次，到獨立團參加他們的組織生活，回來后我們談及很多事情。穆青同志根據(jù)周恩來的指示，對獨立團進行政治建軍。”

　　為了使獨立團成為一支剛強有力、無堅不摧的革命軍隊，葉挺在全團實施苦練計劃。他改軍隊?wèi)T常的“三操兩講”為“四操三講”，即：早晨以連為單位進行一次長跑訓(xùn)練；上午和下午各進行一節(jié)軍事操練或一堂政治及軍事課；晚上進行一次集體健身操，熄燈前一個小時進行列隊講評。軍官的訓(xùn)練安排與士兵訓(xùn)練同一時間穿插進行。

　　團長葉挺以身作則，每天一個連隊一個連隊地視察，發(fā)現(xiàn)問題他就給連隊的官兵做示范。一個月后，部隊的素質(zhì)有了顯著提高。葉挺曾搞了一次全團20公里越野急行軍，20公里下來，全團沒有一個掉隊的，行軍速度比原來“整整提高了1小時30分”。

　　葉挺還注重紀(jì)律建設(shè)，派出由官兵組成的督察隊，專門檢查軍紀(jì)，嚴(yán)禁軍紀(jì)敗壞、欺辱百姓的行為，并抓住典型事例在干部中開展反貪污、反打罵士兵的斗爭。在他的指導(dǎo)下，全團開展“三反”活動(反貪污、反打罵、反報假)，并頒布諸如軍官不得搞特殊化、另設(shè)小灶；經(jīng)濟公開，定期公布收支賬目；嚴(yán)禁體罰為內(nèi)容的三條軍紀(jì)。經(jīng)過葉挺的訓(xùn)練，34團在駐防肇慶期間，一掃舊軍隊的惡習(xí)，從思想上、組織上、軍事上奠定了具有堅強戰(zhàn)斗力的革命軍隊的基礎(chǔ)。

　　34團在組建之初，武器是老舊的粵造七九式步槍，全團僅有兩挺重機槍，到1925年年底，中共中央成立了中央軍事機構(gòu)，為34團籌集了一筆可觀的經(jīng)費，為他們作補充彈藥刺刀等軍需之用。1925年底，國民革命軍第4軍第12師副師長張發(fā)奎率第35、36團到海南作戰(zhàn)，34團留粵。此后，第12師在瓊崖整編部隊時，另成立了一個第34團(團長許志銳)。1926年1月，34團正式改名稱為國民革命軍第4軍獨立團，團長葉挺。后來，人們因此稱之為葉挺獨立團。

　　1926年5月，葉挺獨立團出師北伐，后來根據(jù)作戰(zhàn)需要，又成立了特別大隊和補充營，特別大隊（大隊長劉明夏，中共黨員，黃埔1期）下轄三個隊，分別由蔡晴川、張?zhí)美ぁ⒎?jié)（中共黨員，黃埔3期）任第1、第2、第3隊隊長；補充營（營長符克振，中共黨員，1924年進入黃埔軍校）下轄兩個連，分別由孫以棕(黃埔1期、中共黨員，后接任第1營營長)、鄒范(中共黨員、黃埔1期)任第1、第2連連長。該團在北伐戰(zhàn)爭中勇當(dāng)先鋒，在汀泗橋、賀勝橋、武昌等著名戰(zhàn)役中，屢建奇功，為其所在的國民革命軍第4軍贏得“鐵軍”的殊榮，團長葉挺被譽為“北伐名將”。在整個北伐戰(zhàn)爭中，獨立團傷亡約1000人，其中犧牲600多人。由于干部減員過多，黃埔軍校的畢業(yè)生如彭干臣、吳光浩、林彪、陸更夫、李天柱等共產(chǎn)黨員陸續(xù)被派往獨立團補充。

　　1927年5月，國民革命軍第4軍獨立團擴編為7個團，即國民革命軍第11軍第24師（70、71、72團）、第25師（73、74、75團）和國民革命軍第2方面軍警衛(wèi)團。葉挺先后任第24師師長和第11軍軍長。1927年8月，第11軍作為主力參加了南昌起義。