王莽的殘酷壓榨， 加上一連串的天災， 逼得農民走投無路， 紛紛起義。 東方和南方都有大批的農民起來反抗官兵。 西元17年， 南方荊州鬧饑荒， 老百姓不得不到沼澤地區挖野荸薺充饑。 人多野荸薺少， 引起了爭奪。 新市（今湖北京山東北）有兩個有名望的人， 一個叫王匡， 一個叫王鳳， 出來給農民調解， 受到農民的擁護。 大家就公推他們當首領。
王匡、王鳳就把這批饑民組織起來起義， 一下子就聚集了好幾百人， 還有一些逃亡的犯人也來投奔他們。 王匡他們佔領了綠林山（今湖北大洪山）作為根據地， 攻佔附近的鄉村。
第二年， 綠林山上不幸發生了疫病， 五萬人差不多死了一半。 還有一半只好離開綠林山， 後來分作三路人馬——新市兵、平林（在今湖北隨縣東北）兵和下江（長江在湖北西部以下叫下江）兵。 這三路人馬各自佔領一塊地盤， 隊伍又強大起來了。 當南方的綠林軍在荊州一帶打擊官兵的時候， 東方的起義軍也壯大起來。 琅琊海曲（今山東日照縣）有個姓呂的老大娘，
這時候， 另一個起義領袖樊崇帶領幾百個人佔領了泰山。 呂母死了後， 她手下的人投奔樊崇起義軍。 不到一年工夫， 就發展到一萬多人， 在青州和徐州之間來往打擊官府、地主。 樊崇的起義軍很講紀律， 規定誰殺死老百姓就要被處死， 誰傷害老百姓就要受罰。 所以， 百姓能擁護他們。
西元22年， 王莽派太師王匡（和綠林軍中的王匡是兩個人）和將軍廉丹率領十萬大軍去鎮壓樊崇起義軍。 樊崇作好準備， 跟官兵大戰。
王莽的軍隊和赤眉軍打了一仗。 結果， 官兵打了敗仗， 逃散了一大半。 太師王匡的大腿被樊崇紮了一槍， 逃了回去；將軍廉丹在亂軍之中被殺了。 赤眉軍越打越強， 發展到了十多萬人。 綠林、赤眉兩支起義大軍分別在南方和東方打敗王莽軍的消息一傳開， 別地方的農民也都活躍起來。 黃河兩岸的大平原上大大小小起義軍有幾十路。 有一批沒落的貴族和地主、豪強也趁機起兵， 反對王莽。
南陽郡舂陵（今湖南寧遠北）鄉的豪強劉縯、劉秀兄弟兩人， 因為王莽廢除漢朝宗室的封號，
綠林赤眉
綠林軍的幾支隊伍沒有統一的指揮。
將士們認為人馬多了，
必須有個首領，
才能統一號令。
一些貴族地主出身的將軍，
利用當時有些人的正統觀念，
認為一定要找一個姓劉的人當首領，
才能符合人心。
綠林軍裡姓劉的人很多， 該推誰做首領呢？舂陵兵想推劉縯， 可是新市和平林兵的將領怕劉縯勢力太大， 一定要立一個破落的貴族劉玄做皇帝。 劉縯又提出等消滅了王莽、收服赤眉軍以後， 再立皇帝， 也遭到反對。 劉縯覺得自己力量不夠， 也只好同意了。
西元23年， 綠林軍各路將士就正式立劉玄做皇帝， 恢復漢朝國號， 年號“更始”， 所以劉玄又稱更始帝。 更始帝拜王匡、王鳳為上公， 劉縯為大司徒， 劉秀為太常偏將軍， 其他將領也各有各的封號。 打那時候起， 綠林軍又稱為漢軍。