自汉阳分军后南进的征湘军，由罗大纲统率，在湖北金口一举击溃清军的炮船后，乘胜南进湘北。3月27日，进攻湖南岳州府，知府督勇抗拒，西征军由西门攻人，杀巴陵知县。知府遁走。4月4日，罗大纲由岳州乘风驶过洞庭湖，攻取湘阴县。7日，沿湘江南取靖港。10日，又西占宁乡县。湖南巡抚骆秉章派练勇3000名进犯靖港，牵制太平军进攻势头。是时，适逢湘军编练始就，曾国藩遂派陆路湘军三营赴靖港参战。
曾国藩在武昌丧尽水师之后，返回长沙，痛定思痛：
今日之兵极可伤恨者，在“败不相救”四字。盖缘调兵之初，此营属宝庆，彼营属湘潭，各地团练，只顾防守乡里。其卒与卒已不相习矣，而统领之将又非乖然，不能以相入，出征有先后，赴防有远近劳逸，亦遂败不相救之故，半由于此。
曾国藩决定组建一支相当于常备军的直属团练。“因于省城立一大团，认真操练，就各县曾经训练之乡民，择其壮健而朴实者招募来省，练一人收一人之益，练一月有一月之效”这就是组建湘军的最初构想，算是曾国藩的创新。
曾国藩私下透露的计划是:“练乡勇万人，概求质直而晓军事之君子将之，以忠义之气为主，而辅之以训练之勤，相激相剿以庶几于所谓诸将一心，万众一气者。或可驰驱中原，渐望澄清。”因此“须尽募新勇，不杂一兵，不滥收一弃，扫除陈迹，别开生面。”看来，他已考虑与旧团练分道扬镰，招集自己党羽为将“尽募新勇”灌输对曾国藩的“忠义之气”建立一支自己控制的私家武装。
曾国藩原先本来就以宗法关系组建过团练，大宗为统领，小宗为分统，佃农为兵丁。现在重组湘军，进一步发展了这种宗法军队结构。
他以农民为兵，书生为将。曾国藩选择湘军军官标准有:“第一要才堪治民，第二要不怕死，第三要不急图名利，第四要耐受辛苦”而又以忠义血性为四者的前提。
曾国藩和湘军中的主要将领、幕僚，都是程朱理学信徒，标榜“忠义血性”以网罗大批中小地主知识分子加入湘军，充当骨干。湘军士兵主要募自农村“择技艺娴熟，年轻力壮，朴实而有农夫土气者为上，其油头滑面、有市井气者、有衙门气者概不收用。”:“山僻之民多犷捍，水乡之民多浮滑，城市多游惰之习，乡村多朴拙之夫，故善用兵者尝好用山乡之卒，而不好用城市近水之入。”
同时，新湘军从条文上落实了宗法制，即兵归将募，兵为将有。湘军的选拔募兵制源于戚继光成法，有三大条规:1、统兵必亲自招募，不假手子人;2、严定选兵标准;3必在湖南原籍招募，取具保结。因而湘军中，营官由统领挑选，哨弃由营官挑选，什长由哨弃挑选，勇丁由什长挑选，层层挑选以成军。
曾国藩认为，这样挑选可以使他严密控制全军“统领如根，由根而生于、生枝、生叶，皆一气所贯通，是以口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠。”利用同乡、同学、亲戚、邻里、朋友等关系作为纽带，使湘军成为一个封闭性、宗法性的武装集团。士兵只知服从将领，将领则服从曾国藩一人，这样整个湘军就为曾国藩控制，从而形成一种严格的封建隶属关系。
同时针对湘军以前作战不如太平军勇猛的情况，严格训练，强化教育。曾国藩认为常规训练教育是控制军队的重要途径。他以“训练之才”自居。规定湘军每天按课程操练，不得间断。他制定了点名、操演、站墙子、巡更、放哨等军营规则，伤令官兵严格执行。曾国藩还把平时的刻苦训练作为提高湘军素质的主要手段，他说:“治军之道，以勤字为先”、“军勤则胜，惰则败。”
曾国藩手订营规、家规，强制灌输，把军营纪律与封建宗法道德揉合一起，教化官兵。湘军“每逢三、八操演，集诸勇而教之”使士兵“有礼、有法、有号令”
经过接近一个多月的整编，4月1日，曾国藩统率水陆湘军一万五千多人，从衡阳出发，会师湘潭，向长沙水陆并进。
同时发布了讨粤匪檄，檄文颠倒黑白，无耻诬蔑太平天国“茶毒生灵”“人民无论贫富，一概抢掠罄尽，寸草不留。”曾国藩在檄文中，尽情发泄着自己对太平天国的仇恨情绪，全力宣扬清廷的正统地位，提出了“名教”这一旗帜。
他以理学卫道士的面目严正申明，名教纲常“君臣父子，上下尊卑，秩然如冠履之不可倒置。”大肆攻击太平天国的“大慈大悲总教”檄文悲天悯人地写道:“举中国数千年礼义、人伦、诗书、典则一旦扫地荡尽，此岂独我大清之变？乃开辟以来，名教之奇变！我孔子、孟子之所以痛哭于九原，凡读书识字者又安可袖手安坐不思一为之所也？！”
曾国藩号召“抱道君子”起来“以卫吾道”或者参加湘军从征，或者“捐银助铜，或者自太平天国叛变投降，都可以升官发财。
曾国藩的讨粤匪檄全文，很快就送到了楚剑功的面前。楚剑功就把这几页纸拿到了大都督府上。
“怎么看？”
“这摆明了指桑骂槐，太平军明明是在广西起事，他却叫做‘讨粤匪’，明摆着冲着我们来的。”陆达开腔。
“何止啊。看看这一段‘敦叙人伦，君臣、父子、上下、尊卑，秩然如冠履之不可倒置。匪不称皇帝，而摄权臣之号。’这一段就是说的咱们。”徐继畲倒是被挑起了心事“均座，您不称帝，的确有些名不正言不顺，容易被人利用。”
哼！楚剑功闷哼一声，徐继畲以为自己犯了忌讳，却听见楚剑功说：“你们，没看到重点，他曾国藩以孔教的卫道士自居，那咱们正儒算什么？”
“不错，曾国藩这一套，的确蛊惑了不少湖南的士绅。”
“陈朱理学，均座一力批判，曾国藩却把它捧为至理”
众人纷纷议论起来。
楚剑功双手往下压了压：“共和行事，一向和而不同，求同存异，此乃中庸之正理。所以，别人骂共和无君无父，我们只当放个屁。别人要赚钱，共和可以与他们合营。别人不愿意土改，我们可以赎买，可以引导经营，甚至鼓励自耕农。”
“但是！”楚剑功话锋一转“自称为孔教的卫道士，蛊惑士绅和农民，这叫做”他有个很熟悉的词组就在嘴边，却一瞬间想不起来了。
“和周公争夺群众。”李颖修大叫起来。
“对，争夺群众，这是不赦之罪，万死莫赎。敢和我们争夺群众，就揍他，往死里揍他。把他连根拔起，再也不能发表歪理邪说。”