常胜军前身是1860年6月由美国人华尔在上海建立的洋枪队。当时正值江南大营败亡，太平军忠王李秀成的大军连克苏、常，进抵上海城下。时清军已溃不成军，苏松太道吴煦一面向驻上海的英法军队求助，一面与上海富商杨坊赞助美国人华尔（fredricktownsendward）建立了“洋枪队”驻营松江广福林，配备西式武器，照西法组织训练。开始只招募了数百吕宋人为雇佣兵（清政府文函中称为“黑鬼”），以欧美人为军官（“白鬼”多为逃兵、水手等）。7月15日，松江太平军陆顺德部主力进军上海七宝，洋枪队在清军参将李恒嵩部配合下，乘虚袭占松江，首战告捷。但紧接着在8月9日的青浦之战中遭到李秀成的反击，损失惨重，丢失大炮十余门。不久以后，洋枪队曾被英海军提督何伯遣散，华尔也曾一度以危害及租界安定的名义被逮捕，旋无罪开释。到1861年下半年，华尔在上海官绅和富商的资助下，重建了洋枪队。这次改以招募华人为士兵，而以西人为军官，华尔自为统领，美国人白齐文（henryandredburgevine）、法尔思德（edwardforrester）为副统领，初拟编练八百人。到1862年初，洋枪队发展至一千二百余人。2月5日，洋枪队在天马山击败太平军，14日由江苏巡抚薛焕正式授予“常胜军”的番号。之后，常胜军与英法军和清军一起，凭借优势的火力，先后在高桥、肖塘、泗泾、王家寺、周浦、南翔、嘉定诸战中连连得手。虽在6月份一度在青浦被李秀成围歼一部分，但总的力量仍呈发展态势，达四千五百人。
到1962年秋时，常胜军发展到了鼎盛期，总人数多达六千五百人，编为五个步兵团和一个狙击兵团，分别装备滑膛毛瑟枪和恩菲尔德来复枪。常胜军的炮兵非常强大，也是头一支主要由华人组成的近代炮兵部队，编成四个攻城重炮中队和两个野战炮中队。配有二十四磅榴弹炮三门、十二磅过山炮十八门、三十二磅榴弹炮四门、八英寸口径大炮两门、臼炮十二门，火箭筒若干具。此外，常胜军还有一支庞大的内河舰队，有轻便战船三百余艘（后期减至五十余艘），每艘装有六磅或九磅炮一门；装甲汽轮三十二艘，各有三十二磅炮和十二磅炮一门。
华尔于1862年9月在慈溪阵亡后，经白齐文、奥伦先后统带后，于1863年3月由英军少校戈登继任统领。戈登时期常胜军编制稍作调整，因新任江苏巡抚李鸿章的要求，人数下降到三千五百人左右。但炮兵变化不大，仅将中队改称连。炮兵连的人员编配，依装备火炮的种类而定，一般在144－174人之间，通常包括正副连长各一名、上尉两名、军曹一名（以上为西人）、旗手军曹一名、军曹六名、伍长十二名、炮手一百二十至一百五十名（以上为华人）。所配火炮的形制与前无大变化，数量略有增加。
淮军早期炮兵
中国近代意义上的炮兵出现于十九世纪六十年代初期，由淮军开风气之先。淮军因衍生于湘军，在初期由湘军直接拨入的竟占六成。其初期的营制、装备当然与湘军相同“其营制为曾文正手定，而李伯像遵守之”唯抵沪以后，李少荃亲见洋人利器精良，遂师夷之长技，几年内淮军尽弃旧式冷热兵器，换装洋枪洋炮，成为中国第一支全近代化装备的军队。待平定太平军、捻军之后，淮军成为全国主要支柱武力，尽管有各种复杂原因所致，但淮军的装备战力无疑是一重要因素。
淮军的装备现代化也是有一个过程的。自1862年4－6月间，从水路出发的十三营和陆路出发的两营先后抵沪。到沪不久，就有挑选少量弁勇操练洋枪的记载。如6月15日虹桥之战中，程学启的开字营以洋枪百人诱敌而获胜，便是一例。之后令各营添练洋枪小队，先是韩正国的亲兵两营，后及于松、铭等营，到是年9月已有洋枪千杆。从9月底以后，李鸿章开始变更淮军营制，先将各营中的鸟枪队改编为洋枪队。以后又逐次改编抬枪、刀矛队为洋枪队，同时每哨添设劈山炮两队。改制后的淮军一营为：营官的亲兵变为两队劈山炮和四队洋枪队，前后左右四哨每哨改为两队劈山炮和六队洋枪队，这样全营有劈山炮十队四十尊，洋枪二十八队计三百二十八杆[，火力大大提高。改制后的淮军采用劈山炮护洋枪队的方式作战，屡战屡胜。到平吴以后的1865年，淮军五万余人，已有洋枪三、四万杆。剿捻以后原保留的旧式劈山炮和少许长矛也被淘汰，装备达到了完全的现代化。
淮军中的洋炮由于筹购不易，装备要晚一些。在1863年正月以前，仅在张遇春的春字营建立了一支二百人的炮队，作为护卫李鸿章大营之用，1863年正月曾奉李鸿章之命参加协攻福山。春字营炮队为淮军正式成立炮队专门营伍之始，也是中国近代炮兵制度的发轫。此外还有一个学习炸炮的张春保营的良勇五十名，有炸炮两门，曾被常胜军借去协攻福山，事后收归李鸿章大营。
1863年初，刘铭传的铭字营购得三门十二磅的开花炮，聘请法兵教习。不久，开、鼎等各大枝营头相继购入洋炮装备，并聘洋人为教习，以洋法操练。淮军装备的洋炮，亦称炸炮、开花炮，又依其身管长短分长炸炮和短炸炮两种。长炸炮身管长度一般约为口径的16－25倍，其规格多以炮弹重量来区分，有十二磅、二十四磅、三十二磅等多种。十二磅以下的属轻炮，多用于野战，有效射程约一千米，最大射程三千五百米；二十四磅以上的为重炮，多用于攻城或装备要塞。当时，淮军所用之炮，大多为十二磅轻炮，只有铭字营配有三十二磅炸炮三门。短炸炮又名“田鸡炮”即臼炮，炮口朝天，又称“冲天炮”炮身管短，口径大，当时尚无调整角度和方向的装置，发射时多固定于四十五度角，用加减装药来定射程之远近。由于炮身短、重量轻，便于携带，故多用于野战，由于弹道弯曲，对遮蔽物后的目标有较大的威胁，也可用于攻城，缺点是命中精度较差。这些前装炮的炮弹分实心弹、榴弹、霰弹等多种，弹体为圆形，表面光滑，大小合膛。在当时，由于榴弹对目标的破坏力和杀伤力较大，故淮军乐于使用。但在整个1863年，淮军各营头的炮兵还比较弱，故在进攻中主要依赖常胜军的炮火。到1864年，随着淮军地盘的扩大，已累计从外陆续购得大小炸炮数十尊，6月又接收了常胜军的炮队三十余尊，炮兵得到了较大的发展。并逐步淘汰劈山炮，更以法造小铜炮。