地方守备部队则由一直跟着他的王尚礼、冯双礼、马元利、张化龙统领。
部队以步兵、骑兵为主，“马七步三”，另有炮兵、工兵、水军。在装备上，有炮有铳、有弓箭，还有火药，有铁胄，也有骡马。
张献忠更加重视练兵习武，提高队伍的作战能力，规定将士四更即起，操练武艺，到天黑才结束。他把李自成的“闯王刀”刀法改了一下，重新命名为“大王刀”，让每个营都要练习，人人必会。同时，比武选官，奖勇罚怯，打造一支勇往直前的铁军。
他也重视军队纪律，要求将士严遵约束，按令行事。每到一地传牌申禁：“不**女，不杀无辜，不掠资财”。
张献忠一边练兵，一边屯田，积累了大量的粮草，作好了充分的战斗准备。
崇祯十五年二月，离张献忠最近的县城－舒城有官兵哗变，逃至霍山，说是要将舒城献予八大王，张献忠大喜。
五营统领都来请战，张献忠便道：“这是我们会师以来的第一场战斗，必须取得胜利，鼓舞士气，震慑官兵。”
在舒城哗变官兵的带领下，张献忠率大军自霍山直扑舒城。当时，舒城县令丁忧回乡，正在县城的翰林院编修胡守恒和游击将军孔廷训率舒城军民守城。
张献忠绕城一周，见“黑云压城”，大喜道“此城必破”！又向城nèi_shè招降书，编修胡守恒站在城上将招降书撕毁，下了死守舒城的决心。
看到大军压境，游击将军孔廷训畏死投降了，并指引张献忠用一种专门打洞的车在城墙上打洞，接连打穿了好几处。胡守恒率领老百姓拼命堵洞，血战三天，县城被攻破。胡守恒冲杀到县城南门外三里处的荷花塘，被抓获杀死。
为了庆祝会师后的第一场胜利，张献忠将舒城更名为得胜州，并在这里建立政权，立医士胡玄浦为丞相。
占领舒城不久，又攻下六安。因在破城中死伤不少人马，张献忠恨急，魔性大发，又要滥杀，被几个义子死死拉住，但也将俘获者，男砍左手、女砍右手。
张献忠连打胜仗，便想一口气拿下庐州。庐州是一处军事重镇，它的东北方是“中都”凤阳，东南方是“留都”南京，三座城市犄角鼎立，互为支援，防守严密，易守难攻。
这里城高池深，重兵驻扎，素有“铁庐州”之称。新近投降的游击将军孔廷训告诉他，“庐州城池坚固，崇祯八年，混天王等农民军起义军头目就来攻打过庐州，打了七天都没有攻克。”
八大王想：“我现在兵强马壮，不可能连个小小的庐州都攻不下，但现在要收民心，就要避免伤亡，最好想办法智取。”
胡玄浦禀道：“我最近听说，明朝的学政将到庐州督学。”
张献忠马上命令再探，得知消息确切，便先派手下兵丁扮作小商贩混入城内。不久，学政果然来到，张献忠让可望带人装扮成迎接学政的官员，前去迎接学政。接到之后，立马将其在半路杀掉。
然后，张献忠乔装成学政模样，端坐在高车之中。手下的将领在铠甲外面穿上学政手下人的衣服，在旁边护卫。另外精挑细选三百名兵丁，装扮成穿青衣、头戴书生帽的读书人，在后面跟随。远远看政一同前来。
当时庐州城已经数月没有遭受农民军的袭击和攻打，防御便开始有点松懈。这时城门外忽然报告，学政的车马要进城来，于是守城的官员立马开启城门并出城迎接。
张献忠乘坐的马车及其后面的随从已经到城下，官员一看，跟随的都是读书人，虽然有好几百人，但是也没有起疑心。
当队伍全部进入城中，张献忠发一声虎啸，从高车中飞出来，虎拳排山倒海击出，一阵旋风中，官兵死伤无数。
跟随的几百名手下全都持短刀，四处砍杀。之前混入城内的兵丁也跳出来接应。
事情发生得太突然，守城官兵没有料到，一时惊慌失措，到处奔逃。
张献忠打开城门，埋伏在城外的队伍一拥而入，原本固若金汤的庐州城，瞬间就被张献忠给拿下了。