陈昌浩因曾是“国焘路线”的积极支持者，现时又身负西路军军政委员会主席的重任，感到压力重大，因东进没有中央的命令，本来就有顾虑，见部队打了胜仗，得到补充，便提出要重返倪家营子，继续建立甘北根据地。徐向前与陈昌浩吵了一顿，没有结果。此时中央来电，支持陈昌浩，要西路军再固守50天。于是全军只得二返倪家营子。马步芳对红军的包围更加紧缩，梯队重迭，步步推进，而红军驻地房倒屋塌，水井被填，吃住更加困难。敌人将红军前沿围子包围数层，一直冲到纵深与红军后方部队激战。
3月中旬，西路军撤进祁连山之后彻底失败。西路军军政委员会在石窝召开最后一次会议，决定：军政委员会主席陈昌浩、副主席兼总指挥徐向前离开部队，潜返陕北；余部由政治部主任李卓然、副总指挥王树声、红30军政委李先念等组成工委领导，分头行动；西路军所剩近3000人分3个支队和若干小分队分散游击。
西方有句谚语：当失败成为一种宿命时，失败也是伟大的。西路军是整个红军的重要组成部分，是毛泽东全盘战略上不可缺少的环节之一。毫无疑义，部队的一切行动，均应服从和服务于策应河东红军与友军的全局需要。西路军担负着一个独立作战方向的战略任务，但每一步行动均需请示报告，不折不扣地照指示去办。事实上许多指示难以行通，这就使西路军最高指挥官几乎没有机动自主权力，战场指挥也就无法随机应变，机断专行。所以，西路军的失败，就更显得悲壮。当然，西路军的失败还有天时、地利的因素，也有马家军凶狠残暴，陈昌浩患得患失、一切唯上等原因。但无论怎么说，马步芳是西路军失败的最大受益者。
西路军的失败，是解放军军史上少有的几次大失败之一。据有关资料统计，红军西路军出征时总人数约21800余人；战死者约7000余人，其中团以上干部143人，军、师以上干部20多人；被俘后遭残酷杀害者约5600人；被营救返回延安者约4700人；失散流落在沿途的约4500人。过去，只是对马步芳的残暴凶狠有所耳闻，通过西路军的遭遇，有了切身的体会。尤其是马步芳杀害了西路军被俘虏的战士，仅在张掖，就杀害了3200多人。杀人的方法花样百出，有活埋、枪杀、火烧、扒心、取胆、割舌等多种残忍手段。
据亲眼目睹马家军暴行，后来被营救回延安的西路军战士揭露，马步芳纵容手下残酷虐杀战俘，简直到了骇人听闻的程度，如抽肠扒肚，就是把被俘红军的肚皮用刺刀割开，将肠子拉出，拴在马尾上，然后打马奔跑，受害者肠肚拉出，痛苦到死。有些马家军的官兵听说用人血蘸馍吃可以治病、壮胆，就拉出红军被俘战士当场砍死，拿热馍蘸着人血吃。马家军还拿被俘红军战士当活靶打，练习枪法或打赌取乐。对被俘女红军战士，还进行强奸，然后分给部下做妻妾丫环，甚至转卖多处。党中央和毛泽东，为把西路军从马家军的魔掌中解救出来，想尽了办法。面对徐向前、陈昌浩向中央的告急电文，毛泽东和党中央除紧急指示在西安谈判的周恩来，强烈要求蒋介石令马家军停止军事进攻外，并于2月27日任命刘伯承为司令员，张浩为政治委员，以原红四方面军第4军、第31军，与第28军、第32军和骑兵一个团组成“援西军”，向西开进，以接回西路军。
西路军失败后，为保存西路军余部，3月27日，张闻天、毛泽东、朱德、张国焘联名致电周思来并彭德怀、任弼时，指示为解救西路军危局，与马步芳等讲和，中共中央愿以10万到20万的银圆，请马家军停止对西路军的进攻。4月3日，中共中央致电在西安的叶剑英，要他向顾祝同提出：如果马步芳俘虏了徐向前、陈昌浩及其他干部，应严令其不得加以任何残害行为。4月5日，毛泽东又致电叶剑英，要他进一步向顾祝同交涉，令马步劳把集中在凉州的红军被俘人员全部调到平凉，经国民党第25师驻地，转交红四方面军，并制止马步芳再残害与压迫红军被俘官兵。
1937年4月，西路军剩下的700多人，在李先念的带领下，从安西星星峡退入新疆。执行分散游击的部队中，李先念运气很好，没多久就意外收到中央电台的呼号，于是按中央指令北折新疆，陈云在星星峡迎接了他们。1937年底，林伯渠到西安任驻陕党代表后不久，即营救了1500余红军失散人员返回了自己的部队。原来，马步芳准备将俘虏西路军编成的新兵团，拨交河南国民党卫立煌部。中共驻兰州代表谢觉哉得知这一消息后，一面派人与国民党军方交涉放人，一面派兰州八路军办事处工作人员到新兵团驻地，找他们谈话，要他们坚定信心，随时准备回到革命队伍。不料国民党军方佯称要请示军令部批准，暗地里却命令这个团偷偷提前开拔了。谢觉哉立即将此事电告了林伯渠。林伯渠马上向有关方面交涉，新兵团一到西安，就去做他们的工作，这些红军失散人员纷纷要求归队。后来，这些西路军战俘开到三原县安吴堡，分别编入了八路军各部队中。当总指挥徐向前辗转到达援西军驻地后，毛泽东、张闻天、朱德致电说：“向前同志，庆祝你脱险归来，并相信你一定能够在中央领导下，再接再厉的为革命奋斗到底。盼病体痊愈后即来中央。”红军西路军最终惨败于马家军之手，眨眼之间已经12年过去了。
十几年来，马家军的恶行梦魇一样压在幸存者的心头。现在，向马家军复仇雪耻的时机终于到来了！此时，胡宗南部已退至扶风、宝鸡、凤县地区，二马退至邠州、长武地区，都想借助对方力量，互为犄角，阻止解放军进军甘、宁、青或南下汉中。根据毛泽东的指示，彭德怀指挥第一野战军于从1949年7月11日至7月14日，在扶风、眉县地区，发起“扶眉战役”，歼灭胡宗南部4个军4.4万余人；胡宗南部退守秦岭一带，二马继续往西撤退至平凉地区。由此，解放军作战方针调整为“钳胡打马，先马后胡”，彭德怀选择了平凉地区作为与“二马”决战的战场。未想，“二马”却不战而退。平凉虽为甘、宁咽喉，战略地位十分重要，但作战计划一出台，“宁马”马鸿逵立即察觉“青马”马步芳要保存实力的企图，急电部下退守宁夏，以图保存实力。宁马一撤，青马也无奈地急忙往兰州撤退。毛泽东指示彭德怀，暂不占领汉中，集中兵力歼灭二马。彭德怀决定以周士第兵团两个军于宝鸡、西安一线钳制胡宗南部，以另外10个军追击二马，20余天前进千余里，把青马逼进了兰州城内。
李宗仁、阎锡山对二马有个形象的评价：马步芳是匹野马，马鸿逵是匹滑马。马步芳家族曾在青海统治数十年之久，被称为“青马家族”，也被称为“青海王”。当地民歌“花儿”唱道：“上山的老虎下山的狼，凶不过青海的马步芳。”马步芳确实有股子狠劲。摩托车刚刚进入西宁的时候，正值上个世纪四十年代，马步芳拿到新摩托车就敢骑，一踩油门，摩托车便一跃而出，根本停不住，从东关大本营一直跑到20多里外西宁城东郊的乐家湾，连马都追不上。西宁通往湟中塔尔寺的道路两边，整齐地排列着高大挺拔的白杨直入云霄，树冠密合成封闭的林荫隧道，这些树是马步芳下令，用了近十年的时间让士兵、壮丁、政府职员、学生、工人栽植的。当时马步芳还下了一道命令：谁敢砍树就砍谁的头！
在20世纪三四十年代初，马步芳对辖区内的毒品限制也比较严，不论是贩毒还是吸毒，只要被他抓住，一律砍头！可惜他晚节不保，到了四十年代后期，随着战场上与解放军作战的节节失败，他自己也抽起大烟来。马家军以“甘、河、回、马”(即甘肃人、河州人、回族、马姓)这四条为用人标准，采取家族世袭和宗教控制的方法带兵，与其他国民党军相比，有着很强的战斗力。由于没有受到解放军的歼灭性打击，气焰十分骄狂，不仅瞧不起中央军，也常常吹嘘解放军是他手下的败将。当年打败红军西路军，成了马步芳夸耀的资本。1947年3月，蒋介石对陕甘宁边区实行重点进攻，马家军中的马鸿逵部占领了三边地区，马步芳攻下了合水等地。以至于1947年6月14日，毛泽东给晋冀察朱德、刘少奇关于《总结边区三个月战争》的电报中也承认，彭德怀、习仲勋率野战军上月底到陇东，因青马82师颇顽强，打合水未得手。为了阻挡解放军解放大西北，由南京逃亡到广州的国民党政府，紧急召集马步芳、马鸿逵、胡宗南，举行“西北联防会议”，拟制了“兰州会战计划”，以马步芳集团依托兰州固守，吸引和消耗解放军主力，会同马鸿逵、胡宗南两集团，夹击第一野战军于兰州外围。马步芳放出狂话，“兰州是攻不破的铁城，彭德怀胆敢进攻兰州，本署以诱敌于有利地形与之决战，凭天然屏障与既设阵地，举全力一鼓而歼灭之。”
兰州，因地处皋兰山而得名，古称皋兰。是国民党西北军政长官公署所在地，是西北政治、军事中心，地理上也是甘肃、宁夏、青海、新疆四省的枢纽。兰州城北面是黄河，东、南、西三面环山，易守难攻。马步芳退守兰州后，又将抗战时期国民党军构筑的国防工事进行加修加固，主要阵地构筑了钢筋水泥碉堡群，外斜面有高6至10米的环形人工峭壁，腰部修有暗藏的侧射火力点，外有两层3至6米的外壕，壕内遍布地雷，铁丝网。阵地之间有公路、交通壕连接。马步芳视兰州会战成败为其生死存亡的关键，不仅主力全部集中兰州，而且在城内屯集了大量粮食、弹药并作了精心周密的部署，以战斗力最强的两个军和两个骑兵旅，共5万余人，重点守备南山各要点与城区；以两个军3万余人，控制在兰州东北黄河两岸地区，保障兰州左翼安全；以新编成的骑兵军2万余人，控制在临洮，临夏地区，保障兰州右翼安全。兰州城下，彭德怀遇到的困难也不少。
从西安到兰州，1400多里的漫长补给线，只有一条路面极差的西兰公路，远远保障不了供给，部队只得就地筹粮。仅有10多万人口的兰州周围，一下子聚集了这么多德部队，人的口粮、牲口的饲料，都很难满足。阵地上的战士们，只能吃囫囵豆子，啃生山药蛋充饥，还得勒紧裤腰带去冲锋。没有房子住，不少连队只得住进刚挖成的土洞里，再加上长期连续奔袭，战士们极度疲乏，身体虚弱，非战斗减员也逐渐在增多。兰州战役，利在速决。毛泽东来电指示：“集中兵力，充分准备，继续进攻，攻克兰州，坚决歼灭青马。”毛泽东完全同意彭德怀的作战计划，并乐观地对彭德怀说：“只要能歼马主力，西北战局即可基本上解决，往后占领甘、宁、青、新，基本上只是走路和接管的问题。”同时，毛泽东专电强调指示彭德怀：“打马是一个较为严重的战役，要准备付出较大的代价，千万不可麻痹轻敌，疏忽大意。”马步芳决心守兰州，这是彭德怀求之不得的，他说：“我们不怕他守，而是怕他跑掉。如果他真的不跑，就到了我们把他消灭的时候了。”
1949年8月4日，第一野战军发布进攻兰州的作战命令：以第18兵团留置宝鸡，天水地区，继续钳制胡宗南集团，保障野战军左翼及后方安全；以第19兵团一部进至固原、海原地区，钳到马鸿逵集团，保障野战军主力右翼安全；以第1兵团攻取武山、陇西、临洮、临夏，得手后北渡黄河，直逼青海省省会西宁，截断兰州敌军退路；以第2、第19兵团5个军近15万人，沿西安兰州公路，分南北两路西进，直取兰州。8月21日，第2、第19兵团出动9个团的兵力，对兰州外围诸要点发起攻击，马家军凭借坚固工事和有利地形，以猛烈火力顽抗，并趁机向解放军的侧翼实行反冲击。解放军激战一日，不仅没有夺取一个阵地，而且消耗了大量弹药和人员较大伤亡。就在部队强烈要求继续攻击时，彭德怀司令员断然下令全线停止攻击。他认为攻击受阻，主要原因一是轻敌，准备不够，步炮协同不好，二是敌人工事坚固，敌人顽强。为此，他要求各部队深入进行思想政治动员，克服急躁轻敌情绪，认真总结经验教训，仔细侦察地形敌情，开展军事民主，研究进攻的战术，扎扎实实做好准备工作，待命总攻。8月23日，毛泽东致电彭德怀：“马步芳既然决心守兰州，有利于我军歼灭该敌。为歼灭该敌起见，似须集中三个兵团全力于兰州战役。并须一次打不开而用二次、三次攻击去歼灭马敌和攻占兰州。”
遵照毛泽东的指示，在摸清了马步芳的部署、工事构筑和地形情况以及作战特点后，彭德怀重新调整了部署。在此之前，解放军第1兵团解放了临夏。临夏是青宁二马出生和起家的地方，丢了临夏，等于马家的老窝子被抄，大大动摇了兰州守敌的军心，迫使马步芳从兰州前线抽调骑兵第8师两个骑兵旅回防
