孙刘和解之后刘备率军返回巴蜀，然而此时汉中的局势已经牢牢掌控在了曹操的手中，刘备即使赶回了巴蜀也不能左右战局。所以这件事并没有引起曹操的重视，但是司马懿却认为光是湘水划界不足以成为说服孙权退兵的理由，为此他百思不得其解。
正在此时司马懿忽然想到了孙权屡次进攻却没有得手的合肥，于是他大胆的猜测刘备是否与孙权之间达成了某种协议，比如说：
东西并进、两路北上，共同攻打汉中和合肥...
司马懿心想如果自己的猜想是正确的，那么曹操到时必定因两面受敌而陷入被动，此刻曹操的主力尽在汉中之地，驻守合肥的张辽虽然是百战名将，但手中仅有守军七千余人，若是孙权举大军来攻的话必定压力巨大，合肥失守并非全无可能。
深思熟虑之后司马懿将这个担忧告诉了曹操，并提醒他一定要小心防范，曹操认为司马懿的担心固然有道理，但是他却并没有加派任何得力的干将前去支援张辽、李典和乐进，而是亲笔写下了信件装入了密函之中，在密函的封面上写下了“贼至乃发”四个字。
起初司马懿并不理解曹操这么做的用意，等到曹操派遣薛悌只身前往合肥后才对司马懿解释说：“现在我大军主力尽在汉中，就算是我想要驰援他也没有任何的办法。再说了我也信得过文远，加上还有李典、乐进两人辅佐，我想合肥应当无碍。”
这种赌徒式的策略让司马懿吃惊之余，也再度体会到了曹操的不同寻常之处：
“看样子魏公是对合肥的守卫很有信心了？”
见司马懿也放下了紧张的心态和自己开起了玩笑，曹操笑着问：
“仲达可有胆量与我一睹？”
司马懿反问道：“赌合肥是否能够守得住吗？”
曹操摇摇头说：“赌张辽能够置孙权于死地...”
大军在阳平关前驻扎了数日，然而张卫选择了高挂免战牌拒不出战，曹操下令攻打了几次都没有得逞，而此时刘备已经返回了蜀郡成都，开始积极作着开战的准备，这让曹操手下的很多将领都心生疑虑，他们担心刘备很有可能会加入汉中的战局。
公元215年（建安二十年）八月，坏消息接连而至，孙权果真率领十万大军北上进攻合肥，然而此时张辽的守军连孙权的十分之一都不到，因此很多人都断定合肥必失。
而阳平关久攻不下让汉中的战事陷入了胶着之中，刘晔等人认为合肥若是被攻陷了，那么就意味着豫州的南面门户彻底洞开，孙权一定会趁此机会夺取豫州，威逼许都，所以他们都力劝曹操应当撤兵先以应对孙权北上为主。
面对众人疑虑曹操在思考了整整一夜之后，居然同意撤兵回援合肥。
对此夏侯渊和张郃等将领纷纷表示不理解，夏侯渊更是直接闯入了曹操的中军主帐之中质问退兵的理由，结果被曹操下令格去了军职并处以两百军棍的惩罚。
见夏侯渊这样和曹操亲近的将军都受到了这样的待遇，很多将领都为其鸣不平，认为曹操刻薄寡恩不是个好君主，恰好此时司马懿经过了军帐的时候听到了他们的对话，便掀开了帷帐走了进去：“既然是这样，你们为什么不去投靠张卫呢？”
之后陆陆续续开始有将近数百人的将领和士兵前偷偷离开了曹营前去投靠张卫，他们对张卫说自己是陇上马超的旧部，因马超战败才投降了夏侯渊，现在他们看到曹操是个不可靠的主上，害怕自己日后会因曹操的生性多疑而惨遭遗弃或是杀戮，于是便来投靠张鲁，希望能够谋得一条生路。
张卫也并不是个耳根子软的人，他秘密派人去调查了这些降卒的身世背景，发现果真都是陇上人氏于是便收留了他们，但是仍旧未敢重用，全都集聚的关内由兵马监视。
三天后，曹操见不断有降卒前去投降张卫，他对外宣称为了避免军心动荡所以自己将立刻班师撤军，很快十万大军便撤离了阳平关前线。
见曹操大军果然撤退了，张卫不禁松了一口气，他当夜便写下书信派人送往南郑向张鲁报捷，然而还没有等他的书信写完，阳平关外便忽然出现了震天撼地的喊杀声。
他亲自登上了关隘发现原本应该被曹操撤职查办的夏侯渊，居然率领着八千兵马强攻阳平关，不久关内也杀声四起，那些之前投奔张卫的所谓降卒，居然趁着守军都集中到关前拒敌之时，偷偷烧光了张卫所有的粮草并从内部发起了对张卫的进攻。
没有了粮草又毫无胜算可言，张卫无奈之下只好献关投降。
事后夏侯渊才对众人解释说自己本想闯入帐中阻止曹操撤兵，结果司马懿和曹操却提出了上演这么一出苦肉计来麻痹张卫，于是才有了撤职和军仗这样的戏码。
很快又有斥候传来了消息：
“启禀魏公！张郃将军已经渡过了沔水夺取沮县，现在已经包围了沔阳城！”
原来曹操之前所说的退军不过是让张郃分兵攻打沮县，再绕道沔阳彻底攻占南郑的最后一座屏障，现在一切都如司马懿和曹操所料的那样，张鲁已经没有任何的筹码了。
张鲁闻之阳平关被攻破和沔阳被围的消息后，已然全部失去了抵抗到底的决心，他本想直接向曹操敞开南郑大门屈膝投降，但是阎圃却劝说张鲁应当再抵抗一阵子，这样以来也不失一方诸侯的气节，也会让曹操对他另眼相看。
于是张鲁下令城中所有的财宝全部封藏妥善保管，这也是对曹操所表示出来的诚意，随后自己带着少数人马离开了南郑前往巴中。