正始六年八月，曹爽废置中垒、中坚营，把两营兵众统交他的弟弟曹羲率领，司马懿援引先帝旧例制止，曹爽不听。正始七年正月，吴兵入侵柤中，有万余家百姓为避吴兵，北渡沔水，司马懿认为沔南离敌太近，倘若百姓奔还，还会引来吴兵，应该让他们暂留北方。曹爽不同意，说：“现在不能在沔南修城守地，反而让百姓留沔北，这不是长远之计。”司马懿则说：“放在安稳之处所则安稳，放在危险之处所则危险，人与物都是如此。所以兵书上说‘成败在于形，安危在于势’。形势是驾驭众人的关键，不能不审慎对待。假设吴贼以二万人防守沔水，三万人与我沔南诸军对抗，一万人猛攻柤中，我们怎么去援救呢？”曹爽不从，驱令还南。吴兵果然击破柤中，所失百姓，数以万计。曹爽的行为不但违背了顾命大臣应有的本分，也使魏国国力衰退，不少有志之士颇感不安，希望太傅主持公道。并州刺史孙礼就去和司马懿抱怨，司马懿安慰他说：“且止，忍不可忍。”
正始八年四月，夫人张氏薨。曹爽用心腹何晏、邓飏、丁谧之谋，把郭太后迁到永宁宫，一时曹爽兄弟“专擅朝政，兄弟并掌禁兵，多树亲党，屡改制度”。五月，司马懿伪装生病，不问政事。
李胜要到荆州任刺史，行前去拜望他。司马懿假装病重，李胜出来后对曹爽说：“司马懿已像尸体一样，卧床不起，只有残余之气，形神已经分离，不值得忧虑了。”以后又说：“太傅不能康复，令人忧伤。”所以曹爽等对司马懿未加戒备。而司马懿表面装病，实际上也在暗中布置，准备消灭曹爽势力。
嘉平元年正月，魏帝曹芳离开洛阳去祭拜魏明帝高平陵，大将军曹爽、中领军曹羲、武卫将军曹训均从行。司马懿乘机上奏郭太后，请废曹爽兄弟。当时，司马师为中护军，率兵屯司马门，控制京都。司马懿列阵，经过曹爽门前，曹爽部将严世登楼，引弩欲射司马懿，孙谦拉着他的胳膊阻止他说：“事情的真相还不可知。三次想要射箭三次被制止，孙谦皆按住严世之肘使之不能射出。”大司农桓范出城去投曹爽，蒋济担心道：“智囊往矣。”司马懿则说：“范则智矣，驽马恋栈豆，爽必不能用也。”司马懿召司徒高柔假节行大将军事，管领曹爽军营，对他说：“君为周勃矣。”召太仆王观行中领军事，统摄曹羲军营，司马懿自率太尉蒋济等勒兵出迎天子，驻扎在洛水浮桥。派人上奏章给皇帝陈述曹爽之罪。
曹爽扣住奏章，把曹芳留在伊水之南，征发屯兵数千人以自守。桓范劝曹爽挟持皇帝到许昌去，发文书征调天下兵马勤王。曹爽果然疑惑，不从其计。反而夜遣侍中许允、尚书陈泰去见司马懿，探听动静。司马懿乘机数说曹爽的过失，让他早来服罪。接着又派曹爽的亲信殿中校尉尹大目去对他说，朝廷只是免他的官职，并以洛水为誓。同时，他还让蒋济写信给曹爽，称自己只是想将他们免官，劝告他尽早交出权力投降，可以保他们爵位富贵。曹爽欲信其言，桓范等人从晚上一直劝到第二天黎明。曹爽说：“司马懿正当欲夺吾权耳。吾得以侯还第，不失为富家翁。”桓范哭说：“曹子丹佳人，生汝兄弟，犊耳！何图今日坐汝等族灭矣。”于是，曹爽请免职，随曹芳回京。曹爽兄弟一回府，即被司马懿派兵包围。司马懿违背诺言，以谋反的罪名杀曹爽及其党羽何晏、丁谧、邓飏、毕轨、李胜、桓范等，并灭三族；但对曹爽门下的二流人物，司马懿特别宽大处理，如鲁芝，辛敞，王沈等人，后来还有人成为晋朝新贵。
嘉平元年二月，曹芳任命司马懿为丞相，司马懿固辞丞相之职不受。十二月，诏命加九锡之礼，朝会不拜，司马懿又固辞九锡。
嘉平二年春，曹芳命司马懿在洛阳立庙。司马懿久病，不任朝请，每遇大事，天子亲自到他府中去征询意见。司马懿诛曹爽，导致曾为曹爽笼络升为车骑将军、开府仪同三司，后又升为司空的王凌心生不满，与侄子令狐愚图谋废黜曹芳，立楚王曹彪为皇帝。还未行动，令狐愚便已死亡。
嘉平三年正月，王凌借口吴人塞涂水，请求出兵征讨。司马懿知其阴谋，不令兴兵。并于四月亲率中军讨伐王凌。司马懿故技重施，先下赦书赦免王凌之罪，写信安慰他，但不久大军突至。王凌自知势穷，便独自乘船迎接，派属官王或请罪，送上印绶、节钺。司马懿军到武丘，王凌在水边自缚等待，说：“我如有罪，公可用半片竹简召回，何苦亲自来呢？”司马懿说：“因为君非折简之客啊！”说罢，命将领率六百人马想把王凌解送洛阳。途经贾逵的寺庙，王凌大声呼庙。五月，王凌到项城，绝望，服毒而死。司马懿进军寿春，参与王凌之谋的人都出来自首。司马懿推知其事，凡牵连在内的一律诛灭三族。派人挖开王凌、令狐愚的坟墓，在附近的市上，剖棺暴尸三天，然后，烧掉他们的印绶、官服埋于土中。司马懿最终逼楚王曹彪自尽，并趁机把魏之王公全部拘捕，放置邺城，命有司监察，不准他们互相交结往来。
司马昭封晋王后，追封司马懿为宣王；咸熙二年，司马昭之子晋武帝司马炎受魏禅，给司马懿上尊号为宣皇帝，称其陵墓为高原陵，庙号高祖。
司马懿一生都在为了自己的目的，而隐藏自己，