不久噩耗传来，长乐公主李丽质、晋王李治相继被陷害致死，周王李承俨和魏王李泰被贬到外地，晋阳公主李明达被一撸到底软禁在家。张柬之非常悲愤，他觉得李义府和许敬宗连皇子公主都敢陷害，还有什么是他们不敢做的，于是张柬之联合一些官员和二人进行了激烈的博弈，而当时的皇帝李承乾并没有对此做出什么裁决，这件事也就不了了之了。
看着朝堂风气被李义府和许敬宗带坏，身为御史的张柬之无力回天，打算递交辞呈，就此离开朝廷。太子李象得知此事后赶紧让羽栋和狄仁杰拦住了张柬之并让他暂时先忍一忍。永唐十一年，李承乾宣布退位，太子李象登基称帝。为了对抗李义府和许敬宗，同时也为了给太上皇留点面子，李象没有立刻罢免二人官职，但是他却大大的提升了张柬之和狄仁杰的品级，让他们有足够实力和李义府等人对抗。
泰兴三年，太上皇李承乾驾崩，李象在办完了太上皇的葬礼以后也没有罢免李义府和许敬宗的官职，但是却一点点削弱了他们的权利，二人当然知道这是什么意思，但是却无能为力，因为张柬之和狄仁杰虽然品级不如他们高，但是权利却越来越大。泰兴五年，李义府和许敬宗被免职，代替他们的就是张柬之和狄仁杰。
泰兴六年，皇帝举行狩猎，期间羽梁伙同义弟羽无虑趁机将李、许二人杀死，很明显这是皇帝默许的。李、许二人被杀后，李象授意张柬之和狄仁杰清理李义府和许敬宗的残余势力，至此李、许二人在朝堂的全部势力烟消云散，朝廷也重回正轨。