赵顼道：“朕所恐惧的，正是人事方面没有做好啊！”

第三个原因：光州参军郑侠，给赵顼进呈了一幅《流民图》，说百姓被新法逼迫得流离失所，哀鸿遍野。

这郑侠本是王安石提拔的，现在反戈一击，王安石尚蒙在鼓里。

这幅《流民图》，赵顼反复看了多遍，长吁短叹，难以入睡。第二天便传旨暂缓新法。

两府大臣入对时，赵顼将《流民图》给王安石看，并问：“爱卿认识郑侠吗？”

王安石道：“他曾经跟从我学习一段时间。”

吕惠卿等人才知道暂停新法，祸起郑侠。吕惠卿、曾布、邓绾跪在赵顼面前进谏：“陛下几年呕心沥血、废寝忘食，才取得今天的成绩，一旦听信一位疯子的谗言，将所有成果废弃，不是可惜吗？”

大家越说越激动，都在赵顼面前痛哭不已，赵顼也难过得流了眼泪。他毕竟不想全盘否定自己的政绩，思前想后，又下诏恢复新法。

但是王安石从赵顼摇摆的态度中感觉到了不安，第三次提出了辞职，赵顼再三挽留，王安石王八吃秤砣—铁了心，坚决要走。

赵顼无法，于四月罢免王安石的宰相职务，让他以观文殿大学士身份知江宁府。

吕惠卿等人听闻老大要溜号，都非常着急，派多名党徒变换姓名，投书朝廷挽留王安石，王安石被感动了，于是向赵顼推荐韩绛代替自己的宰相职位，吕惠卿升任参知政事。赵顼也一一答应，可见赵顼对王安石的感情，真不是一般的深厚所能形容！

吕惠卿害怕王安石走后，新法不稳固，写信给朝廷各部门、各地方州县变法派，陈说利害关系，宣誓团结一致维护新法。