四月二十九日，吕颐浩罢免宰相，任镇南军节度使、开府仪同三司、醴泉观使。参知政事范宗尹暂时代替宰相职位，五月初三日，范宗尹正式为宰相兼御营使。范宗尹此时才三十一岁，可谓是大宋两百多年最年轻的宰相。

八月，隆佑太后也从江西赶到了绍兴。公元1131年正月，赵构总算在越州过了一个比较安心的新年。

公元1132年正月，赵构又从绍兴转移到临安（杭州），连续呆了两年十个月，公元1134年，刘豫率军入侵，赵构亲征，抵达平江。第二年二月回临安。

公元1135年二月，赵构从平江回临安后不久，下诏在临安建造太庙，此前太庙的神主（先帝牌位）暂时安置在温州，派专人看守祭奠！

侍御史张致远进言道：“在临安建太庙，难道是不想收复东京了吗？”

殿中侍御史张珣也进言道：“去年建明堂，今年建太庙，这是想将临安作为长久之地，不打算回中原了！”

赵构一概不理会，并派太常寺少卿到温州迎接神主到临安。

公元1136年九月，因为刘豫又来入侵，赵构再次从临安启程，赶到平江。

公元1137年正月初一日，赵构在平江，下诏将行宫移驻建康，让建康守臣做好迎驾准备。二月二十七日，赵构发平江，三月初一至镇江丹阳，第二天至镇江，九日至建康。

公元1138年正月，赵构在建康过新年，过完年后，赵构又闲不住了，想南下平江。这时李纲被起用为江西安抚使兼知洪州（江西南昌），上奏认为，平江和建康距离不远，从建康退避平江，徒劳无益，不应轻动。

参知政事张守也进言道：“建康自古为六朝古都，江流险阔，气象雄伟，且可以占据都会图取中原，凭依险阻可以抗拒强敌。陛下在建康尚未暖席，怎么又想到要巡幸？百官六军都觉得很疲惫了，民力也花费很大。请陛下安心在此！”张守言下之意，这几年，赵构走南闯北，北上南下，一直在江面地面兜圈儿，还不累吗？不要再折腾了，建康就很不错，定下来做都城吧吧！