依不饶的态度及甄妃的哭诉渐渐地也将他的愧疚之意消磨得一干二净。一次朝堂上被张后兄长内阁学士张伯钧诘问得恼羞成怒，冲动之下勒令张氏一门回山西临汾，在自己有生之年不许入朝为官——

    皇帝金口玉言，张氏一门却也不是普通士族，是黄帝姬姓后代。他们这一支几经繁衍迁移，最后扎根山西临汾，与河北张氏、河南张氏，并为张氏一族中影响最大的三支，历代都有入朝为官的。庆旸帝的做为不止是打了张后一门耳光，更恼了张氏族人，山西临汾这一支干脆全部辞官返回故居闭门读书不说，其他河北、河南两支嫡系也陆续淡出朝野。