外戚和宦官势力过度纵容，一旦失去控制，这股势力必然会反噬汉朝廷，给国家带来巨大的灾难。

更让人担忧的是，宣帝为了获得地方的支持，大力扶持地方豪族崛起。如今，这股势力已经如脱缰野马般不可阻挡，他们与权力紧密结合，不仅掌控了汉朝廷自上至下的官僚体系，甚至还在逐渐动摇汉朝的国本。

故而，帝贺以为，宜大力扶植对己忠心不二之地方豪族，以类“农村包围城市”之法，渐次渗透并夺取汉廷之权柄。此亦其大力扶持姚氏一族于武威郡发展之缘由。

然而，平心而论，毋庸置疑，宣帝以帝贺认为并不完美的方式，仅仅追求巩固皇位的短视利益，不仅迅速稳定了局势，确立了自身的权威，更由于他竭尽全力地扭转霍光的政策，拨乱反正，使众人明白，那个被称为对汉朝有再造之功的功臣霍光，实际上只是一个擅权专政、不顾民生的权臣而已。

如此，霍光的声誉受损严重，而仰仗其庇护的霍氏家族亦渐为世人所不齿。

宣帝在纠正霍光之政的同时，又多管齐下，矛头直指霍氏家族。

霍光下葬之后，宣帝依循霍光的遗愿，封霍山为乐平侯，又使霍山以奉车都尉之职领尚书事，意即让霍山而非霍禹接替霍光主理国事。

霍禹身为霍光之嫡长子，且已获皇帝任命为最高武官之一的右将军，并承袭了霍光博陆侯的爵位，理应名正言顺地领尚书事，没想到未能如愿，虽有怨言，但尚书事一职毕竟给了霍家人，他又不敢公开发作。

帝贺认为，宣帝虽将尚书事交予霍家，但其意图在于挑拨霍氏兄弟，且因霍山以中级武官的身份领尚书事，人微言轻，日后操控起来便更为容易，要将其架空亦非难事。

地节三年（公元前67年）正月，霍光亲信丞相韦贤以老病请求致仕，开创汉代丞相退休先例。据《史记 建元以来侯者年表》中褚少孙讲，韦贤辞