刘询继承皇位以后，立许妃做皇后。霍光的妻子霍显是个贪图富贵的女人，她想把自己的小女儿成君嫁给刘询做皇后，就乘许娘娘有病的机会，买通女医下毒害死了许后。毒计败露，女医下狱。此事霍光事先一点也不知道，等事情出来了，霍显才告诉他。霍光非常惊惧，指责妻子不该办这种事情。他也想去告发，但又不忍心妻子被治罪，前思后想，还是把这件伤天害理的事情隐瞒下来了。霍光死后，有人向宣帝告发此案，宣帝派人去调查处理。霍光的妻子听说了，与家人、亲信商量对策，决定召集族人策划谋反，不想走漏了风声，宣帝派兵将霍家包围，满门抄斩。
东汉史学家班固在《汉书霍光传》中评论霍光的功过，说他“不学无术，暗于大理”，意思是霍光不读书，没学识，因而不明关乎大局的道理。成语“不学无术”，指没有学问，没有本领。