唐玄宗有一块心病——他通过宫廷政变的方式上位，对自己皇位的正统性不那么自信。

于是他在皇宫边上建了一个“五王宅”，动不动把自己五个兄弟集中起来，与兄弟同寝同乐，并且做了一个大被子几人一起盖，多么其乐融融的兄弟情呀。其实明眼人一眼看出来，这分明是用温柔乡的方法把兄弟软禁起来，并且随时监视。
对于自己儿子，又建了一个十王宅，把自己长大的儿子，全部迁到十王宅里面来。后来，诸王各自新添子孙，“又于十宅外置百孙院”。自己的儿孙也要统一居住，其目的不言而喻：集中监视。
即便如此，还是难消玄宗的疑心病。当时，专宠后宫的武惠妃为了让自己儿子李瑁当太子，向玄宗吹枕头风，说太子李瑛总和鄂王瑶、光王琚混在一起，发表对皇帝的不满言论，唐玄宗被戳中心事，一听这话就怒了，上朝就跟宰相提出要废太子。这时的首席宰相还是张九龄，出于政局稳定的考虑，张九龄对废太子一事严词拒绝。废太子也是国家政治生活中的大事，没有宰相认可，玄宗不敢、也不能贸然行动。
等到开元二十四年年底，张九龄罢相，唐玄宗再次召集宰相，商量要把太子李瑛废掉！这时候的首席宰相已经是李林甫了，李林甫回答：“此盖陛下家事，臣不合参知。”意思是，这是皇帝您的家事，臣不好发表意见。貌似不表态，其实就是支持。
一看宰相没有意见，唐玄宗的决心也就定了，他直接派了一个宦官到宫里宣制，把太子李瑛、鄂王李瑶、光王李琚都废为庶人。十五天之后，太子李瑛兄弟三人被赐死在长安城东的驿站里。
这个历史上的“三庶人之祸”，看起来偶然，实则是必然要发生的。而“此盖陛下家事，臣不合参”这句轻描淡写的话，实则是相权对皇权的妥协，自古以来，皇帝哪有家事？皇家的事情就是国事，哪怕是皇帝喜乐爱好。既然没有了监督，那就随着皇帝杀伐决断、骄奢淫逸好了，中国历史自然而从盛转衰。