洪武七年，朱元璋提升李善长之弟李存义为太仆丞，李存义之子李伸、李佑都为群牧所官。九年，朱元璋以临安公主下嫁其子李祺，授为驸马都尉。初定婚礼，公主严修妇道。李家受宠显赫，时人极为羡慕。

李祺与公主结婚一个月后，当时的御史大夫汪广洋、陈宁上疏说：“李善长恃宠自纵，陛下因病几乎十日不能上朝，他不来问候。驸马都尉李祺也六日不来朝见，召他至殿前，又不认罪，这是对陛下极大的不敬。”李善长因此获罪，被削年禄一千八百石。

看样子李善长是失宠了，可洪武十三年，胡惟庸因谋反被诛杀，受牵连而处死者甚多，但李善长仍然如故。御史台缺中丞，李善长暂理御史台事务，还多次向朱元璋提出建议。朝堂上青松不倒，门生故旧遍地，只有他能够撑得起相社，也只有他能够为了士大夫心心念念的相权而扛起这面大旗，虽然，他这个时候已经七十二岁了。

他看着众人，缓缓道：

“吵完了？”

众人皆起身向他行礼，众口一声道：

“不敢在公爷面前造次。”

李善长看起来有些疲倦，他微微摇头，闭着眼睛道：

“我老啦，没几年可活了。本来想安安生生的过完这最后几年，可你们也不放过我啊，行，那我就扛起来，拼着老命不要也要为咱们争一争。可我扛起来了，你们呢？每次开会都要推诿扯皮，还得我出来给你们收拾摊子，老夫欠你们的了？你们给个准话，想吵的继续，老夫先回去眯一觉。吵好了我再出来如何？”

王老头急忙下跪，拼命向李善长磕头：

“公爷！公爷！是我不对，我该死！我保证，以后再也不吵了，再有下次，我愿接受社法！”

“起来吧！这样做作有用吗？”李善长有些不耐烦，喝了一声。王老头旁边几人慌忙把他拉起来，躬身肃立。感觉耳边清静了，李善长睁开了眼睛，看着众人都站着，呼出一口浊气，淡然道：

“都坐下吧，王全，你也坐。”对着王老头道。

“既然吵了，那这个摊子我还得收。关于刺杀汤友恭，社里面确实没有考虑到那小子手下的强悍程度，失败了那么多次也是情有可原。”李善长坐了起来，沉声道；

“但是进了京城，绝对不能下手杀他了。和刺杀一个汤友恭相比，我们在京城的内线无比重要，尤其是朱雀与玄武，那是绝绝不能暴露的，否则陛下拼着让天下大乱，也要动手除掉我。王全，就让汤友恭多活一阵子吧，他也只是十三年后才发展的，没那么重要，丢了也就丢了。”