朱元璋殺掉了胡惟庸，廢除了丞相制度，但他并沒有罷手，他的眼睛又轉向了掌握軍權的大都督府。當時掌管都督軍權的正是他的外甥李文忠，事實證明，在不信任大臣這一點上，對自己的親屬，他也一視同仁。他改組了大都督府，把這個軍事機構分成左、中、右、前、后五部分，至于原來的統帥李文忠，他也沒有放過。
由于李文忠曾經指責過他濫殺無辜，而且觸怒過朱元璋，朱元璋決定送佛送上天，連李文忠一起殺掉。就在他準備動手的時候，馬皇后站出來阻止了他，求他看在李文忠立有大功的份上，留他一條命。朱元璋從不賣別人的面子，但馬皇后與他共過患難，深意重，于是他聽從了勸告，放過了李文忠，但仍嚴厲處罰了他，并削去了他的職位。
處罰李文忠并不是一個單獨事件，它有著更深刻的含義。這件事告訴所有的大臣，朱元璋在剪除異己這個問題上是有著大義滅親的精神的，無人可以例外。
胡惟庸案件牽涉的人越來越多，在某種程度上已經演變為屠殺。那些辦案的官吏們手持名單，到各個衙門去找人，找到就抓，抓回就打，然后供，再根據供得到的名單去抓人。這些**力極大，即使衙門正在辦公，他們也能公然闖入，抓走所謂的犯人。從而導致了很滑稽的現象，往往官老爺剛剛還在堂上威風凜凜的斷案，這些人一進門，就把那位仁兄從堂上拉下來拷上枷鎖帶走。下面的犯人也看得目瞪口呆。
偵辦此案的線索來源主要是兩個部門，一個叫親軍督尉府，大家可能對這個名稱并不熟悉，但要說到它后來的名字，那可是無人不知，無人不曉——錦衣衛。
另一個其實并不能稱為部門，而只能叫群體，這個群體的名字叫檢校。他們沒有固定的編制，全部直接向朱元璋報告探聽到的各種況。他們是朱元璋最主要的耳目。這些人晚上不睡覺，到處轉悠，從史料來看，他們的竊聽和跟蹤手法十分高明。比如國子監祭酒宋訥有一天上朝，朱元璋問他為什么昨天晚上不高興，宋訥大吃一驚。朱元璋拿出一幅畫，正是宋訥昨夜生氣表的畫像。
這真是讓人毛骨悚然，要知道宋訥并不是睡在街上的，他在自己家里生氣，這些檢校不但一直在監視他，還居然饒有興致的把他生氣的樣子畫了下來，大家可以想象一下，在沒有照相機的當年，深更半夜，你坐在自家房里，居然就在離你不遠處（很有可能就在你家），有人正在一邊看著你，一邊幫你畫像。這種節在現代恐怖片中倒是經常出現。
這些檢校的來源也很復雜，主要都是些社會閑散人員，也有文武官員，甚至還有朱元璋的老相識——和尚。這些人互相不認識，只受朱元璋調遣。
這些人無孔不入，捕風捉影，制造了很多冤案，正是有了這些人的幫助，朱元璋在胡惟庸案件的辦理上越來越得心應手，殺人越來越多。
官員們惶惶不可終日，牽涉的人也越來越多，甚至連已經退休的人也被抓回來，其中最著名的就是宋濂。
宋濂是朱元璋手下著名的文臣，也是一位優秀的學者，他是劉基的老鄉，被朱元璋委派了一個重要的任務，當太子朱標的老師。他完美的完成了這個任務，在他的教導下，朱標和他老子朱元璋完全不同，為人寬厚仁慈，甚有明君之狀，后來他又被委以修元史的任務，擔任總裁官。
但朱元璋并不看重他，在朱元璋的心中，宋濂只是一個文人，寫點文章還行，并不能出謀劃策，所以他授予宋濂的最高官職只是小小的翰林學士（五品）。直到洪武十年（1377）宋濂退休，他的官職還只是學士。
朱元璋雖然沒有重用宋濂，卻相當信任他，這在很大原因上是由于宋濂的個。宋濂是出名的老實人，無論什么事，從來都是實話實說。朱元璋曾經感嘆過：宋濂侍候我二十年，沒有說過一句假話，也沒有說過別人一句壞話，真是一個賢人啊。
