从秦汉到宋元，虽然宰相的名称有不同、权力有起落，宰相制度却始终是皇帝制度的重要补充。但是，洪武十三年(1380)正月，明太祖朱元璋在以谋反罪杀左丞相胡惟庸后，直接废了明朝的宰相府——中书省，同时，将原来中书省下属的吏、户、礼、兵、刑、工六部由正三品提升为正二品，让其分掌政务，直接对皇帝负责。又将作为军队最高统率机构的大都督府一分为五，称五军都督府，分统在京各卫和地方各都司。接着，废除品秩过高的御史台，改设都察院，掌监察，品秩与六部尚书一样，正二品。这样，中央一级的权力结构宣告定型。
宰相制度的被废除，既是明朝国家权力结构的重大变化，也是中国古代国家权力结构的重大变化。明太祖对自己的这一改革进行总结：
自古三公论道，六卿分职。自秦始置丞相，不旋踵而亡。汉唐宋因之，虽有贤相，然其间所用者多有小人专权乱政。我朝罢相，设五府、六部、都察院、通政司、大理寺等衙门，分理天下庶务，彼此颉颃，不敢相压，事皆朝廷总之，所以稳当。以后嗣君并不许复立丞相，臣下敢有奏请设立者，文武群臣即时劾奏，处以重刑。(《明太祖实录》卷239)
