隋文帝即位后的整顿吏治，是从整顿和精简国家行政机构入手的。关于中央官制的改革，已如上述，而北朝的州、郡、县三级地方行政机构，问题亦相当严重，其主要表现为机构冗赘。
开皇三年（公元583年），由度支尚书出任河南道行台兵部尚书的杨尚希，目睹“天下州郡过多”，弊端百出，因而上表朝廷：
自秦并天下，罢侯置守，汉、魏及晋，邦邑屡改。窃见当今郡县，倍多于古，或地无百里，数县并置。或户不满千，二郡分领。且僚以众，资费日多，吏卒人倍，租调岁减。清干良才，百分无一，动须数万，如何可觅？所谓民少官多，十羊九牧。琴有更张之义，瑟无胶柱之理。今存要去闲，并小为大，国家则不亏粟帛，选举则易得贤才，敢陈管见，伏听裁处。
杨尚希的上表，对于地方行政机构冗赘弊端的抨击，可谓击中要害。隋文帝读过杨尚希的上表后，大为称赞，当即“罢天下诸郡”。在地方行政机构中，废除郡一级的建制，同时又省并了一些州县，只保留州、县两级地方政权。这就裁减了一大批冗官，不仅节省了国家的财政开支，又提高了地方行政机构的办事效率，有利于加强中央对地方的控制，为整顿吏治开创了十分有利的局面。
隋文帝的整顿吏治，主要表现在对官吏的选任、考核、升降和赏罚方面：关于官吏的选拔，由于曹魏以来的九品中正制度已走向反面，被隋文帝正式废除，命令每州“岁贡三人”。开皇十八年（公元589年），命“京官五品以上、总管、刺史，以志行修谨和清平干济二科举人”，把州郡僚佐的选授权由地方收归吏部，即所谓“当时之制。尚书举其大者，侍郎铨其小者，则六品以下官吏，咸吏部所掌自是，海内一命以上之官，州郡无复辟署矣。”选拔官员时，把“志行修谨”和“清平干济”作为考核和选拔官吏的标准，把德行和才干放在首位，而不是看出身门第，这无疑有利于选拔贤才到各级政府机关部门任职。
隋文帝曾多次下诏表扬良吏。例如：开皇元年（公元581年），下诏表扬岐州刺史梁彦光，不久又表扬相州刺史樊叔略、新丰县令房恭懿。开皇十一年（公元591年），临颍县县令刘旷因考绩名列天下第一，被晋升为莒州刺史。五年后，汴州刺史令狐熙于吏部考绩第一，赐帛三百匹。布告天下，予以褒扬。开皇二十年（公元600年）齐州行参军王伽，本是个微不足道的小官，州府令他押送李参等7名判处流刑的囚犯至京师。途中，王伽见流囚戴枷锁行路辛苦，便将犯人们的枷锁去掉，约定日期到达京师，并说如有逃脱，“吾当为汝受死”，然后令他们自行前往。流囚感激王伽，全部按期到京城报到，“一无叛离”。隋文帝闻知此事后，大为惊异，立即召见王伽，称赞良久。文帝令这7名流囚，携带妻子儿女入京，赐宴于殿庭，将7人一律赦免，并为此诏书天下：
凡在有生，含灵禀性，成识好恶，并识是非。若临以至诚，明加劝导，则俗必从化，人皆迁善。往以海内乱离，德教废绝，官人无慈爱之心，兆庶坏奸诈之意，所以狱讼不息，浇薄难治。朕受命于天，安养万姓，恩遵圣法，以德化人，朝夕孜孜，意在于此。而伽深识朕意，诚心宣导。参等感悟，自赴宪司。明是率土之人非为难教，良是官人不加晓示，致令陷罪，无由自新。若使官尽王伽之俦，人皆李参之辈，刑厝不用，其何远哉（《隋书·循吏·王伽使》）
于是，提拔王伽为雍令，王伽在雍令任上以政绩突出而闻名。
隋文帝在奖励良吏的同时，还依法严惩贪官污吏。他经常派人侦察朝廷内外的官员，一旦发现有违法行为便严惩不贷，甚至连他的儿子也不能例外。隋文帝的第三子杨俊，开皇二年时拜上柱国、河南道行台尚书令（正二品），洛州刺史，加右武卫大将军，领关东兵，时年仅12岁。据《隋书·文四子传》记载，“俊仁恕慈爱，崇敬佛道，请为沙门，上不许。”开皇六年，杨俊十六岁，任山南道行台尚书令，以山南道行军元帅，督三十总管，水陆十余万，屯汉口，为上流节度。在伐陈中，杨俊因军功而使“高祖闻而大悦，下书奖励焉”。然而，后来杨俊“渐奢侈，违犯制度，出钱求息，民吏苦之”。隋文帝派使臣察问此事，与此案“相连坐者百余人”。但是，杨俊非但毫无改悔，反而变本加厉，“于是盛治宫室，穷极侈丽”，被隋文帝召回京师，因其奢侈而免官。左武卫将刘升劝谏说：“秦王非有他过，但费民物营廨舍而已，臣谓可容。”
“法律不可违犯。”文帝回答说。
刘升还是劝谏，文帝愤怒变色，刘升才不敢再谏。后来，上柱国、御史大夫杨素又进谏说：
“秦王的过错，不应受此处罚，愿陛下详察。”
“我是五个儿子的父亲，何不别制天子儿律？以周公之为人，尚诛管、蔡，我诚不及周远矣，安能亏法乎？”
隋文帝没有答应杨素的请求，到最后也没有更改对儿子的处罚决定：
又如大司徒王谊，本是隋文帝的同学，旧交颇深，又是佐命功臣，其子娶文帝第五女。后因犯法，“公卿奏谊大逆不道，罪当死。”隋文帝见王谊，怆然说道：
“朕与公旧为同学，甚相怜愍，将奈国法何？”（《隋书·王谊传》）隋文帝为此下诏说：
“谊，有魏之世，早豫人伦，朕共游庠序，遂相亲好。然性怀险薄，巫觋盈门，鬼言怪语，称神道圣……此而赦之，将或为乱，禁暴除恶，宜伏国刑。”
于是赐死于家。
由于隋文帝对犯法官员的严加惩治，隋初官员贪污犯法的事情，相对来说是比较少的。
通过御史台这一监察机构来纠察官吏的失职违法行为，是隋文帝整顿吏治的又一内容。例如，李孝贞隋初任蒙州刺史，“吏民安之”。后来不安心于政事，“每暇日，辄引宾客弦歌对酒，终日为欢。”（《隋书·李孝贞传》），不久，被任命内史侍郎，与内史李德林参典文翰。由于不称职，隋文帝发怒而谴责他，并敕令御史弹劾他的过失，将他调任金州刺史。
隋文帝还经常派御史持节巡察州县。据《隋书·柳或传》记载，柳或为官清正廉直，不畏权贵，令商贩叹服，杨素怀恨；又曾多次上书言事，被文帝所采纳。隋文帝令柳或持节巡察河北52州，柳或“奏免长吏赃污不称职者200余人，州县肃然，莫不震惧。”文帝嘉奖柳或，“赐绢布200匹，毡30领，拜仪同三司。”一年多过后，加员外散骑常侍。隋文帝仁寿初年，柳或又持节巡察太原19州，回到京师后文帝又赏赐给他绢布50匹。
隋文帝为整顿吏治在精简地方行政机构、表彰与赏赐良吏、严惩贪官污吏、加强御史弹劾并派御史巡察州县等方面所作出的一些努力，确实收到了实效，使隋初的官场风气和吏治较为清明，连同对中央官制的改革以及对官吏选用、考核和奖惩方面所实行的一系列政策，这就为隋文帝所实行的其他改革、恢复和发展经济、统一南方和兴盛隋王朝，从组织路线上准备了必要的有利条件。
