在西汉十一帝中，除开国皇帝汉高祖刘邦“兴于布衣”外，其余嗣位之君，唯有汉宣帝有与乃祖刘邦相似的闾里生活经历。宣帝早年的遭遇及在民间的生活经历，加之本人性喜游侠，兼具“儒生”气质，因而对百姓疾苦及吏治得失有所了解，对其一生性格的形成，即位后的施政方针，以及政局走向皆有深刻的影响。
宣帝幼年生活可谓多灾多难，由于巫蛊之祸的爆发，其祖父母卫太子与史良娣，父亲史皇孙、母亲王翁须，或自杀，或死于狱中。是时宣帝方生数月，也不免牢狱之灾，“坐收系郡邸狱。”时为廷尉监的丙吉“治巫蛊于郡邸，怜曾孙之亡辜，使女徒复作淮阳赵征卿、渭城胡组更乳养，私给衣食发，视遇甚有恩。”宣帝在吉丙的庇护下，度过五年的狱中生活。出狱后，治狱使者丙吉“怜皇曾孙无所归，载以付史恭（史良娣之兄）。恭母贞君年老，见孙孤，甚哀之，自养视焉。”由老迈的太祖母抚养年幼的宣帝，其困窘之境可想而知。
宣帝处境真正有所改善，则是在“有诏掖庭养视，上属籍宗正”之后。“掖庭养视”，可以保证宣帝衣食无怃；而“上属籍宗正”，则是正式承认宣帝的皇室身份。汉宗正始设于高祖七年（前200），其目的为“以序九族”，以保证刘氏血统的纯正。在处理与刘氏宗室相关事宜中，宗正是一个不可或缺的角色。如昭帝始元元年，大将军霍光闻燕王刘旦图谋不轨，遣宗正与太中大夫公户满意及侍御史两人同至燕国“风谕”刘旦。宗正职掌宗室事务，于是见刘旦时“为陈道昭帝实武帝子状”，以消除刘旦“我安有弟在者”的疑惑，凡此可以证明宗正在处理刘氏宗室事务中的重要作用。宣帝属籍于宗正，对于最终取得皇位是至关重要的因素。
宣帝究竟何时“有诏掖庭养视，上属籍宗正”，史载不一，据《汉书·外戚传》，宣帝“积五岁乃遭赦”，并由太祖母贞君抚养一段时间后，方“有诏掖庭养视，上属籍宗正”，按时间推测，应在昭帝年间。然而，据《汉书·丙吉传》，光禄大夫丙吉议立宣帝时有“遗诏所养武帝曾孙名病已在掖庭外家者”云云，所谓“遗诏”，当是指武帝之“遗诏”。又据《汉书·霍光传》，霍光与丞相张敞联名奏请立刘询为帝时明确曰：“孝武皇帝曾孙病已，武帝时有诏养于掖庭”。显然，丙吉、霍光等人坚持认为武帝时就有“遗诏”养宣帝于掖庭，上属籍于宗正，无非是为拥立宣帝提供一个权威的解释，所谓“《礼》曰：‘人道亲亲故尊祖，尊祖故敬宗。’大宗（指昭帝）亡嗣，择支子孙贤者为嗣。”正是出于这样的政治目的，故将宣帝“有诏掖庭养视，上属籍宗正”，归结于武帝之“遗诏”。
但是，对是时宣帝而言，其诏出于武帝还是昭帝并不重要，重要的是“有诏掖庭养视，上属籍宗正”，标志宣帝的身份发生根本性改变，从一“得罪先帝”的“罪人”的后嗣，不仅恢复了刘氏宗亲的身份，并且可以居住于长安城中的尚冠里。尚冠里是当时权贵的一个居住区，霍光兄孙霍云在尚冠里就有住宅。更为幸运的，是时的掖庭令张贺尝事戾太子，巫蛊之祸时坐罪当诛，因其兄张安世上书求情“得下蚕室。后为掖庭令，而宣帝以皇曾孙收养掖庭。贺内伤太子无辜，而曾孙孤幼，所以视养拊循，恩甚密焉。及曾孙壮大，贺教书，令受《诗》，为取许妃，以家财聘之”。这段养于掖庭的经历，对宣帝游侠习性与儒生气质性格的形成具有重要的意义。《汉书》卷8《宣帝纪》载：
受《诗》于东海澓中翁，高材好学，然亦喜游侠，斗鸡走马，具知闾里奸邪，吏治得失。数上下诸陵，周遍三辅，常困于莲勺卤中。尤乐杜、鄠之间，率常在下杜。时会朝请，舍长安尚冠里，身足下有毛，卧居数有光耀。每买饼，所从买家辄大雠。亦以是自怪。
所谓“游侠”，司马迁将之曾概括为：
《韩子》曰：“儒以文乱法，而侠以武犯禁。”二者皆讥，而学士多称于世云。至如以术取宰相卿大夫，辅翼其世主，功名俱著于《春秋》，固无可言者。及若季次、原宪，闾巷人也，读书怀独行君子之德，义不苟合当世，当世亦笑之。故季次、原宪终身空室蓬户，褐衣疏食不厌。死而已四百余年，而弟子志之不倦。今游侠，其行虽不轨于正义，然其言必信，其行必果，已诺必诚，不爱其躯，赴士之厄困，既已存亡死生矣，而不矜其能，羞伐其德，盖亦有足多者焉。
可见汉时所谓游侠，就是活跃于民间，以“其言必信，其行必果，已诺必诚，不爱其躯”相标榜的一些人物。尽管游侠从来不是一个稳定的、有组织的社会集团，但他们可以凭借其财产与声望，在社会上造成较大的影响。所谓“喜游侠”者，充斥于社会各个阶层，武帝时以直谏著名的大臣汲黯，史称“好游侠，任气节，行修洁。其谏，犯主之颜色”。至于一些权臣与诸侯王，结交游侠一类人物也蔚成风气。所以班固曰“及至汉兴，禁网疏阔，未之匡改也。是故代相陈豨从车千乘，而吴濞、淮南皆招宾客以千数。外戚大臣魏其、武安之属竞逐于京师，布衣游侠剧孟、郭解之徒驰骛于闾阎，权行州域，力折公侯。众庶荣其名迹，觊而慕之”。经过武帝时期的严厉打击，族诛大侠郭解之后，统治阶层原先普遍存在的崇侠风气有所改观，史谓“自魏其、武安、淮南之后，天子齿，卫、霍改节”；但在民间，喜好或崇尚游侠风气依然存在。《宣帝纪》谓宣帝“然亦喜游侠，斗鸡走马，具知闾里奸邪，吏治得失”，正是在这种社会风尚影响下形成的。至于宣帝在民间最主要的活动区域——三辅与诸陵，从社会风尚上讲，崇侠是一种普遍存在的现象。班固述及秦地风俗时曰：
汉兴，立都长安，徙齐诸田，楚昭、屈、景及诸功臣家于长陵。后世徙吏二千石、高訾富人及豪桀并兼之家于诸陵。盖亦以强干弱支，非独为奉山园也。是故五方杂厝，风俗不纯。其世家则好礼文，富人则商贾为利，豪桀则游侠通奸。
三辅与诸陵是观察汉代社会风尚的一个最好的窗口。由于建都及徙陵的缘故，三辅及诸陵地区成为高訾富人、豪桀并兼之家、权臣贵戚集中居住区域，所谓“其世家则好礼文，富人则商贾为利，豪桀则游侠通奸”，是对该地风尚的高度概括。宣帝即位前遍游三辅及诸陵，不仅对于喜好游侠习性的形成有所裨益，而且可以深入观察民间生活，“具知闾里奸邪，吏治得失。”这与宣帝即位之后，极力推行循吏政治与试图“尚德缓刑”，具有密不可分的源流关系。
除喜好游侠之外，宣帝早年所受的儒家教育，对其儒生气质的形成具有重要的意义。对于刘氏子孙的教育，从汉初时起就受到最高统治者的重视，尽管这一教育不一定是儒学教育。例如“窦太后好黄帝、老子言，景帝及诸窦不得不读老子，尊其术”就是典型一例。然而自武帝推崇儒术来，儒学成为刘氏子孙受教育的主流，其中亦不排斥其余诸家，从宣帝祖父戾太子所受的教育中即可反映出这一现象，“少壮，诏受《公羊春秋》，又从瑕丘江公受《榖梁》。及冠就宫，上为立博望苑，使通宾客，从其所好，故多以异端进者。”对武帝为太子立博望苑，使通宾客事，宋人司马光以为这是导致太子败亡的一个重要原因：
古之明王教养太子，为之择方正敦良之士，以为保傅、师友，使朝夕与之游处。左右前后无非正人，出入起居无非正道，然犹有淫放邪僻而陷于祸败者焉。今乃使太子自通宾客，从其所好，夫正直难亲，谄谀易合，此固中人之常情，宜太子之不终也。
尽管戾太子败亡的原因比较复杂，但“多以异端进者”，毕竟不是刘氏子孙所受教育的最好方式，从昭帝始元五年所颁布诏令，“朕以眇身获保宗庙，战战栗栗，夙兴夜寐，修古帝王之事，通《保傅》，传《孝经》、《论语》、《尚书》”云云来看，儒学教育从是时起真正成为刘氏子孙所受教育的主流，所谓“异端”则明显被逐出教育体系。
宣帝所受教育情况则比较特殊，从本纪及《张安世传》看，宣帝最初“受《诗》于东海翁”，是由掖庭令张贺出私财助之，至于所受其他儒家诸经，末见记载，故丙吉在举荐宣帝时笼统地说“通经术，有美材，行安而节”，而霍光与张安世则具体拉出宣帝所受儒家教育的“清单”，“师受《诗》、《论语》、《孝经》，躬行节俭，慈仁爱人”。从中不难看出，霍光等权臣特意强调宣帝由于经过儒家系统教育，具备了“躬行节俭，慈仁爱人”的“美行”，因此“可以嗣孝昭皇帝后，奉承祖宗庙，子万姓”。宣帝所具备的儒家气质，是得到霍光等权臣认可，并顺利即位的一个重要原因。
