约瑟夫一回国，立即被逮捕。
原来，约瑟夫在乘火车回国的途中，遇到了两个克罗地亚人。这两个人不知是从哪里钻出来的，他们冒充是从俄国归来的布尔什维克。他们跟约瑟夫说了许多布尔什维克革命的事，并不断地大骂资产阶级。但是，当列车进入南斯拉夫境内之后，这两个家伙改变了腔调。他们一起向约瑟夫发起攻击，并恶毒地咒骂约瑟夫。最后，他们向当局告发，说约瑟夫是一名布尔什维克。
就这样，约瑟夫与他怀孕的妻子一起，被抓进了监狱。
几天后，约瑟夫获释，共产党当时尚未被宣布为非法，何况外国的共产党呢？约瑟夫携妻子终于到达了自己的故乡扎果烈。
约瑟夫离开这里已经6年多的光景了。这6年之中，他的故乡发生了巨大的变化。他的家庭也发生了巨大的变化。库姆罗维茨的家中，只剩下了他的一个弟弟。他的父亲已经迁到附近的另一个村子去住。而约瑟夫的母亲，已于两年前离开了人间。
1920年冬，南斯拉夫进行制宪议会全国大选。共产党参加了竞选活动。此间，约瑟夫与党的组织接上了关系，并且作为党的候选人参加了萨格勒布议会的竞选。这期间，共产党的活动取得了明显的成效。党领导下或在党的影响下的工会会员已达25万人。党员人数达6万人，成为共产国际中的第三或第四大党。在工人接连不断的斗争下，8小时工作制被接受，工厂主也不能像以往那样为所欲为地对待工人了。党的影响还表现在其他方面。一个时期，党在军队中的影响不容忽视。贝尔格莱德卫戍部队的一支军队的全体成员宣布服从党的领导，统治阶级对军队的调遣发生了困难。在1919年6月匈牙利公社革命时期，亚历山大国王无法派军队去参加镇压公社的行列。这使南斯拉夫成为唯一没有派遣军队的邻国。农村的斗争也如火如荼。像约瑟夫的故乡扎果烈，农民在城里的工人和士兵的支援下，攻打了瓦罗日丁监狱，释放了前一段由于焚烧大地主庄园并分了他们的土地而被关押的300名农民。有人记载说，当时每天晚上都有一个城堡大火冲天，然后，无地和少地的农民便分到了地主的土地。
这种形势对共产党的竞选活动十分有利。选举的结果，共产党在萨格勒布获得了59席，成为议会中第三大党。在其他城市，如贝尔格莱德，共产党的胜利也是引人瞩目的。
当年“五一”节前夕，全国铁路工人和海员工人组织了大罢工。资产阶级政府用武力对付了罢工工人。在卢布尔雅那，政府命令警察向示威的工人开枪，当场有10名工人被打死，20多人受伤。这时，党的总书记西玛·马尔科维奇教授实行单纯的退却战略，提出“让我们不要激动”的口号，致使罢工以失败而告终。
罢工失败后，中央委员会采取“继续退却”的战略，下达指示，要工人“留在家里”，不要出门庆祝自己的节日。
统治阶级得寸进尺，加紧了对工人阶级的威逼。在萨格勒布，共产党人德利奇当选为市长。就在市议会开会听取市长的讲话时，警察冲进会场，不由分说，便把市长带走了。如此“带走”共产党议员的事件也出现在贝尔格莱德。
约瑟夫所在的工厂，工资原本就很低，每小时3个克朗，而一间小屋的租金是每月600克朗，也就是说，一个月的工资付了房租就所剩无几了。问题是，就是这点可怜的工资约瑟夫也拿不到了，他被工厂开除了。
1923年全国组织大选。报纸上登出了一条消息，说一批工人想提出自己的候选人参加竞选，而他们到法院去进行候选人登记时，警察局逮捕了他们。约瑟夫和萨比奇看到这条消息后，立即去刊登消息的报纸编辑部，打听这些工人的详情。约瑟夫他们一等被捕者获释，就立刻找到了他们。当初，那些人不暴露自己的身分，只是给了约瑟夫一袋传单，要他们去散发。后来获得了信任，那些人才把实情告诉给了约瑟夫他们。这样，约瑟夫与党建立了联系，负责当地农民工作。不久，约瑟夫被选为党的区委委员。这样，他接触的人员多了起来。
区委里有一名委员叫约西普·瓦伦塔，是个木匠。他在整个别洛伐尔区很有威望。他的工作单位是一农具厂。他已经成功地组织了4次罢工。但瓦伦塔患有肺病，他于1924年不幸病故。党的区委认为瓦伦塔是一名出色的无产阶级战士，决定隆重地为他举行葬礼。先前，他曾参加社会民主党，因此，社会民主党认为瓦伦塔也是他们的党员，也要参加他的葬礼。
在瓦伦塔的棺材上，放着由镰刀斧头图案组成的花圈。送葬的队伍很长。
在下葬时，党的区委代表发表演说，代表是约瑟夫。
“瓦伦塔同志，我们宣誓，为了实现你为之奋斗的理想，我们将毕生战斗，战斗到底。”约瑟夫就这样结束了自己的演说。
随后，一面红旗在瓦伦塔的墓上升起。参加葬礼的神父向警察局报告了此事。他认为共产党人组织的葬礼，打乱了他的宗教仪式。
警察进行了调查。他们找到了一个参加葬礼的锁匠。锁匠叫塞科维茨，是约瑟夫的好友。警察问他是谁在葬礼上发表了演说，锁匠拒绝回答问题。但警察知道讲演者是一名磨坊工人。于是，他们就到面粉厂找到了约瑟夫。
约瑟夫承认自己在葬礼上发表了演说，遭到了逮捕。警察把约瑟夫和塞科维茨锁在同一条链子上，带他们到别洛伐尔去。
塞科维茨身体很弱，他被拖带着，不时地摔跟头。他每次跌倒，铁链子就把约瑟夫拉一下。这样，弄得约瑟夫的手上鲜血淋淋。
约瑟夫他们在狱中呆了8天。幸好，调查官是一名希腊正教徒，他与告发约瑟夫的那名神父是敌对的。他在调查中，教给约瑟夫如何回答法官提出的问题。审讯中，约瑟夫按照调查官说的回答问题，果然被宣布无罪释放。出狱后，正赶上共和农民党因它的领导人出访莫斯科而被查禁。共和农民党转入地下。整个克罗地亚形势变得极为紧张。克罗地亚党的组织决定加强农村工作，令各级党组织收集武器，准备武装起义。约瑟夫他们接到了指示，他和萨比奇组织人力开始了收集武器的工作，他们把收集到的武器隐藏在山里的一个秘密地点。这些武器一直保存完好，到1941年反法西斯入侵时，当地游击队很容易地拿到了这些武器。
约瑟夫常常被委派到萨格勒布与省委进行联系。有一次，约瑟夫在省委遇到了省委书记柳博·拉多瓦诺维奇。他向拉多瓦诺维奇全面汇报了别洛伐尔地区的情况，他谈到了农民的情绪，共和农民党的活动情况，区党委与共和农民党地方组织联系的情况，以及收集武器的情况等。约瑟夫就适应当前形势、开展党的工作问题提出了自己的建议。
令约瑟夫感到惊异的是，省委书记当场拒绝了他的所有建议。约瑟夫得出结论：有这样的领导，南斯拉夫共产党永远也不会取得自己的政权。回来之后，约瑟夫把见省委书记的情况以及自己的见解，全部告诉了萨比奇。
1925年开始，克罗地亚的政治形势趋于紧张，共和农民党的领袖们遭到逮捕。党的领导人拉迪奇躲藏了一阵子，遂向当局自首，然后被投入监狱。而拉迪奇很快便做出了出卖农民斗争事业的决定。他发表声明，表示承认王国和国王亚历山大1921年的宪法。这样，共和农民党的所有领导人都获释出狱。共和农民党还参加了尼克拉·帕希奇的政府。
农民们深感沮丧，农村革命形势遂进入低潮。共产党当时还无力扭转这种形势。磨房的情况也出现了变化。磨房的主人、年迈的山姆尔·波拉克对约瑟夫从事的政治活动一直不加干涉。他公开对约瑟夫说：“你是一个很好的机器工人。我不管你在外面干什么。”但山姆尔·波拉克生病亡故了，磨房的产业由女婿奥斯卡·罗森堡继承。此人不但性格傲慢，而且贪图享受，他的开支不断增长，又无力多挣。于是，他就在工人身上打主意：减少工人的工资。这样，他就与工人们发生了冲突，而约瑟夫首当其冲。他把约瑟夫看作眼中钉。他对约瑟夫讲：要么你搞政治，要么你好生做工——二者你要选其一。他还串通警察，找约瑟夫的麻烦。他们差不多每个星期六都到约瑟夫的住处进行检查。
省委关心约瑟夫的处境，一些同志劝约瑟夫离开这里。最后，约瑟夫听从了省委会同志的劝告，离开了维立科·特洛茨伏村。离开的那一天，约瑟夫的所有朋友和熟人都来向他告别。大家站在村头，远远地望着约瑟夫离去。约瑟夫的心情也极不平静，他在这里生活战斗了4年零6个月，他开展工作，结交朋友，他的两个孩子也埋葬在这里。
约瑟夫在克拉列维察造船厂制造和修理蒸汽机和马达零件的车间找到了工作。
上工之后，约瑟夫便着手进行组织工会分会的工作。几个星期后，他被选为车间工会的领导人。此后，他恢复了由于警察恐怖而解散了的党的组织，并成立了工人体育协会。约瑟夫从特洛茨伏带来不少的书，他的家成了工人图书馆，通过这些图书，他影响并团结了越来越多的工人群众。
约瑟夫认为，最可影响和团结工人的莫过于组织工人为自己的实际利益而共同奋斗。在造船厂，厂方拖欠工人的工资已达半年之久。约瑟夫向党支部提出组织罢工、迫使厂方还清工人的工资的问题，党支部接受了约瑟夫的建议。他们向工人作了宣传解释工作，决定罢工两小时。
约瑟夫向工人们发表了演说。
约瑟夫入厂不久，就被选为车间工会主席。他对周围的工人熟悉很快，对情况的掌握也很及时。后来，人们在萨格勒布工会办的报纸上发现了约瑟夫写的一篇文章。当时的日期是1927年3月17日。铁托回忆说，这是他生平第一次在报纸上写东西。文章发表10天之后，约瑟夫被工厂解雇。
约瑟夫被解雇后回到了萨格勒布。他先在一家机械厂找到了工作，但很快就离开了这家工厂。当年，党的组织决定让约瑟夫担任萨格勒布五金工人工会书记的职务。随后，他又被指定为全克罗地亚五金工人工会的书记。从此之后，约瑟夫成为专业的工人运动行政人员。这对约瑟夫日后的发展具有决定的意义。
1927年6月天气炎热，约瑟夫又一次尝到了铁链子的滋味。这一次他与其他6个工人被串锁在一条铁链子上，在铁链子的末端被锁的，是一名跛脚的工人。也许是警察成心这样干的。这位跛脚工人赶不上快步前行的警察的步子，老是摔倒，而他每次摔倒，总是把其他6个人都牵倒在地。他们就是这样，倒了爬起来，爬起来再摔倒，直到上了火车。下了车，他们被送进了奥古林法院监狱。不久获释，返回了萨格勒布，在这里他再次被捕。并在10月14日宣布判决。约瑟夫·布罗兹被判处5年苦役，弗拉尼奥·诺沃塞利奇被判处3年苦役，安得里亚·博日契科维奇被判处2年苦役，其余无罪释放。
约瑟夫于1929年1月开始服刑。一开始，他被关在格萨勒布的一座监狱里。他曾试图越狱，但失败了。此后不久，约瑟夫被送进列波格拉瓦监狱。
列波格拉瓦监狱坐落在列波格拉瓦镇。小镇在伊凡奇卡山麓，离约瑟夫的家乡不远。此镇在古代闻名于全克罗地亚，因为它是当时克罗地亚科学文化中心之一。在17世纪，这里便出现了克罗地亚的第一所大学，这所大学由帕夫林教派所建。后来，当局把它改建成监牢。这所监狱的条件极差，狱方的残酷无情，也闻名遐迩。
监狱里有一个发电厂，这里发的电不但供监狱用，还可供村子里居民用。约瑟夫被选为该电厂的机师。
这工作给了约瑟夫很大的活动自由，他还被获准看书。这样又过了几个月，约瑟夫身边出现了对他的成长具有重大意义的变故。莫萨·皮雅杰从贝尔格莱德的米特罗维察监狱来到了这里。皮雅杰由于出版《共产党人》而被判刑20年。当局不想让这位危险人物在某一个监狱里呆得太久。这样，他从贝尔格莱德那边被押解到了这里。
约瑟夫久仰皮雅杰的大名，他知道皮雅杰是个西班牙犹太人，知识渊博，对党忠诚。他早就希望见到他。
皮雅杰对约瑟夫的种种表现，尤其是对约瑟夫1928年在敌人公堂上的表现早有耳闻，也希望见一见这个工人出身的同志。
俩人一见如故。经约瑟夫向狱中请求，莫萨·皮雅杰成为约瑟夫的帮手。这样皮雅杰也获得了较多的活动自由。约瑟夫与皮雅杰一起要干的，是在监狱里建立党的组织，并与外界的党组织取得联系。
党支部的主要任务是两条：一是领导狱中的斗争，二是组织大家学习，培养干部。学习的条件不好，没有教材，没有教师，但大家学习的劲头十足。党的组织很快与社会上地方党组织取得联系。这个任务也是由约瑟夫完成的。一是约瑟夫可以外出购物，二是约瑟夫要到监狱外面的居民当中去修理电器。当然，他外出时是有卫兵跟着的。
监狱的对门有一家咖啡店，咖啡店的楼上是住房。咖啡店老板是个克罗地亚妇女，她为人厚道，心肠好。她以帮犯人干事为荣。当她了解了约瑟夫的工作之后，便每隔两三个月让她房间的电灯“坏”一次，通知电厂派约瑟夫前来修理。当卫兵跟着约瑟夫到达时，老板便请卫兵在楼下喝一杯，由约瑟夫到楼上去“修电灯”。约瑟夫便借此机会与等在楼上的人谈问题。他可以向党的同情者进行宣传，可以向由萨格勒布来的党的负责人报告监狱情况，听取指示，也可以借此机会得到监狱中所需要的书籍及其他物品。
皮雅杰不但是位理论家，是文章高手，而且是一位画家。他作为电工的帮手，可以有更多的机会外出，从事他的绘画事业。他给约瑟夫画了一张像，这张像从这个监狱传到了另一个监狱。后来成为铁托战友的吉拉斯就是通过这幅画像认识了铁托的。
1931年夏天，当局将70名犯人从米特罗维察监狱转移到列波格拉瓦监狱。他们之中有35名政治犯，即被关押的共产党人。他们曾抗议监狱不人道的伙食条件：吃叫人立即生病的发臭的蔬菜和发霉的面包。宪兵与当局从闹事的人中挑出最危险的分子，把他们押解到了列波格拉瓦监狱。
35名政治犯的到来，使约瑟夫明白了，必须与狱方进行斗争，尽可能地把政治犯集中在一起，免受单人牢房之苦。
他们建立了狱中党组织——地方委员会。委员会有3人组成，约瑟夫是成员之一。
委员会的第一项工作就是与狱方交涉，让政治犯几个人住在一起。这项工作经过绝食斗争，取得了进展。
委员会的另一任务是组织犯人进行学习。约瑟夫自己则极充分地利用了这次学习的机会。他学了语言，先学了世界语，接着又学了英语。而更多的时间，是与皮雅杰一起切磋马克思主义的理论。当时，皮雅杰正在翻译《资本论》。
委员会还有一项任务是与外界进行联系。这种联系不但出于组织的需要，而且是出于思想建设方面的需要。政治犯身陷囹圄，心系国家。他们经常发问：外边，政治局势如何·外边，党是否还在活动·当知道外边党不但存在，党在活动，而且党一直关注狱中的同志时，大家就会觉得长期服刑、备受折磨还值得，今后的日子再长，也可以熬得过……
与外界联系的任务，大都落在约瑟夫的身上。在1931年4月的绝食斗争中，约瑟夫起到特殊的作用。这引起了当局的注意。当局遂做出决定，要使危险的约瑟夫离开列波格拉瓦监狱。
1931年6月，约瑟夫被解往马里博尔监狱。他依依不舍地离开了诸位战友，尤其是莫萨·皮雅杰。
约瑟夫来到马里博尔监狱时，狱中有4名政治犯。他们还被关在单人房间里。为了实现几个人合住的要求，4个人曾进行了长达10天的绝食，但狱方没有让步。
约瑟夫同样被关在单人房间里。但他终于想法与原来的4个同志联系上了。约瑟夫与大家商定，大家团结一致，持续不断地提出抗议，迫使狱方接受条件。通过斗争，没过一个月，狱方答应了5人合住的要求。他们合住后，立即组织了起来。
这里政治犯人不多，与外界的联系也很困难。组织起来的主要任务是进行自我教育和学习。
这里生活条件很糟：伙食差得难以下咽，房子里没有取暖设备，没有灯，臭虫多得吓人，而且没有法子捕捉、消灭。
在此与约瑟夫一起服役的乔拉科维奇回忆说，那时的约瑟夫，形容消瘦，面无血色，一身囚衣，看上去活像个苦行僧。乔拉科维奇说，约瑟夫很少笑出声来，但不笑则已，一笑纵情。
乔拉科维奇说，那时他们也有欢乐的时刻：围坐在一个想方设法才弄到的旧铁火炉四周，大家合抽一支香烟，自称是“资产阶级”；有时，布罗兹大谈布尔什维克革命——这是犯人得意的话题。有些夜晚他们组织晚会，先唱国际歌，接着唱其他革命歌曲，最后则哼起小调，开始还算柔和，最后是扯开嗓子大喊，直到警察前来干涉为止。
1933年11月的一天，约瑟夫得到了服刑期满的通知。
约瑟夫服刑期间，南斯拉夫政治进入了最黑暗时期。这时，不满的已不只是共产党人。1932年12月7日，农民民主联盟包括马切克在内的9名领导成员在萨格勒布开会，对时局进行了分析，并起草了《五点声明》，谴责1929年1月6日的独裁统治。
约瑟夫离开马里博尔监狱之后，实际并没有被立即释放。他又被送往奥古林。当局通知他，他还需在此服刑3个月。3个月后，他被释放。但警察告诉他，他必须回到老家库姆罗维茨去，而且永远不许离开那里，每天还须向乡主席报到。
约瑟夫于1934年3月底回到了家乡。回乡之前，他做了一身新装。他径直回到了家里，约瑟夫得知，他的兄弟德拉古丁·卡罗不久前刚刚死去。
当天，他向乡主席报了到。乡主席叫约瑟夫·朱拉克，与他从小就认识。约瑟夫一进乡主席的办公室，门就给关上了。乡主席首先对约瑟夫·布罗兹在法庭和狱中的杰出表现表示祝贺。这使布罗兹大吃一惊。随后，乡主席告诉布罗兹，他用不着天天前来报到。
约瑟夫在库罗姆维茨呆了几天之后，就去了斯洛文尼亚他外祖父家。他曾在那里度过了愉快的童年。
4月底，约瑟夫离开家乡。约瑟夫从家乡消失后警方立即发出逮捕令。
他去了萨克勒布。他化了装，把胡子刮了个精光，头发改变了颜色。一副金边眼镜，一身讲究的衣服，叫人看上去已不是原来的约瑟夫了。起初，他用“罗迪”这个名字，但因有同名者，遂又改为铁托。铁托这个名字在约瑟夫的故乡多被采用。铁托·勃莱卓伐茨基就是100年前果扎烈出来的著名作家，克罗地亚的伟大作家山道尔·热拉斯基的父亲也叫铁托。
到达萨格勒布后，铁托很快便与党组织接上了关系。重要的是他在法庭及狱中的表现得到承认：他被选为省委委员。
铁托进入省委之后，省委决定派他到维也纳去一趟，与中央建立正常联系的渠道。
铁托很快与中央接上了头，他见到了中央委员会的委员们。当时，中央书记是米兰·高尔基奇。他不到30岁，高大的身材，体格强健。见铁托到来，高尔基奇和其他中委很快将他围起来，犹如蜜蜂见到了蜂蜜。显然，他们迫切想知道南斯拉夫国内局势及党组织的状况。铁托详尽地向他们说明了一切。普通党员对党中央设在国外的意见，对中央委员会派回的人不断遭到逮捕、使国内组织受到破坏的意见，铁托也直截了当地讲了出来。
汇报之后，铁托接受了返回南斯拉夫组织召开克罗地亚和斯洛文尼亚党代表大会并筹备南斯拉夫党代表会议的任务。在维也纳，他给萨格勒布省委会写了到中央来的工作汇报，并将他被选为中央委员的消息告诉了省委。
铁托返回萨格勒布后，即着手组织克罗地亚及斯洛文尼亚党代会。克罗地亚的党代会按照中央要求的时限召开。过后，铁托向中央报告了会议情况，说代表们对代表大会印象特别深刻。但会议由于时间仓促，准备不足，以致资料准备不齐，代表们“毫无准备”而不能很好地发表意见。他说克罗地亚省委会将在实际工作中弥补这些缺陷。
铁托把大部分时间用在了斯洛文尼亚党代会的组织工作上。会前铁托首先改组了省委会。
代表会议于1934年9月15日至17日，在斯洛文尼亚主教罗兹曼建在卢布尔雅那以北8英里梅德伏德的避暑别墅里举行。
参加会议的共30名代表。代表们在别墅里吃住，主教的兄弟把丰盛的饭菜摆在饭厅里，桌子上铺着雪白的桌布，杯子晶莹透亮，上等的瓷碟上印有主教的纹章。他是因为与哥哥不和，被哥哥从城里赶到这里来的。
代表会议的宗旨是使斯洛文尼亚党的组织进一步活跃起来。因此，会议决定，党必须在各方面开展活动，以便加强工人阶级的战斗团结，以群众斗争的方式，反对独裁，争取民主和民族权力。
会上，铁托第一次与卡德尔及基德里奇见面。这两个人若干年之后成为以铁托为核心的南共政治局成员。
斯洛文尼亚党代表会议的成功举行，是铁托受中央委托完成的第一项重要实绩。会议结束不久，他又被召回维也纳。
到达维也纳之后，铁托得到了去莫斯科的通知，不过手续迟迟未办。这期间，铁托继续参与南斯拉夫党代会的筹备工作。
全南斯拉夫共产党代表会议于1934年12月24——25日在卢布尔雅那召开。地点是铁托曾躲避警察的一个公寓。共有11名代表，代表未经选举，而是由中央指定的。当时的条件尚不允许推选代表，政治形势极端恶劣，代表们随时都有被警察逮捕的危险。
会议着重讨论了开展青年工作的重要意义，并研究了开展工作的措施。此外，还听取了关于党的内外政策的报告。会议详尽地讨论了资产阶级各国发动反苏战争可能性的问题，并对党的行动策略提出了见解。
会议选出了以高尔基奇为首的新的中央委员会。铁托再次被选为中央委员，并被选为政治局委员。
高尔基奇与铁托没有赶上大会的开幕。他们是第二天赶到会场的。散会之后，会议代表分散着离开会场，踏着街道上的积雪，各自返回出发地。铁托返回维也纳，于1935年2月赴莫斯科。
本来，共产国际决定把铁托安排在工会红色国际。后来，征得了南斯拉夫共产党中央的意见，共产国际改变了决定，遂将铁托安排在巴尔干书记处。这一变更对铁托具有重要意义，因为如果他被分配管工会工作，或许他一生就只能做一名工会干部了。
对铁托来说，具有重要意义的，还有南共总书记的一封“介绍信”。这封信是高尔基奇写给乔皮奇的，信中说南斯拉夫共产党中央同意铁托做书记处的工作。
铁托很快发现，这里不比国内。在国内，党差不多处于无政府状态，他可以放开胆子，大干一场。这里就不一样了。在莫斯科，像他一样的人物，充其量只能作为权力金字塔的底座——如果不算上塔基的话——他的上边全是“婆婆”，因此，他必须慎言慎行。
铁托还利用一切机会结识各国党的领导人。这些人有：保加利亚著名共产党人格奥尔基·季米特洛夫，事实证明，他对铁托的政治前途起着关键的作用；德国共产党人威廉·皮克，他是铁托工作中的顶头上司；德国共产党人沃尔特·乌布利希；捷克斯洛伐克共产党人克利门特·哥特瓦尔德；法国共产党人莫里斯·多列士；意大利共产党人帕尔米罗·陶里亚蒂；美国共产党人埃尔·白劳德。铁托与白劳德是在公共浴室洗澡时第一次见面的。铁托与其他共产党人一样，在共产国际工作期间用了另一个名字。他那时叫瓦尔特。
瓦尔特在共产国际工作期间，正赶上共产国际第七次代表大会紧张的筹备工作。大会的召开在国际共运史上是一件大事。
大会的宗旨是结成广泛的统一战线，与法西斯主义作斗争。大会于1935年7月25日至8月20日在莫斯科召开，来自全世界的65个代表团400名代表参加了大会。
大会在莫斯科工会大厦圆柱大厅开幕。主席台上悬挂着马克思、恩格斯、列宁和斯大林的巨幅画像。
当唱罢国际歌，威廉·皮克致开幕词后，会场里顿时爆发出震耳欲聋的掌声和欢呼声：斯大林出现了。在代表们的欢呼声中，斯大林被领到自己的位子上，十分镇静地坐了下来。他的这种冷漠态度与代表们迸发出来的火一般的热情形成了鲜明的对照。
季米特洛夫与陶里亚蒂在会上做了报告。当报告人提到斯大林的名字时，会场总是爆发出“暴风雨般的经久不息的掌声和乌拉的欢呼声”。不过，斯大林没等会议结束就离开了会场。主席团没有向与会者说明他离开的原因。
这是铁托第一次见到斯大林。不用说，斯大林的形象给铁托留下了深刻的印象。会议的内容同样给铁托留下深刻的印象。因为会议确定了共产国际，也就是各国共产党策略的重大转变。
以往，各国共产党人总是被告诫要保持自己的纯洁性。共产党不要跟其他左翼政治派别实现联合，以免混淆无产阶级政党与资产阶级或小资产阶级的政党的界限，给工人群众带来消极影响。现在，共产党则要积极地团结和联合它们，以便结成广泛的统一战线，来反对法西斯和各国反动政府。共产党夺取政权这一根本任务没有改变，但它成为下一步的，或者是未来的长远目标。敌人的阵线也做了重新划分。原来是反对一切资本主义国家，所有帝国主义国家均为敌人。现在要承认某些资本主义、帝国主义国家，如英国、法国，还有美国，这对反对法西斯主义具有积极意义，其理论根据是这类国家具有“非侵略性”。
大会最后选举季米特洛夫为共产国际总书记南斯拉夫共产党组成了庞大的代表团出席大会。铁托是代表之一，而且担任着至关重要的职务秘书长。这一身份使他得以出席大会的各种会议以及各委员会的会议。这样，他不但可以熟悉人，而且可以学习、了解会议的组织工作，他的工作干得十分出色。最后提共产国际执委会委员候选人时，他是三名中的一个，而且在选举时，铁托的名字获得通过。但由于共产国际的领导认为这一职务理所当然的应由3名候选人之一的南斯拉夫共产党总书记高尔基奇来担任，因而出面干预，遂将铁托的名字划掉，而换上了高尔基奇。但高尔基奇没有当上正式执委，他只被认定为执委会的候补委员。
大会结束后，南斯拉夫共产党政治局在莫斯科召开会议。会议再次选举铁托为政治局委员。
铁托的妻子贝卢斯娃在铁托1929年坐牢时，由党的组织把她送到莫斯科。铁托来莫斯科后了解到，贝卢斯娃已经改嫁，她的新丈夫是苏共党的干部。对带来的儿子贝卢斯娃没有抚养，苏联另一位好心的妇女收养了他。
1935年5月，南斯拉夫举行普选。共产党领导机关在如何对待普选的问题上再次发生严重分裂。普选时，共产党仍然处于非法状态。当初，总书记高尔基奇发出指示，要共产党通过党控制的合法组织劳动人民党提出自己的候选人。但指示发出不久，高尔基奇又收回成命，要求共产党员与以农民党为核心的反对党候选人一起活动，并且投他们的票。表面上看，这符合共产国际的新方针，但却严重脱离南斯拉夫实际。一方面，农民党领袖马切克拒不接受与共产党的这种合作，而另一方面，农民党也未能在选举中获胜。在选举中获胜的，是亲纳粹的右派头子米兰·斯托亚季诺维奇。他出任首相后，因共产党暗地里参加反对派，遂变本加厉地对共产党进行了镇压。而党的组织又正好给新的镇压提供了口实。
锡萨克的党组织组织了一次工人集会。结果，集会失控，出现了亲苏示威，示威者提出了建立苏维埃克罗地亚的要求。政府加紧了对党的活动的侦察。此后不久，党中央组织书记奥吉耶·米特洛维奇被捕。他并没有出卖组织和同志，但要命的是，他被捕时身上带着党的积极分子名单。这名单没有来得及进行处理，便落入警察之手。于是，警方很容易地将分散在全国各地的3000多名共产党积极分子中的960余名捉拿归案。通过审讯，政府掌握了有关党的组织和党的活动的大量情报。这样，处于非法状态的共产党似乎一下子被摧垮了。
1936年4月，趁高尔基奇不在的情况下，乔皮奇召集在布拉格与维也纳的中央委员们开了一次会议。乔皮奇的这一活动，不但没有请示高尔基奇，也没有请示共产国际。
共产国际发现乔皮奇的这一活动后，遂对南斯拉夫党的中央机构采取了断然措施：解散中央委员会，选举新中央。说是选举，实际是任命。总书记仍由高尔基奇担任，铁托则被选为组织书记。这组织书记就是党的第二把手。时势给了铁托一次关键性机会。
反对高尔基奇的乔皮奇等人被清除出了中央委员会。铁托还构不成高尔基奇的反对派，但在两个原则性问题上，两个人之间产生了分歧。第一，铁托力主把党的领导中枢由国外迁到国内；第二，不要再从共产国际领取党的津贴。对这两点建议，高奇基奇持强烈的反对态度。最后，他们在第一个问题上达成了妥协；将中央分成两部分，作为党的政治书记，高尔基奇仍留在国外，作为党的组织书记，铁托回国工作。
铁托于1936年离开莫斯科，高尔基奇给铁托准备了一个护照，并给铁托安排了回国的路线。
铁托十分警觉。他了解到，凡是按高尔基奇指示的路线回国的，全部在南斯拉夫边境上遭到了逮捕。铁托提防着高尔基奇的暗算。于是，他自己准备了另一个护照，并且选择了另一条路线。
铁托在维也纳和巴黎呆了些日子，于1936年年底回到了南斯拉夫。铁托的急切的任务，是重新建立起党的组织系统。事实证明，这是一项十分艰巨的任务，甚至是令人望而生畏的。警方的方针是打进共产党的组织，甚至打进最高层，从而不断地弄到他们所需要的情报，以便对共产党聚而歼之。事实证明他们这一手很是成功。因此，共产党刚刚把党的组织建立起来，马上就会来一次逮捕，党的领导和活跃分子被一网打尽。这一状况一再发生，除了最大胆或最莽撞的人之外，谁还敢继续在党内干下去·铁托认识到问题的严重性，也认识到问题的危险性，但任务是非完成不可的，关键是要有办法对付警察搞的阴谋。
回国后的几个月，铁托全力以赴地在进行这方面的工作。
铁托的合法身份是一名工程师。可以说这一角色他扮得是十全十美的。这位“工程师”富有“成就”，因此生活相当“富裕”。这种情况才能使他接连不断地外出，在各地跑来跑去，会见并结识各种各样的人。
1937年头几个月，他奔走于斯普利特、萨格勒布、斯洛文尼亚、门的内哥罗各地，恢复旧有的关系，物色新的人才。
铁托活动的中心是萨格勒布。这里的警察力量比贝尔格莱德弱得多，而这里的情况他十分熟悉。但萨格勒布的党组织被彻底捣垮了。铁托必须重新建立党的指挥中心。不过，铁托并没有急着把新班子组建起来。他决定等一等，等把警察可以利用来找到省委新领导的线索全部中断之后再说。在此情况下，铁托利用每一个部门的合法的工作形式进行工作，委任这些部门的领导，使他们直接与他本人进行联系，而暂不建立组织系统。如工会是合法的，铁托便指定某几个人组成工会委员会，在工人中开展党的工作。这一形式延续了相当长的时间，然后才组建了党的省委会。
1937年8月1日夜半时分，克罗地亚地区的19名代表在铁托的主持下，在萨莫博尔郊外的一个树林里召开代表会议，选出了由12名委员组成的克罗地亚中央委员会。所以称“中央委员会”，是在执行1934年共产国际的决定。那时共产国际决定克罗地亚要成立独立的党组织。而这个委员会的领导工作，铁托交给了弗拉吉米尔·巴卡里奇。他的父亲作为法官，曾经审讯过铁托。其他地区的党组织的情况与克罗地亚不同，铁托根据不同的情况，采取不同的做法，逐步建立健全了党的组织系统。
铁托后来在巴黎得知，党的总书记高尔基奇已经被召到莫斯科，而且在那里“失踪”。
人们对总书记究竟犯了什么罪，而受到如此严厉的处置，众说纷纭，但不管怎么说，南共党又受到了挫折，对于这一点，大家的认识是一致的。随之而来的问题是，南共总书记出现了空缺。谁将担任此职，坐上党的第一把交椅？南共是以派别纷争闻名的。在共产国际，流传着对南共的这样一种评价：两个南斯拉夫人——三个派别。
总书记的空缺，使南共的派别活动又变得激烈起来。本来，铁托作为组织书记、党的第二把手，在总书记的职位出现空缺时，依次填补上这个空位是自然而然的事。但是，要做到这一点，铁托还必须经过艰苦的争斗。对于党内的这种形势，铁托心里明明白白。
到达巴黎之后，铁托立即召开了中央委员会会议。在中央委员中，以及在中央委员会周围，都有铁托的反对派。
铁托明白，南斯拉夫革命的前途不在巴黎，而在国内。但当时他还不可能把中央委员会迁入国内。在此情况下，等中央委员会这边的情况稍一平稳，他便离开巴黎，回到了南斯拉夫。他必须建立自己的牢固的根基，要回来整顿党的组织，开展工作，树立自己的权威。
他感到庆幸的是，在国内开展工作，他已经物色到了一批人，他可以较从容地建立以自己为首的领导核心了。
1938年3月12日，萨格勒布警察当局收到一份密报，说南斯拉夫共产党领导人约瑟夫·布罗兹·铁托将回到萨格勒布。警方得到的报告说，铁托用的是一份假护照，护照上的名字是工程师约瑟夫·托马尼克。警方得到这一情报之后欣喜若狂。他们说这一次可要网一个大鱼了。
在克罗地亚与意大利交界的边境上，在斯普利特港和杜布罗夫尼克港，在认为一切铁托可能出现的地段，南斯拉夫警方都加强了警戒。
可是，铁托早于3月底以前抵达贝尔格莱德。
他用的并不是工程师约瑟夫·托马尼克的护照。他是以一名富有的旅游者的身份入境的。警察没有对他产生任何怀疑。不过，他到达贝尔格莱德住进一家旅馆后，曾受到一名便衣警察的盯梢，原因可能是那个警察认为铁托那头红色的头发不太地道。铁托发觉自己被盯梢后，比较轻易地甩掉了那个蠢货。
铁托心里还明白：虽然南斯拉夫革命的前途不在巴黎，也不在莫斯科，而在南斯拉夫国内，但是，这个革命无论如何也不能绕过莫斯科。党处于关键时期，必须处理好与莫斯科的关系。他所设想的一切，必须得到莫斯科那边的首肯。
6月，他果然收到了季米特洛夫要他去莫斯科的命令，接到去莫斯科的命令后，铁托即刻动身赴巴黎，在那里等待去莫斯科的入境签证。
7月，他从巴黎给季米特洛夫发了封信。
在信中，铁托向季米特洛夫报告了马里奇和库索瓦茨的阴谋活动，并且报告说，他已经撤去了他们的党内职务。铁托说，但事情并没有完结。马里奇一直在夸口，说他得到共产国际的信任。铁托在信中说，他怀疑共产国际中确实有人在支持马里奇他们，因为据说共产国际的某些官员曾背着他与马里奇等开过会。对此，铁托十分生气。
1938年8月，铁托终于等着了入境签证，登上了赴莫斯科的旅程。8月24日到达莫斯科。
这时，斯大林的镇反正在加紧进行，共产国际也受到了洗劫。卢克斯旅馆的房客中许多人被捕。
铁托来莫斯科还接受了一项任务：帮助外文出版社完成《联共（布）党史》塞尔维亚—克罗地亚文的翻译工作。他的两个对头——乔皮奇和约瓦诺维奇已经先期到达。铁托协助他们完成这项任务。他仍然是慎言慎行，但这次情况与上次已经不同。这次任务十分明确，就是来为党，也为自己的地位、为自己的生命战斗。他绝不打算认输。
铁托等待着季米特洛夫的接见。但他来了两个月的光景，却仍未能见到季米特洛夫。10月17日，他再次写信给季米特洛夫，要求季米特洛夫接见，并要求“就我们的问题”作出决定。他在信中强调，“这次会见不仅对我个人，而且对于我们党的发展都将具有历史性意义”。3天后，季米特洛夫接见了铁托。
对季米特洛夫提出的问题，铁托做了肯定的答复，并且当面系统地向季米特洛夫汇报了他前一段在南斯拉夫为恢复党的组织所作的努力，以及由此而取得的明显成效。季米特洛夫告诉铁托，他一直相信铁托所陈述的这些事实。而正是这些事实，才避免了南斯拉夫共产党被解散的命运。最后，铁托又一次向季米特洛夫陈述党的领导设在国内的重要性。季米特洛夫同意铁托的见解。
季米特洛夫通知铁托，他已经被委任为南斯拉夫共产党的临时总书记，因为这一职务尚须执委会会议最后批准。
铁托回国后，立即投入整顿和健全党组织的艰苦斗争。
1939年的夏季某一天，铁托收到了负责安排旅苏的共产国际巴黎办事处的一封信。信中说季米特洛夫有令，要铁托在7月底之前去苏一趟。信中说，季米特洛夫本人的指示写在一张纸片上。小纸片藏在一本书里，将由交通员把书带给在贝尔格莱德的洛拉·里巴尔，然后再由洛拉·里巴尔交给德迪耶尔，后者再交给铁托本人。铁托按事先约定，要到德迪耶尔家去取那本书。铁托赶到时，德迪耶尔的妻子正在书房里会客。铁托乔装成工程师巴比奇。他只好陪着德迪耶尔的妻子及她的朋友聊天。从文学到音乐，足足聊了一个小时，德迪耶尔妻子的客人才离开。客人一走，铁托便与德迪耶尔打开那本书，取出季米特洛夫的便条。
6月底，铁托乘船离开南斯拉夫，8月才到达苏联。铁托到达时，正值宣布苏德互不侵犯条约。
原来，铁托被召到莫斯科，主要是来接受苏方的宣传口径，正确对待苏德条约的签订。
苏方的做法非常巧妙。苏共联络部的高级干部、驻共产国际代表马努伊尔斯基把包括铁托在内的各国党的代表召集在一起，给大家布置了一份“作业”：根据当前形势，各人为本党写一份宣言，规定党的活动方针。
铁托认为问题是十分明确的：希特勒想通过条约使苏联保持中立，以利于德国在欧洲的征战；而苏联则希望通过条约的签订保持较长时期的和平，这并不改变法西斯是主要危险的论断。
铁托按此思想很快写了一份宣言，并按规定的时间去了会场。而耐人寻味的是，只有铁托写就了“宣言”。其他党的代表都交了白卷。
铁托宣读了自己的“宣言”。马努伊尔斯基很高兴，连声叫好。并在最后对大家说，各党的“宣言”中不必提到苏联，只写法西斯对本国造成的危险。他明确说，苏联与德国签约，是政策和策略的问题。每个国家必须注意法西斯进攻的危险，一旦遭受到这种进攻，就要坚决地进行抵抗，直到胜利。
铁托在莫斯科还最终完成了《联共（布）党史》塞尔维亚、克罗地亚语译本的付排工作。这占去了他大部分时间。
1940年1月，铁托终于被允许回国。但是在路上他遇到了麻烦。他乘船从敖德萨出发，到伊斯坦布尔后再乘火车进入南斯拉夫。
两天后，铁托到达萨格勒布。他下车后迅速消失在人流之中。这已是1940年3月底，他在旅途上花去了三个月的时光。几天以后，铁托在萨格勒布的一家报纸上看到一则消息：“萨伏亚伯爵号轮船在直布罗陀为英国当局所扣留，因为船上有一名叫做斯皮里敦·梅卡斯的可疑人物。美国乘客对于这一行动提出了抗议，因为轮船可能因此而晚点。”
这时，希特勒的军队接二连三蹂躏了许多欧洲国家，而且对南斯拉夫的包围圈越来越紧，南斯拉夫卷入战争只是时间问题了。在此情况下，原来决定要召开的党的代表大会一定要刻不容缓地进行筹备。
首先，铁托向各地党的组织发出指示，让基层组织召开会议选举代表或指定代表参加地区会议，地区会议再选出参加全国代表大会的代表。全国共需选出出席代表大会的代表101名。选举代表当然是十分重要的。铁托亲自出席了许多地区会议。代表大会的会议地点是铁托亲自选定的。它处于萨格勒布郊外，这是一幢很大的房子。工作人员把其中的两间打开，作为大会会场。它的一端设有主席台，主席台的墙上悬挂着马克思、列宁和斯大林的巨幅画像。
承担大会各项准备工作的是一个专门成立起来的工作小组。铁托亲自领导了这个小组。小组工作人员，还包括克罗地亚中央委员会书记拉德·康查尔，还有一名专门的司机。
10月18日，代表们全部到齐。大家一起挤在那幢房子里，等待大会的开幕。到达后，每位代表都填写了大会制定的表格。从登记表统计，101名代表中有工人33名，农民14名，知识分子29名，雇员5员。代表的平均年龄为33岁。其中80名代表曾遭警察逮捕过，42名在狱中服过刑。
大会于10月19日上午8时30分开幕。
在狱中度过14个年头后又在比累恰的政治犯集中营关了几个月、新近获释的莫萨·皮雅杰致欢迎词，宣布大会开幕。主席台上就座的，除莫萨·皮雅杰外，还有铁托、卡德尔、里巴尔和共产国际的代表梅托迪耶·沙托罗夫。
铁托作了主题报告。他总结了“四大”之后党的工作，分析了党面临的形势，提出党的战斗任务。他还以相当大的篇幅谈了党的干部问题。
大会最后选举产生了由29人组成的新的中央委员会和由7人组成的新的政治局。新当选的政治局委员有：约瑟夫·布罗兹·铁托、爱德华·卡德尔、密洛凡·吉拉斯、亚历山大·兰科维奇、伊万·米卢蒂诺维奇、拉得·康查尔、弗兰茨·莱斯科舍克。
1940年10月，意大利进攻希腊。德国援助意大利，向南斯拉夫施加压力，强行要求南斯拉夫允许德国的战争物资过境。这实际上是在破坏南斯拉夫的中立政策。随后，德国进一步向南斯拉夫施压，干脆要南斯拉夫参加三国公约。
英国也同时向南斯拉夫施加压力，要求它不要参加轴心国。但英国人的压力远远比不上德国的压力大，手段也远比德国差。德国人不但晓得英国的意图，而且了解英国人的具体做法。因为英国的行动是通过美国驻贝尔格莱德的特别密使威廉·唐诺文进行的，而唐诺文的密码已为德国人所破译。
1941年2月，德国占领罗马尼亚，3月又占领保加利亚；对南斯拉夫的包围圈正在合拢。而德国人的外交攻势也在加强：2月14日，希特勒召见茨维特科奇本人，当面要求他参加轴心国。3月4日，又召保罗亲王见他，强命保罗回国向内阁施加压力。3月6日，保罗亲王向内阁施压。结果，8名内阁大臣投票同意签署加入轴心国的条约。3月23日，德国驻贝尔格莱德大使通知南斯拉夫政府说，希特勒要求条约在48小时之内签署。3月25日午后，首相茨维特科维奇和外交大臣青察尔—马尔科维奇在条约上签了字。3月26日，英国广播欧洲联播网向南斯拉夫播送了利奥波德·艾默礼的一篇演说：
如果（南斯拉夫）人民清楚表明他们认为参加轴心国条约便是出卖荣誉和独立，那么，政府肯定有责任在该条约批准之前同人民商量。不，要这样做还为时不晚。南斯拉夫的整个前途正处于一发千钧的危急关头。
事实上，进攻南斯拉夫的时刻在日益逼近。
在战争危险日益逼近的形势下，对于南斯拉夫共产党来说，最重要的是备战，唤起民众警惕并迎接战争的到来。
