1984年下半年，麦金塔的销量急速下降，Apple II的销售额依然占到了公司收入的70%。IBM的个人计算机市场份额在不断扩大。到了1985年，情况也没有好转，麦金塔销售业绩惨淡，看上去马上就要步Apple III和丽萨的后尘了。董事会一直相信麦金塔是Apple II的替代品，一定能打败IBM，然而现实并不乐观，CEO斯卡利和产品负责人史蒂夫似乎对此都拿不出什么好的解决方案。随着压力越来越大，史蒂夫和斯卡利待在一起的时间越来越少，也不再互相吹捧。这给史蒂夫带来了麻烦。
1985年3月，斯卡利要撤掉史蒂夫产品负责人的职务。史蒂夫为此劝了斯卡利好几周，用尽了威逼利诱的招数，这些招数以前对他的下属很管用。不过，斯卡利依然坚持要解雇史蒂夫，还把这件事在4月11日提交给了董事会。董事们无一例外全部站在了斯卡利一边，包括马库拉、罗克以及其他几位在史蒂夫身上投资颇多的人。史蒂夫把所有的心血都倾注在这家他一手创建的公司，而且取得的成绩有目共睹，如此降职对他来说无疑是毁灭性的打击。
几周后，史蒂夫决定不接受降职，他想反过来把斯卡利解雇。他告诉几个心腹，打算在阵亡将士纪念日那个周末把CEO解雇，因为那个周末斯卡利要去北京签协议，让苹果电脑进入中国市场。史蒂夫坚信自己的立场是正确的，还天真地把计划告诉了让–路易斯·卡西（Jean-Louis Gassee），卡西是负责欧洲业务的高管，之所以会来库比蒂诺，是因为斯卡利想让他取代史蒂夫。“我做了选择，”卡西回忆道，“当时我情愿和斯卡利共事，也不想和史蒂夫共事，史蒂夫完全不受控制。”卡西向斯卡利告了密，“如果你去中国，你就完蛋了。”斯卡利取消了中国之行，第二天开高管会议时，直接跟史蒂夫对峙。他让在场的高管做出选择，要么支持他，要么支持史蒂夫。在场的高管逐一解释为什么支持斯卡利。史蒂夫在一边看着，期待着有人支持他，结果希望却落空了。会议结束后，还处于震惊中的史蒂夫给他那几个心腹和朋友打了电话，告诉他们他输了。“我的算盘打错了。”那天下午，他给拉里·布里安特打电话，哭着向他讲述了高管团队是如何一个一个背弃他的。周末，斯卡利又给董事逐一打电话，董事同样不支持史蒂夫。到了周二，史蒂夫知道他在苹果的职业生涯算是结束了。到了周五，也就是5月31日，史蒂夫坐在公司礼堂的后排，看着斯卡利宣布公司管理层调整，卡西得到了提拔，而史蒂夫只保留一个董事长的虚职，没有任何实权，没有人向他汇报工作。这是史蒂夫的第二次降职，这一次已经无法挽回了。“史蒂夫身体里住着头野兽，”卡西说道，“80年代初，这头野兽把他给打倒了。”
史蒂夫的出局非常彻底，而且带有侮辱性。他的办公室被搬到了另一幢楼里，远离斯卡利、卡西和其他掌权的高管。他被派去俄罗斯推销Apple II，又以处理公司事务的名义被派去意大利、法国、瑞士。回到加州后，他去拜访了卢卡斯影业的制图小组（Graphics Group），制图小组的成员都是掌握了前沿技术的制图技术员，他们正在为《星球大战》的导演乔治·卢卡斯（George Lucas）工作。史蒂夫想到了高端3D图像的无限潜力，他向董事会提议从卢卡斯影业手里买下制图小组。“这群人的制图技术比我们先进得多，”史蒂夫事后回忆道，“他们遥遥领先，我从骨子里知道制图技术至关重要。”不过董事会根本不关心史蒂夫的想法，也就错过了收购制图小组的机会，制图小组就是后来的皮克斯（Pixar）动画工作室。史蒂夫虽然是公司的联合创始人，但董事会和高管做重大决定时，根本不再征求他的意见。
斯卡利想让公司朝更加市场化的方向发展。史蒂夫一直想让公司来决定市场的走向，但在斯卡利的领导下，公司逐渐开始屈从于客户的需求，产品性能的决定权从工程师手里转到了销售和营销人员手里。站在CEO的立场上，这个决定是可以理解的，之前公司的管理混乱不堪，想让公司运转得更为顺利，就不得不这么做。但是如此一来，就无法实现苹果最初的梦想，那么多员工慕名而来正是为了实现这个梦想，老员工更是无法接受战略的转变，特别是那些曾经经历过麦金塔开发过程中惊心动魄的大起大落的员工。一位员工接受《财富》杂志采访时说，“他们把苹果的心脏挖了出来，换上了一颗人工心脏。”苏珊·巴恩斯也感觉到公司变得越来越平庸，失去了竞争力。“我们误入歧途，”巴恩斯回忆道，“苹果的架构经历了重大调整，你得经过七层管理层才能找到工程师。一家技术公司变成这样是很危险的。”
史蒂夫开始考虑离开苹果。他花更多的时间陪伴女儿丽萨，也在思考如何才能让丽萨更好地融入他的生活。他在伍德赛德有套大房子，并亲手在院子里种植有机植物，还在考虑要不要去竞选公职，甚至想去报名参加太空之旅。他看上去更像是退休工人，而不是野心勃勃的30岁年轻人。巴恩斯回忆道，“有一天，他给我打电话说，我们本来约好了下周吃饭，但我得去欧洲，可能会在那儿待12个月。我说，不错啊，不过我今天工作不顺，没心情听你在巴黎和意大利的故事。”
他去欧洲处理了一些公司事务，顺便也参观了博物馆，享受了一把游客的乐趣。很多时候他都独自一人，或是带着女朋友。“创建苹果时，他才21岁，”巴恩斯说，“根本没时间思考自己到底想做什么。”现在，他有时间好好反思在苹果获得的经验教训，想想哪里做错了，为什么会让自己和公司陷入困境。从某种意义上来说，史蒂夫及其追随者的看法是对的：史蒂夫就是苹果的心脏，没有他，公司只能在平庸化的道路上越走越远。为什么事态会发展到如此不可控制的地步呢？
对于30岁的年轻人来说，进行反思并不是一件容易的事。在欧洲，他依然被视为主导了伟大变革的商业奇才，在拜访国家领导人、大学校长和艺术家的过程中，他更加觉得自己就是一位被官僚体制毁掉的杰出人才。这种自我膨胀同时又伴随着巨大的痛苦和不安全感，因为他被自己一手创建的公司赶了出来。那年夏末，他从意大利给巴恩斯打电话，语气中带有严重的抑郁情绪，巴恩斯甚至担心他会自杀。
但他回到美国后，立刻把注意力转到了一直擅长的事情上：设计下一个一鸣惊人的产品。9月初，他和诺贝尔奖获得者保罗·伯格（Paul Berg）见了面，伯格认为电脑的发展并没有推动科研进程，对此他很失望。麦金塔和IBM的个人计算机处理能力不足，无法完成他所需要的建模处理，大型机和小型机又太贵、太笨重，不适合实验室用。伯格的话让史蒂夫萌生了一个想法，电脑下一步的发展应该要满足像伯格这类客户的需求。巴恩斯和其他苹果员工一直在向他抱怨斯卡利的一意孤行，史蒂夫由此想到可以从苹果挖一些盟友过来成立一家新公司。在9月13日的董事会上，他把自己的计划告诉了斯卡利和董事会成员。
史蒂夫告诉他们，他要成立一家新公司，并带走一些“低级别”的苹果员工，新公司的目标是为高等教育市场设计一种全新的高端电脑“工作站”。他向董事会保证，新产品不会和苹果竞争。事实上，他还希望苹果能成为新公司的第一个投资者。
接下来一段时间，史蒂夫和苹果闹到了不可收拾的地步。斯卡利认为他想带走的员工绝对不是“低级别”的，董事会成员当着媒体的面骂他是骗子。很多全国性期刊比如《新闻周刊》又一次把史蒂夫当作封面人物。史蒂夫辞职了。苹果要起诉史蒂夫。
不过，这些闹剧都不重要。史蒂夫终究还是走了，他即将再次启程，再次着手设计下一代一鸣惊人的产品。