辞职的时候，他年约三十岁。他说：“和我同举孝廉的人，有年已五十的，看来也不算老，我就再等二十年，也不过和他一样，又何妨暂时隐居呢？”于是他就回到他的本乡谯县，在城东五十里，造了一所精舍（精舍是比较讲究的屋子。汉时的读书人，往往是住在精舍里的），想秋夏读书，冬春射猎，以待时之清。这可见得他的志趣，很为高尚，并不是什么热中于富贵利达的人；而他在隐居之时，还注意于文武兼修，又可见得他是个有志之士。
后来他被征为都尉，又升迁做典军校尉，这是武职了。他说：“我在这时候，又希望替国家立功，将来在墓道上立一块碑，题为汉征西将军曹侯之墓。”
不想朝政昏乱，并不能给他以立功的机会，而且还酿成了董卓之乱。他在这时候，就兴起义兵，去讨伐董卓。他说：“我要合兵，是能够多得的，然而我不愿意多，因为怕兵多意盛，和强敌争衡，反而成为祸始。所以和董卓打仗时，兵不过数千；后来到扬州募兵，也以三千为限。”
后来在兖州破降黄巾三十万，这是他生平做大事业之始。他又叙述他破平袁术、袁绍、刘表的经过，说：“设使国家无有孤，不知当几人称帝？几人称王？”这句话，我们也不能不承认他是实话。
下文，他就说：“人家见我兵势强盛，又向来不信天命（这是说做皇帝全凭本领、势力），或者疑心我有篡汉的意思，这是我耿耿于心的。从前齐桓公、晋文公所以为后人所称道，就因为他兵势强盛，还能够事奉周朝之故。周文王有了天下三分之二，还能够事奉殷朝，孔子称他为至德，我难道不想学他么？”他又引两段故事：
