不过到了后来，陆贽当了宰相，觉得李吉甫跟前任宰相走的太近，就把他贬为明州当官去了。这在封建社会是常有的事儿，也亏得李吉甫氏族出身，有荣辱不惊的气度。去了偏远山区照样努力工作。
陆贽绝对不会想到，他清除异己，打击、排斥李吉甫，三年后，同样的遭遇会落到他的头上。陆贽因遭到户部侍郎、判度支裴延龄的构陷排挤，也被逐出朝廷，贬为忠州别驾。更让他万万想不到的是，神使鬼差，他会落到李吉甫的手下。裴延龄为了继续打击和暗害陆贽，便起用李吉甫为忠州刺史，给李吉甫报复陆贽、出口恶气的机会。
就在大家都在等着看好戏的时候。李吉甫却把陆贽当作宰相来尊重，且与他推心置腹地交往共处。陆贽也确实给他出了不少力。二人合作很有政绩。
元和元年（806年）唐宪宗即位，李吉甫二次入朝，一直在偏远山区工作远离政治中心的李吉甫被唐宪宗一眼看中，而后不断升官，政治才能也就由此得到充分的发挥。
