不过到了后来,陆贽当了宰相,觉得李吉甫跟前任宰相走的太近,就把他贬为明州当官去了。这在封建社会是常有的事儿,也亏得李吉甫氏族出身,有荣辱不惊的气度。去了偏远山区照样努力工作。
陆贽绝对不会想到,他清除异己,打击、排斥李吉甫,三年后,同样的遭遇会落到他的头上。陆贽因遭到户部侍郎、判度支裴延龄的构陷排挤,也被逐出朝廷,贬为忠州别驾。更让他万万想不到的是,神使鬼差,他会落到李吉甫的手下。裴延龄为了继续打击和暗害陆贽,便起用李吉甫为忠州刺史,给李吉甫报复陆贽、出口恶气的机会。
就在大家都在等着看好戏的时候。李吉甫却把陆贽当作宰相来尊重,且与他推心置腹地交往共处。陆贽也确实给他出了不少力。二人合作很有政绩。
元和元年(806年)唐宪宗即位,李吉甫二次入朝,一直在偏远山区工作远离政治中心的李吉甫被唐宪宗一眼看中,而后不断升官,政治才能也就由此得到充分的发挥。