中法战争的结局，以清廷接受和议的屈辱方式收场，后来被评论为“中国不败而败，法国不胜而胜”。彭玉麟无法接受这一胜负颠倒的战果，时任帝师翁同龢在日记中说：“彭（玉麟）电请勿撤兵，先向法索兵费一千万。”清廷不听，和议完成。
本已年老体衰的彭玉麟，经此刺激，身体几乎垮掉了。
他又开始上疏辞官。
但清廷始终不让他辞去一个虚职，那就是巡阅长江五省水师差使。彭玉麟是长江水师的创建者之一，也愿与水师相终始，遂表示“谨遵上谕，照旧巡阅长江……断不敢借病推诿”。他被认为是帝国海军的奠基人，每年都要巡视水师，哪怕抱病，亦不例外。
最后一次出巡，当他抵达安庆时，安徽巡抚陈彝前往迎接。陈彝看到彭玉麟步履蹒跚，老病缠身，请他务必到城里休息。彭玉麟拒绝了，像以前率领水师训练一样，他坚持与将士一道住在船上。陈彝特别难过，他上奏朝廷，说彭玉麟确实病得厉害，希望朝廷准许其回乡养病。朝廷这才批准了。
