来，然而形势始终比人强，尽管他有“铁面无私”的美誉，却最终不得不无奈地屈服在形势下，唯一能做到的，便是满腔愤懑地离去。郑敦谨历有名绩，《清史稿》对此评论说：“江宁之狱，论者多谓未尽得其情，敦谨未复命，遽解官以去，其亦有所未慊于衷欤？”（《清史稿卷四百二十一》）
慈禧太后知道郑敦谨离开后一度十分恼怒，自己派出去的人，只有去的，没有回来的，马新贻是一个，郑敦谨又是一个，这还像什么话。还是恭亲王奕?代为圆场，慈禧太后这才没有追究郑敦谨的责任。此后，郑敦谨始终不再出仕为官，孤灯衾影中，只剩下绵绵不尽的自惭与叹息，直至最后终老于乡里。
郑敦谨的两个随员回到北京后，结局也令人困惑。满郎中伊勒通阿奉旨回乡，“给全俸”颐养余年；汉郎中颜士璋则被外放到兰州做替补知府，不久即回籍赋闲。
颜士璋回到老家后，写了一本《南行日记》，记述了跟随郑敦谨赴江宁审案的全部过程。他的曾孙颜牧皋曾经看过这本日记，说其中白纸黑字地写着：“刺马案与湘军有关……刺马案背后有大人物主使。”
当时也有不少人认为刺马案肯定与湘军有关。曾任江苏巡抚、湖广总督的郭柏荫对孙子郭公铎说：“张文祥行刺有幕后怂恿者，应是这一类人物，最初有意制造流言的，也是他们。”二话如出一辙——马新贻表面死于流浪汉张文祥之手，其实是死于湘军之嚣张气势。
对于马新贻被刺的原因，李鸿章曾感叹说：“若七年秋不妄更动（指同治七年马新贻上任两江总督一事），或谷山（马新贻字）僻在
第21节(6/9)