桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　郗公值永嘉喪亂，在鄉裏甚窮餒。鄉人以公名德，傳共飴之。公常攜兄子邁及外生周翼二小兒往食。鄉人曰：“各自饑困，以君之賢，欲共濟君耳，恐不能兼有所存。”公於是獨往食，輒含飯著兩頰邊，還吐與二兒。後並得存，同過江。郗公亡，翼為剡縣，解職歸，席苫於公靈床頭，心喪終三年。

　　袁彥道有二妹：壹適殷淵源，壹適謝仁祖。語桓宣武雲：“恨不更有壹人配卿。”