裴昙说小翁主过于幼小，恐怕会吐奶，要权姓乳母多带两件衣服。卢老夫人夸裴昙细心，一一嘱咐乳母准备好衣物、被褥，又叫了婢女跟随。裴昙说婢女进不了禁苑，禁苑中自有宫人，婉拒了卢老夫人要她带婢女的好意。
乳母整理好小翁主的吃食和衣物后，裴昙带乳母和小翁主一起走了，管家带人送他们一行人离开了卢家。
离开卢家之后，裴昙已出了一身冷汗。裴昙先带乳母回了自己的住处，她和弟弟裴简关系不和，独自住在秋浦东边的一处大宅中。裴昙让家仆派了两顶空车前往行宫中。
她要离开秋浦了。她对乳母说：“我们要回去了。”
乳母哄着怀里的婴儿，抬头问：“回去，娘子是说去宫中么？”
“你不想永平翁主吗？”
乳母“啊”了一声，眼睛一酸，说：“想、想。”
裴昙说：“不要多问，你和我走，我这就带你们回去，我们回建业。你既然是乳母，自然生过孩子，知道当母亲的人和孩子分别的酸楚，孩子该跟着母亲。”
不要多问，她已经想好了，此次她要离开秋浦。她不但要离开秋浦，她还要把泽晋的女儿带给泽晋。
乳母说：“我跟着您走。”
裴昙带了禁军，乘车轿出行，打算自东城门离开秋浦郡。
她要出城时，守城的士兵不敢放她出去。裴昙在车中问守城的长官：“我知道如今七品以上官员不得出城，我又不是官员，你拦我做什么？”
车帷掀开，长官在车外行礼后，躬身回答她说：“打扰娘子了，士兵撩帘查验，看见娘子的后车坐的是女眷，下官需要例行询问，车中是谁？”
“是自小照看我的贴身侍女。”权姓乳母坐在裴昙后面的车中，抱着锦盒——士兵查验时，小翁主暂时被藏在了锦盒中。
“哦、哦。娘子身份尊贵，在下官眼中，是一等人物，所以下官要以对待大人的礼数对待娘子。”长官恭敬地劝裴昙说：“娘子出城有事么？如果没有大事，还是和侍女歇在城中吧，城中安全。”
“我既出自世家大族，自是一位贵女，我的侍女不能轻易让人看见。你不要让你的手下太无礼。”
“是。”长官对其他士兵说：“不要围着后车了。”
裴昙微微抬起下巴，对长官说：“我带了行李，又带了侍女，自然是要出远门。你如果不放我，就去叫我夫兄周家紫麟来：我要去毗陵，要去看望我的丈夫、周家紫麟的亲弟弟。我丈夫被叫去建业一趟，不知受了多少惊吓，可他们都不在意他。他们不在意，我在意，我要去照顾他。事情，我前几天就写信和我夫兄说过了，你如果不放心，你就去叫他来。要不你就让我走。”
裴昙的确在十几天前，就给周紫麟写过信，她向周紫麟表示，自己想去毗陵找周鸾。周紫麟回信