杜凤治的高祖杜文光，廪生，康熙丁酉（1717）科举人，曾任四川南部县知县；曾祖杜章传，文林郎；祖父杜若兰，原名华封，号荣三（一作蓉山），廪生，朝议大夫、通奉大夫；父杜清鉴，号种墨，太学生，朝议大夫、通奉大夫。日记遇到“清”字往往写作“青”，显然是为避父讳。杜凤治的祖母陈氏出自大族，其族先辈陈大文（简亭），在乾隆、嘉庆朝仕至两江总督、兵部尚书。杜凤治第二位夫人何氏是乾隆年间河南巡抚何煟（加总督、尚书衔）的侄孙女，第三位夫人娄氏的父亲当过河南滑县知县。祖孙的婚姻都可反映山阴杜氏是簪缨世族。杜凤治的伯父杜金鉴曾任湖南浏阳知县。曾祖杜章传的文林郎散阶当系因杜金鉴官职所得的赠。杜氏家族、宗族中有功名而又任官者不少，如日记中多次出现的杜联（莲衢）是杜凤治的远房族侄，翰林出身，官至内阁学士兼礼部侍郎，曾任广东学政。堂兄杜凤梧（尺巢）曾任安徽泾县知县。日记中又提到一位族亲杜藻，其时在山西任知府。杜凤治两个成年的儿子都捐有职衔，他的几个侄儿，或有科举功名，或捐纳了官职。
但杜凤治的祖父、父亲都没有做官，其祖是生员，其父是“太学生”，当系捐纳的监生。日记中先称其父为“先朝议公”（朝议大夫，从四品官的散阶），后来称祖、父为“两代通奉公”（通奉大夫，从二品官的散阶）。朝议大夫虚衔，系杜凤治得选广宁知县后由同知衔加一级，为父母请得的从四品封典；通奉大夫虚衔，系光绪帝登极时有恩诏，杜凤治就由四品衔加三级获得诰赠祖父母、父母得享从二品封职。
到杜清鉴这一代，杜家家境已不富有。杜凤治说其父某次因祭祀祖先费用无着，“渐以废读”，自己幼年跟随父亲在湖南，其时父亲“公务旁午”，大概杜清鉴曾以官亲身份帮助其兄杜金鉴处理公务。杜清鉴对孩子的教育甚严，要求他们勤习书法。杜凤治谦称自己“笔致不佳，又心野而懒，且惮劳，以故无成”，但实际上他的字还是不错的。他赴京后父亲还写信予以教诲，杜一直珍藏父亲的信函和书法，并要求子孙“奉为世宝”。
杜凤治在家乡先娶田氏，生子女各一，田氏早死；续娶之何氏，生一女后亦死；道光二十七年（1847）续娶娄氏，生子女各二。咸丰五年（1855），杜凤治赴京候选时娄氏已怀孕，留在家抚养未成年的几个子女（田氏所生者已成年），生活极其艰难。咸丰六年，娄氏致函杜凤治，备述困苦之状，其中说道：“欲死则难舍儿女，不死则支持实难。”但杜凤治只能复信说几句安慰的空话。何氏所生之女，得病后无钱医治夭折。
同治元年（1862），太平天国忠王李秀成占据苏、浙，太平军攻入杜凤治家乡绍兴，杜凤治的长兄在战乱中病死，弟弟被太平军掳去下落不明，妻娄氏带着几个小孩逃难。稍为安顿后，娄氏与幼子桐儿都得了病。不久，杜凤治赴京期间出生、从未见过父亲的桐儿病死，次日，娄氏也病死，死前还担心粮食不够，嘱咐儿女要照常食粥。杜凤治记录了家庭变故后悲叹：“乃予落寞十年，绝少生色，微资载寄，都付沉沦，一门寒饿流离，丧亡殆半；予则身逸心劳，徒事焦急忧煎而鞭长莫及；无以对妻，无以对兄弟，即无以对祖、父，不早努力，贻祸靡穷，书至此，悔憾恸伤，执笔如醉。”他对三位亡妻都颇有感情，尤其是娄氏。杜凤治后来虽又续弦，但一想起娄氏就悲痛不已。同治九年他在潮阳催征，七月初一日半夜睡不着，就起来写了悼亡妻诗十首。光绪八年八月十一日是娄氏忌日，其时杜凤治已68岁，在日记中再写娄氏去世时的苦况，“回想及此，肝肠寸断”。
有十多年杜凤治在外都是孤身一人，开始时无力续弦，后来境遇改善，也没有纳妾，因为选择合适者不易，“倘因不佳而令去，亦不好看，且此等人贤德者必少，恐儿女辈不服，则不如娶正之为得也”。
但杜凤治的祖父、父亲都没有做官，其祖是生员，其父是“太学生”，当系捐纳的监生。日记中先称其父为“先朝议公”（朝议大夫，从四品官的散阶），后来称祖、父为“两代通奉公”（通奉大夫，从二品官的散阶）。朝议大夫虚衔，系杜凤治得选广宁知县后由同知衔加一级，为父母请得的从四品封典；通奉大夫虚衔，系光绪帝登极时有恩诏，杜凤治就由四品衔加三级获得诰赠祖父母、父母得享从二品封职。
到杜清鉴这一代，杜家家境已不富有。杜凤治说其父某次因祭祀祖先费用无着，“渐以废读”，自己幼年跟随父亲在湖南，其时父亲“公务旁午”，大概杜清鉴曾以官亲身份帮助其兄杜金鉴处理公务。杜清鉴对孩子的教育甚严，要求他们勤习书法。杜凤治谦称自己“笔致不佳，又心野而懒，且惮劳，以故无成”，但实际上他的字还是不错的。他赴京后父亲还写信予以教诲，杜一直珍藏父亲的信函和书法，并要求子孙“奉为世宝”。
杜凤治在家乡先娶田氏，生子女各一，田氏早死；续娶之何氏，生一女后亦死；道光二十七年（1847）续娶娄氏，生子女各二。咸丰五年（1855），杜凤治赴京候选时娄氏已怀孕，留在家抚养未成年的几个子女（田氏所生者已成年），生活极其艰难。咸丰六年，娄氏致函杜凤治，备述困苦之状，其中说道：“欲死则难舍儿女，不死则支持实难。”但杜凤治只能复信说几句安慰的空话。何氏所生之女，得病后无钱医治夭折。
同治元年（1862），太平天国忠王李秀成占据苏、浙，太平军攻入杜凤治家乡绍兴，杜凤治的长兄在战乱中病死，弟弟被太平军掳去下落不明，妻娄氏带着几个小孩逃难。稍为安顿后，娄氏与幼子桐儿都得了病。不久，杜凤治赴京期间出生、从未见过父亲的桐儿病死，次日，娄氏也病死，死前还担心粮食不够，嘱咐儿女要照常食粥。杜凤治记录了家庭变故后悲叹：“乃予落寞十年，绝少生色，微资载寄，都付沉沦，一门寒饿流离，丧亡殆半；予则身逸心劳，徒事焦急忧煎而鞭长莫及；无以对妻，无以对兄弟，即无以对祖、父，不早努力，贻祸靡穷，书至此，悔憾恸伤，执笔如醉。”他对三位亡妻都颇有感情，尤其是娄氏。杜凤治后来虽又续弦，但一想起娄氏就悲痛不已。同治九年他在潮阳催征，七月初一日半夜睡不着，就起来写了悼亡妻诗十首。光绪八年八月十一日是娄氏忌日，其时杜凤治已68岁，在日记中再写娄氏去世时的苦况，“回想及此，肝肠寸断”。
有十多年杜凤治在外都是孤身一人，开始时无力续弦，后来境遇改善，也没有纳妾，因为选择合适者不易，“倘因不佳而令去，亦不好看，且此等人贤德者必少，恐儿女辈不服，则不如娶正之为得也”。