袁世凱的十房妻妾中， 最愛的是大姨太太沈氏， 其次是五姨太太楊氏。 男人一生不可缺伴侶， 也不可缺管家。 袁世凱就是把沈氏認作了伴侶， 而楊氏擅長替他管家， 也一直深受寵倖。 至於他的原配夫人于氏， 則在早年間就結了怨， 一直被遺棄在老家獨守空房。
袁世凱與原配夫人結怨， 原本是為了一樁小事， 僅僅是於氏說錯了一句話， 卻因為這句話過於歹毒， 被袁世凱一直懷恨在心， 終生未能原諒。
話說那時兩人新婚不久， 於氏剛剛懷孕， 袁世凱考取功名未果， 正四處借錢打算跑個捐官。 于氏是河南沈丘人， 家族田地超過兩千頃， 袁世凱就想從老丈人家借點錢， 到了於家後沒見到老丈人， 卻遇到了妻弟， 他就向妻弟開口借錢， 沒想到妻弟非但不借， 反而連諷刺帶挖苦的說：“我看你去北京也是白搭， 還不如在家裡呆著。 ”
袁世凱沒借到錢， 垂頭喪氣的回到家，
把班子就是民間三教九流中的雜耍班， 很多既賣藝又賣身， 這本是袁世凱不正經的一句玩笑話，
袁世凱聽了這句話， 頓時臉色鐵青。 這句話換做別人可能沒事， 但是袁世凱的母親是姨太太， 按照當時的規矩， 姨太太不能認娘家， 娘家人不能與婆家有任何走動。 於氏的這句話等於罵袁世凱沒有姥姥家， 只有明媒正娶的大太太， 才能算是有姥姥家。
袁世凱怒氣衝天的瞪著于氏， 於氏也驚覺自己說錯了話， 但她覺得袁世凱不學無術， 還用輕佻的語言侮辱自己， 仗著自己娘家實力雄厚， 乾脆和袁世凱對峙起來， 非但不道歉， 反而一副理直氣壯的樣子。
袁世凱一看這樣的情形， 再想起白天小舅子對自己的態度， 再也忍受不了滿腔怒火， 當場拂袖而去， 此後再也沒有踏進於氏的房間。
第二年， 于氏順利產下袁世凱的長子袁克定， 袁世凱此時正在山東追隨淮軍將領吳長慶， 後來又在朝鮮發跡， 他將袁克定接到朝鮮由沈氏撫養， 任憑原配于氏過著孤苦伶仃的生活。
再說他那個小舅子， 後來袁世凱官至直隸總督時， 那位小舅子還跑到天津希望能謀個一官半職。 袁世凱斷然回絕， 甩回去一句話：“外面無事可做， 還是家裡呆著好些。 ”正是小舅子當初挖苦他的話。