曹雪芹是包衣世家，“包衣”是滿語音譯，意思是“家里的”“家下人”其實就是家奴。滿族分八旗，各旗身份地位不盡相同，曹雪芹家所隸屬的是滿州正白旗。可以說是個“在旗的”“旗人”。雖說是皇室的人，卻是家奴，他們要仰皇家的鼻吸，小心翼翼，戰戰兢兢的生活，稍不如意，皇家對他們說罰就罰，說抄就抄，說斬就斬。
康熙在位時，對曹家特別是曹寅是竭力照顧和“保全”的。但康熙死后，雍正上臺，曹家曾因和雍正的政敵發生過這樣那樣的關系，而成為捕捉窮治的對象。曹頫后來獲罪表面上是因“清補錢糧”不力，但真正的`原因還是“政治”的。雍正五年十二月二十四日，雍正上諭：“著江南總督范時繹查封曹頫家產，”隨后是新任江寧織造隋赫德奏報細查曹頫房地產及家人情形，并感謝雍正將曹頫所有田產房屋人口“特加賞赍”的“浩蕩天恩”。終于在雍正六年七月初三日，隋赫德又奏報了曹頫在萬壽庵替雍正的政敵藏貯鍍金獅子事，從而把曹頫徹底拋到了政治斗爭的旋渦之中，致使曹家一敗涂地。曹雪芹也因此變故于當年秋天隨家北返，從此曹家在江南的一切情緣遂告結束。
曹雪芹的一生恰好經歷了曹家盛極而衰的過程，這一切都影射在了《紅樓夢》中了。