吴昌硕曾有“家风旧学汉周秦”、“回思祖德诵清芬”等谈及自己先世的诗句。北宋徽宗政和年间，吴昌硕的先祖居住在淮安。宋朝南渡之际，其先祖也随之避兵南迁，到天目山北麓一带定居下来。

    据吴昌硕在光绪二十四年（1898年）主持重修的《吴氏宗谱·吴氏列祖诸传》载：第一代为吴瑾，吴瑾有兄弟五人，分别为玠、璘、瑜、璧、瑾。其中吴玠性格沉毅，办事果断，以战功升官至原源路副总管。有一天，金兵进犯汉阳，得告急求援的驿书后率精兵夜驰三百里赶赴战场，金人惊其神速，溃败而去。绍兴年间，玠、瑾兄弟在蜀地曾与金兵一连几日浴血奋战，最终金人大败，从此不敢再犯蜀地。此役即历史上有名的“仙人关大捷”。吴瑾迁到安吉后，其子孙就生活在鄣吴村一带的土地上，到吴昌硕这一代，已是第二十二世了。

    在《七十自寿》一诗的首句，吴昌硕不无骄傲的说道：“吾祖吾父称通儒。”考察其祖系，自明朝以来安吉吴氏不乏享有诗名者。其中尤为著名的是第十二从祖吴维岳（字峻伯），曾与当时颇具诗名的李攀龙倡立诗社，成为“嘉靖广五子”，著有《天目山斋岁编》共二十八卷。吴维岳第三子稼澄（字翁晋），少时就以诗见称于当时诗坛，著有《元盖副草》、《滇游集》、《北征前后集》。明嘉靖年间，吴麟、吴龙、吴维京、吴维岳兄弟父子四人考取进士，号称“父子叔侄四进士”，他们分别做到朝廷或省一级的官吏，使当时的鄣吴村大危显赫，以致有“小小孝丰县，大大鄣吴村”之说。

    吴昌硕的父亲名辛甲，字周史，号如川，清咸丰年间举人，却不愿做官，一直隐居乡里，一生以耕读为乐平时爱作诗和篆刻，著有《半日村诗稿》。