吴昌硕的前半生充满了危难和艰险，遭遇了常人难以承受的困苦。而在青年时期，更是经受了“哭声殷风雨，乱走剧波涛”的严酷磨难。

    咸丰十年（1860年），天平军感王陈荣率部进军安吉，清兵尾随而至，两军在鄣吴村一带进行了长达半年的激烈鏖战。村民仓皇出逃，时年17岁的吴昌硕也随父亲辗转流亡，历尽艰难险阻。途中，吴昌硕与家人失散而流落在外，只身一人漂泊了好几个月。在距鄣吴村南十多里的石苍坞差点饿死。新亏当地丁、施两家的大力接济才得以存活。为纪念这段难忘的经历，他后来就取字“苍石”，而“仓石”、“昌石”、“苍硕”、“仓硕”、“昌硕”之类皆从“苍石”演变而来。

    流亡期间，孤苦无依，无依无靠的吴昌硕只得替人家打短工，干杂活，长期过着半饥不饱的日子。由于当时山乡几乎与外界隔绝，食盐及其匮乏，他经常吃不到盐，以致浑身发肿，四肢无力，到后来只能折一根树枝作手杖，一步一瘸的赶路。有一次，他正蹒跚而行，忽闻远处有人马呼啸之声越来越近，他急想躲避，可前面有一条溪流拦住了去路。溪水虽不很深，平常人不难渡过，可那时他以全身无力，根本没法涉过，只得在岸边空着急。在着危机关头，一个老农见此情景，毫不犹地把他背过溪流，一同逃命。这一老一少，寻迹深山密林，后来还盖了一个茅屋共同居住。老农见他因长久淡食而导致全身浮肿，就把自己埋在地下的一罐食盐拿出来，分一部分给他吃。吴昌硕进盐后，浮肿渐退，减轻了不少痛苦。他对这位有救命之恩的老农自然是感激不尽。六十年后与潘天寿、刘海粟谈及此事时，还以感恩戴德的口吻说：“不是他搭救，我便死在山洞中了，只有穷苦人才有同情心。”

    在逃难期间，吴昌硕三年没有吃过一顿饱饭。为了维持生存，他经常以野果、山药、树皮、草根充饥。晚年，他在回忆时对子孙说：“别的植物都可以吃，只有草叶上多芒刺的，最难下咽。”有一次，他赶路赶得太累，傍晚时在野外随便找个地方掉下就睡，天亮时醒来，才发觉自己竟睡在野猪巢里。新亏当晚野猪没有回来，否则性命难保。

    吴昌硕在浙皖交界一带经历了将近五年的流浪生活，尝遍了种种艰难困苦，同时也真切的感受了人情的冷暖，世态的炎凉。几千里的流亡行程，也使他开阔了视野，增进对实际生活的了解，感受并体验了底层民众的喜怒哀乐，特别是锤炼了他不怕任何困难的坚强意志，在一定程度上也奠定了自己奔放豪迈之性情的基础。这一切都对他后来的艺事活动产生了深远的影响。