李樹芬在12歲的時候, 遠負美國讀書, 當時他仍然束著辮子, 他在街上被美國小童扔石頭襲擊受傷, 因為那時外國人對於中國男人束辮子感覺很怪異. 後來他傷口好了要拆線, 拆線的時候他不覺得痛, 摸摸傷口也覺得很平滑, 這令他對西醫產生了興趣. 1901年李樹芬從美國回到香港, 並入讀當時的西醫學堂, 即現在的香港大學醫學院前身, 同孫中山先生成了先後同學. 受過西方教育的李樹芬, 感到當時的香港和大陸非常落後, 他覺得國家需要改革. 在他就讀西醫學堂期間, 加入了同盟會, 協助孫中山革命. 有一次, 他扮作富商坐在轎子裡, 為革命黨偷運一筆巨款. 回港後, 他加入香江養和園任院長, 並同弟弟李樹培一起逐步將其改造成一間綜合性的西醫院, 現在更演變成香港最負盛名的私家醫院.