巫公祠位于雅集亭之右，舊時(shí)祀商相巫咸及其子巫賢。據邑志載，宋慶元間邑人在虞山之青龍崗掘土得一古碑，-“商相巫咸?！蔽鍌€(gè)古字，縣令孫應時(shí)遂建其祠于言子祠之夾室。

明嘉靖八年（1529年），知縣胡鳳請于巡撫、都御史陳祥，提學(xué)章袞，始正式檄文建殿及饗堂各四楹于虞山致道觀(guān)西側，立石門(mén)，表曰：“商賢相巫公祠”，并置司春秋致祭。國子監祭酒、邑人陳寰撰記。明季，被練兵官占為公署。

清順治十年（1653年），王夢(mèng)鼎、邵燈等將祠改建于昭明太子讀書(shū)臺之左側，錢(qián)謙益撰記，旋廢?？滴醵迥辏?686年），知縣楊振藻以賓湯門(mén)外東莊廢廟改祠，遷巫咸木主祀之，后亦廢。乾隆九年（1744年），儲糧道覺(jué)羅雅爾哈善重建于游文書(shū)院旁，并撰記，同祀巫咸巫賢父子。陶貞一亦撰記。乾隆四十一年（1776年），移祀于游文書(shū)院之西廳。咸豐十年（1860年）毀。光緒二十九年（1903年）復建于院后山麓。

建國后又毀，1985年市園林管理處斥資5.6萬(wàn)元重建于今址，現辟為公園茶室。