臺中市立圖書館霧峰以文分館,是由已故日本僑領,曾任僑選立法委員之霧峰望族林以文先生捐資興建。
這是臺灣第一所鄉立圖書館,於民國54年動工,民國57年落成啟用,由時任臺灣省政府主席黃杰先生命名為「霧峰鄉以文圖書館」。後因霧峰鄉人口日漸成長,原有館舍面積不敷使用,遂於民國82年遷移至新建立之霧峰鄉綜合社會福利館二樓。
本分館為因應多元讀者的閱讀需求將空間規劃為青少年區、多媒體影音區、親子閱讀區、樂齡區、臺灣文史專區、多元文化專區、期刊書報區、開架閱覽區、辦公室,二樓為自修室、多功能教室、會議室暨三樓大禮堂等,總樓地板面積廣達7,000平方公尺。民國105年3月1日因應「臺中市立圖書館」成立,更名為「臺中市立圖書館霧峰以文分館」。