巢湖市历史悠久，文字记载的历史有3000余年。

商时地属南疆，故名南巢。《尚书·仲虺之诰》：“成汤放桀于南巢。”

周时为巢（伯）国地。春秋时为楚属国。四至东到昭关（今属含山县），西至庐江，南达长江，北到巢湖。巢国多次被吴所占，周元王四年（前472年），越灭吴，巢国还楚。

秦统一后，置郡县，今柘皋一带为橐皋县，今巢湖以南为居巢县，也作居鄛，两县均属九江郡。

东汉末年，曹操占据居巢，此后一直隶属曹魏。西晋在原居巢境内分设居巢、临湖、襄安，隶属庐江郡。南北朝设南豫州，领南谯郡；刘宋大明三年（459年），居巢易名蕲，隶属刘宋。萧齐因之。南梁置合州；蕲所在的南谯郡属之。

隋统一后，改合州为庐州。开皇元年（581年），襄安改属庐江郡。据《隋书·地理志》载：襄安“有龟山、紫微山、亚父山、半阳山、白石山、四鼎山”。至此，今巢湖市东、西、北方位大致形成。

唐武德七年（624年），合开城、扶阳两县名巢县（巢县一名，当始此），隶属庐州。

北宋太平兴国三年（978年），设无为军，巢县隶属之。至道二年（996年），县治设巢城（今巢湖市址）。熙宁三年（1070年），析巢县南、庐江东置无为县。至此，今巢湖市四至基本确定。

元至元二十三年（1286年）再称巢州，二十八年（1291年）置巢州为巢县，自此县名至改置巢湖市（原县级市）前一直未变更。

民国元年（1912年）1月，巢县直属安徽省。民国3年（1914年）6月至民国17年（1928年）8月属安庆道，民国21年（1932年）10月至民国27年（1938年）7月属第二专区，后改属第五专区。民国27年10月25日改属第三专区。民国28年（1939年）元月复属第五专区。

1949年4月21日，巢县属皖北行署巢湖专区。1952年2月4日改属芜湖专区，同年，县政府从柘皋迁至巢城。1958年8月7日改属合肥市。1961年4月13日复属芜湖专区。1965年7月14日复设巢湖专区，巢县隶属之。1971年8月29日，巢湖专区改称巢湖地区，巢县隶属不变。1984年1月4日撤县改市成立巢湖市，行政区域不变，仍属巢湖地区。1999年7月9日，根据《国务院撤销巢湖地区设立地级巢湖市的批复》文件，县级巢湖市改设为居巢区，隶属地级巢湖市。1999年12月6日，居巢区举行正式成立揭牌仪式。2011年8月，根据《国务院关于同意安徽省撤销地级巢湖市及部分行政区划调整的批复》（国函〔2011〕84号）精神，区划调整，居巢区改设为县级巢湖市，新设的巢湖市由安徽省直辖，合肥市代管。2011年8月23日，县级巢湖市正式揭牌。