夏商时期，市境属“淮夷”之地。西周时期，市境大部为州来国所辖，南部地区分属六、蓼；春秋末期，诸侯纷争。周襄王三十年（公元前622年）楚灭六、蓼，市境南部入楚；周景王十六年（公元前529年）吴灭州来，市境属吴；随着楚国势力的扩张，位于淮河上游的蔡国被迫几度迁都，求救于吴。周敬王二十七年（公元前493年），在吴国的支持下，蔡国迁都于州来，改州来为下蔡。战国初期，周贞定王二十二年（公元前447年），楚惠王灭蔡，市境属楚。
      战国末期，楚考烈王二十二年（公元前241年）迁都于寿春，改寿春为郢，市境为楚国都城。楚王负刍五年（公元前223年），秦灭楚。
      秦始皇帝二十六年（公元前221年），秦统一六国，市境淮河以南属九江郡（郡治寿春），凤台县及淮河以北属泗水郡。
      汉高祖四年（公元前203年），刘邦封英布为淮南王，首置淮南国，都六（今六安），辖九江、庐江、衡山、豫章4郡。高祖十一年（公元前196年），英布获罪伏诛，改封刘长为淮南王，都寿春（今寿县）。
      孝文六年（公元前174年），刘长获罪流放，死于途中。文帝改封城阳王刘喜为淮南王。孝文十六年（公元前164年），淮南国一分为三：淮南、衡山、庐江，分别封给刘长的3个儿子，长子刘安继任淮南王，都寿春。汉武帝元狩元年（公元前122年），刘安获罪自尽，废淮南国，复为九江郡，治寿春。元封五年（公元前106年），置十三州刺史部，市境属扬州刺史部驻九江郡，寿春为九江郡治所。西汉时期，市境先后属淮南国、九江郡所辖，凤台县属沛郡下蔡县。
      东汉时期，市境属九江郡所辖，分属寿春县、下蔡县。三国时期，曹魏设淮南郡，寿春为郡治兼扬州治所。其后，魏文帝先后封其子曹邕及其弟曹彪为淮南王，明帝青龙元年（233年）移治合肥新城。其间，市境为淮南郡所辖。
      西晋初年，扬州治迁建邺，淮南郡迁治于寿春，市境为其所辖。永嘉乱起，淮河流域沦为战乱区，江淮郡县大批废弛，北人南迁。东晋咸和初年侨置淮南郡于丹阳郡于湖，市辖境则为侨置的南梁郡。孝武帝时，因避帝后郑阿春名讳改寿春为寿阳。
      南北朝期间刘宋、南齐、萧梁沿袭东晋侨置淮南郡于江南。市境淮河以南先后有豫州、南梁郡等侨置郡县。北魏、北齐、北周、隋时，市境淮河以南复为淮南郡所辖，淮河以北属汝阴郡下蔡县。
      隋开皇八年（588年）置淮南行台尚书省，治所寿春；次年灭陈，改行台省为寿州总管府。大业三年（607年）改置淮南郡，寿春为郡治所。
      唐置淮南道，市境淮河以南属淮南道寿州所辖。天复二年（902年），唐封淮南节度使杨行密为吴王，都扬州，寿州为吴国地。淮河以北属河南道颍州下蔡县。
      五代初，吴王天祐四年（907年）置寿州忠正军节度使。吴天祚三年（937年）南唐代吴，以寿州置清淮军节度使。后周显德四年（957年）世宗拔寿州，置忠正军节度使，徙军治、州治于下蔡，称北寿春，寿州称南寿春。
      北宋置淮南路，市境属淮南路寿州（治下蔡）所辖。熙宁五年（1071年）分淮南路为东西两路，市境属淮南西路寿州所辖。徽宗政和六年（1116年）升寿州为寿春府，府治在北寿春（下蔡）。
      南宋绍兴十一年（1141年），宋金和议，以淮河、大散关为界，市境淮河以北属金国，淮河以南为宋地。金以下蔡为寿州，置防御使，隶汴京路（后改称南京路）；宋置安丰军，治安丰县，寿春隶安丰军；绍兴三十二年（1162年）复置寿春府，隶淮南西路，寿春为府治，兼制安丰军。
      元代，市境属河南江北行中书省安丰路，分属寿春、下蔡两县所辖。至元二十八年（1291年）建怀远县，今市区东部属怀远县所辖。
      明代，市境属南京凤阳府辖地，分属寿州（包括今凤台县）、怀远县。
      清初，市境属江南行省凤阳府，分属寿州、怀远县所辖。顺治十八年（1661年）置江南省左、右承宣布政使司，凤阳府隶属左司。康熙六年（1667年），江南省左布政使司改称安徽布政使司。雍正十一年（1733年）从寿州分置出凤台县，辖故下蔡县地，同城分治。同治三年（1864年）凤台县迁治于下蔡县故地（今城关）。同治四年（1865年），安徽置3道，市境隶属凤颍六泗道（后改为皖北道）凤阳府。
      民国元年（1912年）废道府，市境分属寿县、凤台、怀远县。民国3年（1914年），市境属安徽省淮泗道（治凤阳县）。民国21年（1932年），市境隶属安徽省第四行政督察区，专员驻寿县；民国27年（1938年）改属第三区，专员先后驻立煌（今金寨）、六安；民国29年（1940年），第三区改为第二区。其中有“淮南三镇”之称的田家庵、大通、九龙岗均属怀远县所辖。
      1949年1月18日淮南解放。市境分属淮南矿区、寿县、凤台县。1949年3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿特别行政区；4月，淮南煤矿特别行政区改设为淮南矿区。1950年9月，建县级淮南市。1952年6月，建立省辖淮南市。1977年1月，凤台县由阜阳专区划入；1999年11月，毛集社会发展综合实验区批准成立。今市辖田家庵、大通、谢家集、八公山、潘集区和凤台县以及毛集社会发展综合实验区。2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆乡、杨公镇、孙庙乡由长丰县分别划入淮南市大通区、田家庵区、谢家集区。
      2015年12月3日国务院批复同意六安市寿县划归淮南市管辖；2016年1月，寿县正式划归淮南市。