早在新石器时代，大余境内就有人类居住与活动。夏商周时代属古扬州域。春秋战国时，先属楚，后属吴，越灭吴后属越国，楚灭越后复属楚国。秦始皇统一中国后，分天下为三十六郡，大余属九江郡，秦三十三年（前214年）置南野县，大余属之。

至西晋属南野县地。南北朝梁大宝元年（550）将县地由南康郡转属广东东衡州始兴郡。陈?太建十三年（581）归始兴郡分置安远郡。隋开皇十年（590）改安远郡为大庾县，隶属广州总管府始兴郡，此为大余建县之始。隋开皇十六年（596）废始兴郡，大庾县亦由县改为大庾镇，复入虔州南康县。唐神龙元年（705）复名大庾县，隶属江南西道虔州。此后，除领属关系变化之外，大余建县历史不变。

宋淳化元年（990）在大余县治地置南安军，军辖大庾、南康、上犹3县，赣南开始形成南安与虔州（赣州）并列的两个行政管理区域。元至元十四年（1277）改南安军为南安路总管府，元至正二十五年（1365）改南安路为南安府，府治大庾，仍领3县。明正德十二年（1517）南京右佥都御使王守仁任南赣巡抚，统领赣湘闽粤八府一州兵力，分十路镇压了以谢志山为首的农民起义军，之后析上犹县的崇义、上堡、雁湖3里，南康县的隆平、尚德2里及大庾县的义安、聂都、铅厂3里建置崇义县，归南安府统辖。清沿明制，大庾县属南安府。

民国元年（1912）废府存县，大庾县直属江西省。1949年8月16日，中国人民解放军四十八军一四二师四二六团与赣南支队、北江二支队、赣南支队崇庾大队凌浪中队、内良起义军解放大庾。8月26日成立大庾县人民政府，隶属江西省赣州督察专员公署。9月11日成立中共大庾县委员会。1957年5月1日，经国务院批准大庾县改称为大余县，属赣南行政公署。1999年7月撤销赣州地区行署，成立地级赣州市，大余县属之。