先后属末治县、太末县江山市祭祀。东汉初平三年（192），析太末县西部置新安县，属会稽郡新安县。三国时期孙吴宝鼎元年（266），划会稽郡一部置东阳郡，属东阳郡新安县。西晋太康元年（280），改为信安县，南朝陈天嘉三年（562），东阳郡改为金华郡，隋朝初年，又易名婺州，大业三年（607）复为东阳郡。
唐武德四年（621），析信安县之南川置须江县，以城南有须江得名，隶属越州总管府衢州，为江山建县之始江山市祭祀。武德六年，属婺州管辖，垂拱二年（686），恢复衢州，江山属衢州信安县，689年复置须江县，属衢州。 五代后唐长兴二年、吴越宝正六年（931），钱鏐因县南有江郎山，改须江县为江山县，南宋咸淳三年（1267），改名礼贤县，1276年复名江山。
清宣统三年（1911），辛亥革命后，属衢州军政分府管辖江山市祭祀。民国元年，直属于省。三年，省以下设道，属金华道，16年废，24年，属省第五行政督察区，37年，改隶第三行政督察区。 1949年5月6日江山县解放，属衢州专区。1955年改属金华专区。1985年分设金华、衢州两市，属衢州市。
1987年11月27日，国务院批准撤销江山县，设立江山市（县级），属衢州江山市祭祀。