山阴，因位于恒山余支翠微山的阴坡而得名。

战国为赵地，秦属雁门郡，隋置善阳县、神武县，唐为马邑县地，辽置河阴县，金大定七年始称山阴，此后虽一度改为忠州并入金城县，但为时较短，后有复置山阴县，至今未变。