索额图是被康熙帝罢官下野的。索额图是康熙朝首辅大臣，他曾是康熙的贴身侍卫，因擒熬拜有功，后被重用，他父亲是顺治朝四大辅政大臣之一索尼。索额图因，拉帮结派和明珠派进行党争，后被康熙罢官。