Vio la luz en la sección mocana de Estancia Nueva el 15 de diciembre de 1866. Fue hijo de Manuel Altagracia Cáceres y de Remigia Vásquez.

Heredó de su padre, una de las más destacadas figuras del baecismo, la pasión por la política. En su adolescencia se dedicó a trabajos agrícolas y, fundamentalmente, a mejorar la crianza de ganado bovino. Era un hábil jinete y consumado tirador.

Fue primo de Horacio Vásquez y se sintió muy ligado a este desde edad temprana, lo que explica su solidaridad con él durante la llamada "Revolución de Moya". Sin embargo, para esa época todavía la política no le llamaba y en los principios de la tiranía de Ulises Heureaux (Lilís), prefirió seguir dedicándose a sus actividades agropecuarias a las que agregó el transporte de mercancías utilizando recuas. Por esos tiempos contrajo matrimonio con Narcisa Ureña Valencia.

Se cuenta que no manifestó su interés en política hasta que su primo Horacio Vásquez, destacado opositor del tiránico régimen de Lilís, le comunicó que éste había ordenado su asesinato. Entonces, de manera intempestiva y cargado de cólera, le expresó a su primo que había que anticiparse al cumplimiento de tal orden, liquidando antes a Heureaux. Vásquez aceptó la idea y Cáceres se dedicó a preparar el atentado a la espera del momento oportuno para realizarlo. Era tal el rechazo que despertaba la tiranía que no tuvo inconvenientes para encontrar compañeros y el 26 de julio de 1899, Heureaux fue abatido a balazos. El primero en disparar fue el joven Jacobo de Lara, quien dio al tirano un tiro mortal y revolver en mano, Cáceres remató a la víctima. Los conjurados fueron perseguidos pero lograron burlar la persecución y ponerse al frente de un movimiento insurreccional a favor de Juan Isidro Jiménes.

Vásquez estableció en Santiago un gobierno provisional, del cual Cáceres formó parte como Ministro de Guerra y Marina y las tropas insurrectas se dirigieron a la capital. Días más tarde Vásquez, tras la renuncia del Vicepresidente de Lilis, convocó las Asambleas Plenarias, recomendando como presidente a Jiménes. Cáceres renunció al Ministerio y fue nombrado en Santiago como Delegado en el Cibao.

Tras las elecciones celebradas en octubre en las que salió triunfante la candidatura Jiménes-Vásquez, Cáceres ocupó el cargo de Gobernador de Santiago. Algunos historiadores afirman que fue Cáceres quien alentó a su primo Horacio Vásquez contra el gobierno del que era la segunda cabeza, otros afirman que Cáceres hubo de recurrir a la violencia para levantar tropas en Santiago.

Luego de instalado el gobierno de facto, Vásquez confirmó a Cáceres en la gobernación de Santiago y además le restituyó el cargo de Delegado en el Cibao.

Cáceres se desempeñó como Vicepresidente en el gobierno dictatorial de Carlos Felipe Morales Languasco (1903-1905). Cuando estalló la revuelta llamada "desunión" contra el gobierno de Morales Languasco, Cáceres lo defendió con las armas y gracias a la lealtad de la Marina y al respaldo recibido de los norteamericanos, lograron sofocar la rebelión.

Fue durante esta contienda, estando la capital sitiada por los insurrectos, cuando se produjo el bombardeo y la ocupación de Villa Duarte por tropas de los Estados Unidos de Norteamérica, sin que Cáceres levantara su voz en protesta. Además de dictatorial el gobierno de Morales Languasco se destacó por su política entreguista, con la que Cáceres estaba totalmente solidarizado.