Su vida política en el Partido Colorado empezó junto al caudillo Venancio Flores. Años después luchó en las filas del ejército del gobierno colorado en contra de la Revolución de las Lanzas, de Timoteo Aparicio, líder y caudillo del Partido Blanco. Gracias a su participación en la lucha logró el grado de teniente del ejército, pero por estar en contra del gobierno militarista debió huir a Argentina, donde vivió algunos años.

Empezó su carrera política en su ciudad, trabajando en la Junta de Soriano. También fue integrante de la Sociedad de Amigos de la Educación Popular, fundada por José Pedro Varela. En 1879 fue elegido senador por el departamento de Soriano y tuvo que trasladarse a Montevideo. Fue miembro destacado del grupo colectivista del Partido Colorado, liderado por Julio Herrera y Obes. En 1894 llegó a la presidencia del país. En sus años de mandato el país tuvo varios problemas económicos pero también grandes realizaciones como la creación del puerto de Montevideo o la fundación del Banco de la República.

Sus enemigos políticos lo consideraban un hombre rudo, que no estaba dispuesto a discutir ni a negociar. La postura del colectivismo, de gobierno exclusivo del Partido Colorado, provocó el enfrentamiento con el Partido Nacional. En 1897 estalló la guerra civil con Aparicio Saravia. Idiarte Borda siempre se negó a negociar, lo que le supuso duras críticas en todo el país, tanto del Partido Nacional como dentro del Partido Colorado. Tal vez su mayor enemigo político no estuvo en el Partido Nacional, sino en su propio partido. Fue José Batlle y Ordóñez, quien consideraba a Idiarte Borda un político corrupto e ineficiente.

En 1897 fue asesinado de un disparo en el corazón, cuando estaba participando de las celebraciones del Día de la Independencia. Fue el único presidente asesinado en toda la historia de Uruguay.