En 1025 aparecen mencionados en la Reja de San Millán, como dos de los alfoces o distritos en los que se dividía la Álava de esa época, y que tributaban al Monasterio de San Millán de la Cogolla.
En 1920 se fusionan los municipios de Arrazua y Ubarrundia

El nombre de Ubarrundia procede de Ubar y Undia.  Ubar puede ser la variante de Uhar (agua torrencial, agua turbia, torrente) y Undia puede ser Haundia (grande), por lo que el nombre Ubarrundia se ha solido traducir como el sitio con abundancia de aguas torrenciales.  Curiosamente, Ubarrundia fue el lugar elegido para la construcción del pantano de Ullibarri-Gamboa.
En el caso de Arrazua, el topónimo puede derivar de (h)ar(ri), que significa piedra, más atzu (zarza),  formando el lugar pedregoso.

IGLESIA DE SAN ANDRÉS

Es la única iglesia de todo el perímetro del pantano que ha permanecido en culto tras haber quedado anegado el Valle de Gamboa en el S.XX.
Está construida en el S.XV sobre un fuerte desnivel, por lo que tiene un espacio abovedado con acceso desde el exterior, por la parte baja de la cabecera del templo.
Se le conoce como "Arca de la Misericordia", debido a que en tiempos pretéritos, se almacenaba el grano destinado a la ayuda de los feligreses necesitados.
La torre data de 1816 y es de buena mampostería, y el campanario es de planta cuadrada rematada en cornisa modulada muy saliente sobre la que se asienta el cuerpo de campanas, y culmina en una linterna cilíndrica con bola y cruz en lo alto.