Nació el 6 de diciembre de 1937 en Ecuador, formándose como futbolista. Debutó en primera en el Everest en 1953 hasta 1959. Fue su gran actuación en el Sudamericano del 59 defendiendo a su selección lo que cautivó a los dirigentes de Peñarol, quienes lo trajeron inmediatamente al club.
Debutó en nuestro club marcando 3 goles, frente al Atlanta argentino, en 1960. Su trayectoria en Peñarol fue impecable: obtuvo un sinfín de títulos e integró los equipos que en la década del 60 derrotaron a los más poderosos de América y Europa.
Obtuvo un sinfín de títulos. Alberto Spencer es el máximo goleador en la historia de la Copa Libertadores. Fue 4 veces el máximo goleador del Campeonato Uruguayo. Se consagró campeón uruguayo en siete oportunidades (parte del primer quinquenio), campeón de la Libertadores en tres ocasiones (1960, 1961 y 1966) y campeón Intercontinental en dos (1961 y 1966).
Se caracterizó por marcar goles claves y decisivos en todas las competencias: En la primera Libertadores marcó los dos tantos de la tercera semifinal ante San Lorenzo y el único en la primera final ante Olimpia. Es uno de los 20 mejores futbolistas de América del Sur del Siglo XX. En 2006 sufrió un infarto y falleció.