Avant sa retraite, Ulysse était un professeur d'école du District 13 à Shédiac, Cap-Pelé, Shemogue et Cocagne. Il était un membre du Club d'Âge d'Or et les Chevaliers de Colomb de Cap-Pelé. Il aimait la chasse et la pêche.

Prior to his retirement, Ulysse was a school teacher for District 13 in Shediac, Cap-Pelé, Shemogue and Cocagne. He was a member with the Golden Age Club and the Knights of Columbus in Cap-Pelé. He enjoyed hunting and fishing.