Yves Roby est né le 29 avril 1939 dans une famille ouvrière de la basse-ville de Québec. Sa mère, Marie-Louise Chamberland, était couturière et son père, Armand, barbier. Après de nombreux déménagements, la famille se retrouve finalement à la campagne, à l'Ancienne-Lorette.