Issu de la vieille famille des Anicii, il a pour ancêtre, Sextus Petronius Probus, puissant ministre de Valentinien Ier ainsi que le consul de 395, Anicius Hermogenianus Olybrius. Il épouse vers 454 Galla Placidia la Jeune, fille de Valentinien III. Il a une fille Anicia Juliana née vers 465. Il devient par ce mariage, beau-frère d'Huneric, roi des Vandales et fils de Genséric, qui a épousé la sœur de Galla Placidia, Eudocia en 455.
Sénateur à Rome, le 2 juin 455 lorsque Genséric prend la ville. Fait prisonnier avec son épouse, sa belle-sœur, et sa belle-mère, l'impératrice-veuve Eudoxia. Ils sont emmenés à Carthage à la cour de Genséric avec plusieurs milliers de prisonniers, principalement des artisans. Libéré par Genséric avec sa famille en 462, il vit comme simple particulier à Constantinople et consacre son temps à des oeuvres de charité restaurant notamment l'église Ste Euphémia fondée par sa belle-mère Eudoxia. Il est nommé consul pour l'Occident par Léon Ier en 464.
A la mort de Sévère le 14 novembre 465, Genséric qui a apprécié Olybrius durant sa captivité le propose comme empereur d'Occident à Léon Ier. Mais Léon Ier lui préfère Anthémius en 467.
En mars 472, Ricimer et Anthémius sont en plein conflit. Léon Ier envoie Olybrius pour tenter de réconcilier les deux hommes. Olybrius débarque en Italie. Ricimer qui fait le siège de Rome où Anthémius est enfermé. Ricimer lui propose le trône d'Occident qu'il accepte le 23 mars 472. Léon Ier, réalisant le danger d'avoir un collègue favorables aux Vandales, enjoint à Anthémius de faire assassiner Olybrius. Mais Ricimer parvient à intercepter l'ordre.
Le 11 juillet 472, Ricimer prend la Ville et Olybrius le pouvoir. Anthémius est décapité. Mais Olybrius n'a aucune autorité face à Ricimer. Le 19 août 472, Ricimer meurt brutalement d'une hémorragie, vomissant du sang. Seul au pouvoir, Olybrius cherche à obtenir la reconnaissance de Léon Ier qui la lui refuse.
Il meurt le 2 novembre 472 d'hydropisie, maladie du cœur commune aux descendants de Théodose.
Sa femme Placidia lui survit longtemps à Constantinople. Sa fille Anicia Juliana reçoit le titre de Patricia. Zénon pense d'abord à la marier à Théodoric l'Amale, roi des Ostrogoths mais elle épouse finalement Fl. Areobindus Dagalaiphus Areobindus, arrière petit fils d'Aspar, maître de la milice vers 503-505 et consul en 506. Juliana hérite comme son père de sa dévotion religieuse et prend parti pour les Chalcédoniens contre l'empereur Anastase (491-518). Elle restaure à son tour l'église Ste Euphemia et agrandit l'église St Polyeucte. Vers le milieu des années 520 elle construit une petite église en l'honneur de la Vierge Marie à Constantinople. Elle meurt vers 527-528. Elle a un fils nommé également Olybrius, consul en 491 et une petite fille nommée Proba.