Dès 1792, l'Assemblée législative se soucie de disposer d'ouvrages de référence. En 1793, un bibliothécaire est nommé : l'abbé Grégoire. En 1794, le Comité de Salut public décide, sur rapport du Comité d'Instruction publique, de constituer « une collection des meilleurs ouvrages sur les objets relatifs aux travaux des différents comités de la Convention nationale » et, le 4 mars 1796, une bibliothèque est créée par la loi, initialement à l'usage commun des deux Chambres du Corps législatif.
La Bibliothèque s'accroît dès l'origine, et surtout sous la direction d'Armand Gaston Camus, d'une quantité importante d'ouvrages tirés des Dépôts littéraires où furent réunies, à la Révolution, les bibliothèques des religieux et des émigrés. A partir de 1796, comme la Bibliothèque nationale, elle bénéficie d'un dépôt légal qui ne sera supprimé qu'en 1828. Jusqu'à la monarchie de Juillet, elle n'apparaît pas seulement comme un organe de documentation pour le législateur mais, grâce notamment aux achats de Pierre-Paul Druon qui succède à Camus en 1804, comme un cabinet de pièces rares et précieuses.
Son installation reste pourtant précaire et changeante jusqu'en 1834. A cette date, après l'acquisition par l'État de la propriété du duc de Bourbon en 1827, des locaux définitifs sont édifiés par Jules de Joly, sur l'emplacement d'anciennes cours et jardins : c'est un majestueux vaisseau de 42 mètres de long, 10 mètres de large, 15 mètres de haut, terminé par deux hémicycles et divisé en cinq travées coiffées par des coupoles. 60 000 ouvrages trouvèrent place sur ses rayons.
En 1838, Eugène Delacroix fut chargé de sa décoration. Ce travail, constamment interrompu par les sessions parlementaires qui obligeaient à démonter les échafaudages, et par celui également entrepris par Delacroix au Palais du Luxembourg, prit neuf ans.
Aujourd'hui, les acquisitions qui concernent presque exclusivement les besoins propres au législateur, ont décuplé le nombre des livres. La plupart sont entreposés sur 18 kilomètres de rayonnages dans les sous-sols de la Cour d'honneur.