Die Anfänge der parlamentarischen Untersuchungsausschüsse reichen bis ins 19. Jahrhundert zurück. Schon in der Frankfurter Nationalversammlung 1848 gab es Bemühungen, den Volksvertretern Zugang zu Sachinformationen zu gewähren, über die normalerweise nur der Regierungsapparat verfügte.

Ausgangspunkt war das Bestreben, dem Parlament wirksame Kontrollbefugnisse gegenüber Regierung und Verwaltung zu sichern. Diese Überlegungen blieben zunächst ohne Erfolg, weil ein parlamentarisches Kontrollrecht gegenüber der Regierung mit dem monarchischen Prinzip unvereinbar gewesen wäre.

Dennoch enthielt die Geschäftsordnung der Frankfurter Nationalversammlung bereits einen Paragrafen über parlamentarische Untersuchungsrechte, und auch der Entwurf einer Verfassung des Deutschen Reiches von 1849 sah ein Untersuchungsrecht des Parlaments vor.

Diese Konzepte gingen zwar nicht in die Reichsverfassung von 1871 ein, dienten aber als Vorbild für die Verfassungen einzelner Länder. Dass sich diese Regelungen letztlich weitgehend wirkungslos blieben, lag daran, dass sie weder Zwangsmittel gegenüber aussage- oder informationsunwilligen Zeugen und Regierungen noch verbriefte Minderheitenrechte vorsahen.

Die Einsetzung von Untersuchungskommissionen durch eine parlamentarische Mehrheit erwies sich in dem Maße als nicht mehr ausreichend, in dem das konstitutionelle Prinzip an Bedeutung verlor und die Regierung begann, von eben dieser Mehrheit getragen zu werden. In Artikel 34 der Weimarer Reichsverfassung wurde deshalb erstmals das Recht festgeschrieben, bereits mit einer bestimmten Minderheit der Parlamentarier Untersuchungsausschüsse einzusetzen.

Daneben führte die Weimarer Verfassung zwei weitere Neuerungen ein, die zum Vorbild für Artikel 44 des Grundgesetzes von 1948 wurden: Für die Beweiserhebung sollten die Regeln des Strafprozesses entsprechend Anwendung finden. Zudem wurde der mögliche Einsatzbereich von Untersuchungsausschüssen erheblich ausgeweitet.

Beide Regelungen waren bei den Beratungen über das Grundgesetz der Bundesrepublik nochmals umstritten, setzten sich aber letztlich in der weiten Fassung der Weimarer Reichsverfassung durch.