Скрипач Шраммель пишет венские песни, но оставляет их пылиться в своем ящике. Его брат, также музыкант, обнаруживает партитуры и хочет тайно их обнародовать.

Ohne das Wissen seines Bruders macht Joseph Schrammel dessen Lieder in Wien populär. Als Johann davon erfährt, kommt es zum Streit zwischen den Geschwistern und ihren beiden Mitmusikanten, der nur mit Hilfe der Sängerin Fiakermilli beigelegt werden kann. Das wieder versöhnte Quartett tritt daraufhin unter dem Namen 'Die Schrammeln' auf und wird berühmt. Doch ein weiterer Streit steht bereits bevor.

Johann Schrammel, der mit seinem Bruder Josef Schrammel, Georg Dänzer und Anton Strohmayer ein Streichquartett bildet, hält seine leichten Kompositionen für minderwertig und weigert sich diese aufzuführen. Joseph stiehlt daraufhin die Noten aus der Schreibtischlade, schreibt Texte dazu und zieht gemeinsam mit Strohmayer als Straßenmusikant durch Wien. Das einfache Volk ist begeistert und die Lieder werden zu Gassenhauern. So erfährt auch der berühmte Musikverleger Haslinger davon, der Johann zum Vorspielen einlädt. Zur Verwunderung von Johann will Haslinger aber nichts von den ernsten Stücken wissen, sondern nur von den heiteren die zufällig gerade jetzt von Josef und Strohmayer im Hof gespielt werden. Johann wird wütend, und alle vier zerstreiten sich. Die ebenfalls anwesende Fiakermilli lockt die vier zu einer ihrer Vorstellungen und zwingt sie gemeinsam zum ersten Mal als „Die Schrammeln“ zusammen zu spielen. Das Publikum ist begeistert ...