Ο σύλλογος ιδρύθηκε το 1896, μετά τη νίκη του Mαρουσιώτη Σπύρου Λούη στο μαραθώνιο δρόμο των Α΄ Ολυμπιακών Αγώνων. O σύλλογος μετείχε στο Πανελλήνιο πρωτάθλημα Στίβου Ανδρών 1901 με δέκα (10) αθλητές, οι οποίοι αγωνίστηκαν με κίτρινη στολή, που φαίνεται πως καθιερώθηκε από το ξεκίνημά του. Όμως, ο αρχικός ενθουσιασμός έσβησε γρήγορα, διότι οι κάτοικοι του προαστίου δεν έδειξαν ιδιαίτερο ζήλο για τον οργανωμένο αθλητισμό, παρά το ότι κατά καιρούς αναγγελλόταν η συμμετοχή τους σε αγώνες μαραθωνίων ή ανωμάλου δρόμου. Μοιραία οι διοικούντες σταδιακά αδιαφόρησαν και ο σύλλογος αδράνησε.

Η αναγέννηση του συλλόγου συνέβη το 1923, όταν ανέλαβε την προεδρία ο Λ. Πτέρης, ο οποίος με προσωπική εργασία και ζήλο κατάφερε να ξαναφέρει το σύλλογο στο προσκήνιο και να αναδείξει πρωταθλητές πανελλήνιου επιπέδου και διεθνείς, όπως ο Στυλιανός Μπεναρδής και ο Καραγιάννης που μετείχαν στην Ολυμπιάδα του Παρισιού το 1920 και ο Παούρης στην Ολυμπιάδα του Άμστερνταμ το 1924.

Τη δεκαετία αυτή ο ΓΣ Αμαρουσίου γνωρίζει μεγάλες διακρίσεις, αθλητές του μετέχουν σε γνωστούς και σε διεθνείς αγώνες (Ελληνοϊταλικοί, Ελληνογαλλικοί, Παναθήναια, Αβερώφειοι, Πανιώνιοι Αγώνες, Αιγυπτιακοί, Παγκυπριακοί κλπ) καταρρίπτουν πανελλήνια ρεκόρ, ενώ αναφέρεται συμμετοχή και σε αγώνες κωπηλασίας με τον αθλητή Γνευτό στην Αλεξάνδρεια.

Προς το τέλος της δεκαετίας του ’20, η δράση του συλλόγου περιορίζεται αλλά επαναδραστηριοποιείται ξανά στα μέσα της δεκαετίας του ’30, προσπαθώντας να φτιάξει την παλιά του αίγλη.