Volgens de biografie over Frieda Belinfante zou Ary naar een openbare school in de Jodenbuurt zijn gegaan om daarna naar de Hogere Burgerschool aan de Keizersgracht te gaan. Hoewel Ary Belinfante zijn carrière in de muziek zou maken, was dit aanvankelijk niet de bedoeling. Na zijn middelbare school was hij gestart met een studie medicijnen. Pas op 21 jarige leeftijd begon hij met zijn studie muziek aan het conservatorium van Amsterdam.
Op zijn 20ste werd hij gekeurd voor de militie. Uit de gegevens van het militieregisters blijkt dat hij: 1.65(3) meter lang was, bruine ogen, kleine ogen, ronde kin en zwart haar! Hij werd ingedeeld bij het 7e Regiment Infanterie, vanaf 27 juni 1890. Verder de aantekening dat hij ‘ingevolge artikel 9 als vrijwilliger werd ingedeeld bij genoemd regiment. Of hij zijn diensttijd nu echt heeft vervuld, lijkt in tegenspraak met wat in de biografie wordt genoemd. Daarin wordt tenslotte verwezen naar zijn studie medicijnen en dat hij na drie jaar stopte voor de studie muziek.
In de biografie over Frieda Belinfante wordt goed beschreven dat het niet echt werd gewaardeerd dat hij met zijn studie medicijnen wilde stoppen. Een armeluisbestaan als musicus in plaats van een artsenbestaan zag men niet zitten. Toch had zijn vader hem al op jonge leeftijd kennis laten maken met de muziek. Hij studeerde inmiddels al drie jaar aan de Gemeente-universiteit van Amsterdam. Zijn oom Raphael Segueira die de studie financierde trok zijn handen van hem af. Ary moest het verder zelf maar uitzoeken.
Gedurende twee jaar bezocht hij het Amsterdamsch Conservatorium en kreeg les in pianospel van Julius Röntgen en Daniël de Lange en na het verlaten van deze school van Henri Tibbe, benevens onderwijs in compositie van B. Zweers.
Als vertaler en repetitor van studenten financierde hij zijn studie. Het was een karig bestaan en ook zwaar, maar Ary was een doorzetter en in 1893 studeerde hij af. Blijkbaar maakte hij indruk, want hij kreeg direct een baan aangeboden bij de Orkestschool van Willem Kes (dirigent van het Concertgebouw Orkest). Het Concertgebouw was in 1893 vijf jaar oud. Meer lezen over de geschiedenis van deze concertzaal: De geschiedenis van het Concertgebouw.
Een jaar later, 1894, werd hij tevens aangesteld als docent muziekgeschiedenis en kreeg daarmee een vast salaris.