Elsőként tárta fel Magyarországon az értelmi fogyatékosok nehéz sorsát és hozott létre számukra nevelőintézetet (Rákospalota, 1875). Nevéhez fűződik a gyógypedagógia fogalmának bevezetése a magyar pedagógiai szakirodalomba.

Gimnáziumi tanulmányait Nagykanizsán folytatta. Már fiatalon, 14 éves korától érdekelték a fogyatékkal élő emberek, és elhatározta, hogy a későbbiekben nekik akar segíteni. Tanított Varasdon, Szentpéterfán, Körmenden és Sárváron. Kőszegen elvégezte a tanítói pót-tanfolyamot, majd jelentkezett a fővárosi Tanítóképzőbe. Budapesten kapott tanítói oklevelet. Két tanára támogatásával Trefort Ágoston miniszter Frimet európai tanulmányútra küldte. Francia, holland, német és orosz gyógyintézeteket tanulmányozott, hogy hasonló hazai gyógyintézetet hozzanak létre. 1875. november 1-jén nyílt meg a Munka elnevezésű gyógyintézet Rákospalotán, ami részben az ő tapasztalatain, jártasságán alapult. 1896-ban a folyamatos anyagi problémák miatt felajánlotta az államnak. Testvére Frim Antal szintén gyógypedagógus volt, siketek számára magánintézetet működtetett (1885-1897).

A gyakorlati nevelőmunka mellett széles körű tudományos munkásságot folytatott. Mindig figyelemmel kísérte a pszichológia és pszichiátria legújabb kutatásait, ezáltal tudta alakítani és tökéletesíteni a gyógypedagógia módszertanát. A zenét az egyik legfontosabb képzőeszköznek tartotta, valamint az emlékezet fejlesztését történetek újramondásával. A tanítók figyelmét a szeretetteljes bánásmódra és a nagyfokú türelemre hívta fel:

„Minden gyermek külön veendő elő, a tanító figyelje vagy tanulja meg, mint kell vele bánni és mint győzheti le a testet és szellemet fogva tartó gyengeségeket. Erre vonatkozólag nem lehet pontos szabályokat állítani; egy valami állandó: hogy a tanító szeretetteljes bánásmód által a gyermekeket magához vonzza és hogy befolyást nyerjen náluk” (Frim, 1884, 50.)Az előkészítő tanítás utáni iskoláztatásnál a szemléleti oktatást helyezte előtérbe. Felismerte, hogy fontos a hozzá kerülő gyermek korábbi adatainak, élete eseményeinek ismerete is, ezzel a mai anamnézis lap elődjét fedezte fel. Tantervet és órarendet nem készített, elveit és módszereit vázlatosan jegyezte le. Frim külön tanulmányozta azokat a szakmákat, amelyekben neveltjei meg tudják állni helyüket. Szerinte a társadalom számára hasznos szakmát kell tanítani az értelmi fogyatékosoknak, hogy ezzel is segítsék számukra az életbe való beilleszkedést, integrálódást. A nevelés alapja szerinte a szoktatás az engedelmességre, a rendre, valamint a társas életre.