Legalitetsprincipen utgår ifrån grundlagarna, närmare bestämt Regeringsformen, och menar att all offentlig makt står under lagen. Med detta menas att maktutövarna skall sköta sig i enlighet med gällande rätt och att Sverige skall styras i enlighet med de lagar som gäller. Att den offentliga makten skall kunna ställas till svars för sina beslut och att detta beslutsfattande måste ske i enlighet med lag, är den grundläggande tanken bakom legalitetsprincipen. Själva principen kan sammanfattas i två enkla punkter: att maktutövarna och myndigheternas beslut alltid måste ha grund i lagen samt att särskilt allvarliga beslut som kan påverka medborgarna även de kräver ett särskilt lagstöd. Legalitetsprincipen kan därmed sammanfattas som folkets möjlighet att utöva tillsyn över maktutövarna. Regeringsformen säger därmed att all offentlig makt, d.v.s. myndigheternas makt i detta fall, måste utövas under lagen. Ett ganska bra exempel på detta är att en myndighet måste basera alla sina beslut på lagen och kan därmed inte fatta godtyckliga beslut.
Själva kärnan i legalitetsprincipen är kravet på att myndigheterna skall vara bundna av viss formalia, d.v.s. att beslut inte kan fattas utan att detta kan finna stöd i lagtexten eller föreskrifterna. Inte heller domstolar skall fatta några beslut utan att dessa kan finna stöd i lagtexten. Det hela leder alltså till en återblick på att riksdagen måste lagstifta för att övriga myndigheter skall ha något att följa. Har inte riksdagen tagit beslut eller lagstiftat, så kan inte heller övriga myndigheter ta några beslut i frågan, om inte det finns stöd i lagtexten. Principen är alltså uppbyggd på att skydda invånarna från ett godtyckligt beslutsfattande av makthavarna, och ser till så att alla beslut fattas i enlighet med lag och rätt.
Tanken bakom legalitetsprincipen, som inleder Regeringsformen och sätter tonen för den grundlagen, är att begränsa den offentliga makten. Inom juridiken, eller inom svensk juridik bör man kanske säga, är tanken att alla är lika värda. Detta gäller till och med myndigheterna, som alltså inte är värda mer än gemene man. Genom en sådan princip, som effektivt sett begränsar den offentliga makten och ser till så att det är ett grundlagsstadgat krav att myndigheter skall fatta sina beslut i enlighet med lag, så har man syftat till att skyddat individen från ett potentiellt maktmissbruk från myndigheternas sida.
Legalitetsprincipen finns även inom exempelvis straffrätten, men tonen är väldigt lik den offentligrättsliga. Inget straff kan utdömas om inte det som skett kan beskrivas som brottsligt enligt lagtexten (inget straff utan lag, som är den förenklade versionen) eller enligt latinets nulla poena sine lege. Gäller det straffrätt, förvaltningsrätt, eller offentlig rätt, så är grundtanken den samma bakom legalitetsprincipen, att beslut skall fattas utefter vad som står i lagen.