In MILIONI di modi diversi :)
Intanto, che tipo di server? Web? FTP? SAN?
E con che sistema operativo? Linux? BSD? Windows?
La tua domanda è estremamente generica :)
Una risposta quindi altrettanto generica, solo per scopo didattico (per stimolare la tua curiosità :) )...
Visto il grandissimo numero, non entrerò nei dettagli dei vari tipi di attacchi. Anche perché alcuni, per essere compresi, richiedono buone capacità di programmazione, soprattutto in ambiente web. Mi limito ad indicare il loro nome, invitandoti a cercare su Internet se vuoi approfondire...
Premetto anche che io stesso non ho esperienze pratiche di cracking. Non l'ho mai fatto, e conosco i vari tipi di attacco soprattutto per averli studiati teoricamente. Sono infatti un web developer da diversi anni (lo faccio come lavoro nel tempo libero), e per me conoscere i vari tipi di attacchi è importante per sapere come difendersi da essi.
Detto questo...
Bucare un server è sì fattibile in milioni di modi diversi, ma può essere anche estremamente complesso.
Intanto, bisogna vedere cosa effettivamente vuoi fare. Vuoi avere controllo completo del sistema? (accesso root?) Oppure vuoi rubare le password degli utenti di un sito web? Oppure ancora vuoi semplicemente buttare giù il server, rendendolo offline?
Partiamo dalla terza cosa, in assoluto la più semplice. Buttare giù un server è una cosa abbastanza "facile", e il modo più semplice è sovraccaricarlo. Soprattutto se il router a cui è collegato non ha protezioni, gli attacchi DoS/DDos, acronimo di (Distributed) Denial of Service, sono molto efficaci. Si tratta semplicemente di effettuare un numero elevatissimo (tant'è che spesso proviene da più fonti: è il caso dei DDos) di connessioni/richieste/messaggi, finché il server (o il router) non scoppiano.
Penetrare nel server è invece molto più complesso.
Nei server che ospitano siti web, il modo più semplice è cercare una falla nel codice dell'applicazione. Ad esempio, sono molto comuni quanto efficaci (se il programmatore non ha effettuato quelle semplici misure necessarie per proteggersi) gli attacchi di tipo SQL Injection, con il quale si può penetrare nel database (se è di tipo SQL).
Ancora, se il sito consente l'upload di file e questo non è sicuro, è possibile iniettare codice e quindi eseguirlo.
Similmente al SQL Injection, in alcuni casi è possibile anche eseguire codice arbitrario (ad esempio se l'applicazione esegue un comando esterno al quale passa degli input non filtrati).
Molte volte, però, ai cracker non serve entrare nel server per ottenere dati sugli utenti. Ad esempio è possibile rubare le password (o le sessioni), trasmettere virus ecc anche con attacchi di tipo XSS (cross-site scripting), session hijacking, ecc ecc!
Ancora, se i dati in input non sono filtrati a dovere, è possibile accedere a file per cui non hai l'autorizzazione, ecc ecc.
Bucare il server in sé, invece, può essere davvero complesso! Anche se, una volta che ci riesci, puoi anche ottenere accesso completo a tutto il server (ad esempio accesso root).
Escludendo i casi in cui l'amministratore è stato idiota (ad esempio usare password poco sicure, che possono essere scoperte con un brute force in breve tempo), in quasi tutti gli altri casi tu hai bisogno di cercare una falla nei programmi in esecuzione.
Intanto, quindi, devi sapere che programmi il server esegue. Ad esempio, se è un server Web in genere (ma non necessariamente) è basato su Linux (più raramente su Windows) e utilizza come server Apache o Lighttpd (su Windows può essere IIS). Puoi poi provare a cercare falle nei programmi di amministrazione, ad esempio SSH.
Non è assolutamente facile; anzi, in genere richiede una conoscenza ottima dei linguaggi di programmazione, e può servire un tempo lunghissimo per studiare i programmi e cercare gli errori. Alcuni programmi, poi, sono open source, e quindi puoi leggere il loro codice... Ma altri no! (anche se non necessariamente i software closed source sono più sicuri di quelli open... anzi, in molti casi avviene il contrario).
Se poi consideri il fatto che, soprattutto nei siti più grandi, i server web non sono connessi direttamente ad Internet, ma si passa attraverso cluster in cui sono connessi solo dei reverse proxy, o altre configurazioni strane... Bucare il server può essere davvero difficile!
----EDIT
Una piccola aggiunta, leggendo quello letto sopra.
Chiaramente, attaccare un server è illegale, e sei perseguibile (penalmente!) per pirateria informatica, più eventualmente altri reati (a seconda di quello che fai): furto di dati personali, furto di corrispondenza, furto di denaro, diffamazione... Ecc ecc ecc!
(Il resto della risposta è troppo lungo: leggi qui http://pastie.org/1409048 )