Sjølv om han offentleggjorde mindre prosaartiklar, har Hauge vore rekna nesten som rein lyrikar. Men det er eit prosaverk som ruver mest i omfang. Då han døydde, viste det seg at han hadde skrive dagbok frå han var 15 år; i bokform utgjer dette fem tjukke band på ca 4000 sider, Dagbok 1924–1994 (2000). Det er i omfang det største litterære dagboksverk på norsk. Hauge var også ein flittig brevskrivar. Breva hans til Jan Erik Vold (Under Hauges ord, 1994, ny utg. 1996) og Bodil Cappelen (Brev 1970–1975, 1996) er utgivne.

Dikta til Hauge viser frå første stund ein dobbel bakgrunn. På den eine sida har stoff og biletspråk heilt klårt utgangspunkt i bygdelivet og naturen i eigne dikt. Samstundes kjem det fram ei omfattande interesse for litteratur som alt tidleg viser seg i omsetjingsforsøk både av tilfeldige mindre kjende engelskspråklege forfattarar og av store namn i engelsk tradisjon med namn som William Shakespeare og Robert Browning. Den tidlege kontakten med det engelskspråklege er ikkje minst inspirert av brev og bøker frå morbroren i Amerika. I debutboka veks desse interessene delvis saman ut frå ei tydeleg interesse for romantisk tradisjon og skrivemåte. Det viser seg såleis eit openbert intertekstuelt samband både til norsk og engelsk romantisk dikting. Det store diktet «Song til stormen» kan openbert og fruktbart lesast opp mot mellom anna P.B. Shelleys «Ode to the West Wind» (1820), slik Karlsen 2000 viser (s 78 ff.).

Både ope og meir indirekte finst det mønster av dialog og samvær med eldre og stundom samtidig lyrikk og annan litteratur og kunstkultur gjennom heile forfattarskapen i eigne dikt. Dette skjer både i tradisjonell form, såleis i fleire sonetter – som apostrofisk tiltale (t.d. «Til Shelley», 1951) og i kunstverksekfrasar («Til eit Astrup-bilete», 1961) – og i frie vers («Til Li Po», 1961; «Leiv Eiriksson», «Bertolt Brecht», 1966; «Georg Trakl», 1971; «Paul Celan», 1980). Slike dikt kan gjerne innehalde merknader om dikting, poetikk.

Utsegnene om poetikk endrar seg. I 1946 («Song til stormen» og 1951 («Til Shelley») er dei klårt merkte av ein religiøst farga, idealistisk språkbruk. Seinare er språktonen annleis. I 1966 handlar det om å knyte diktekunsten til ein meir nær og intim menneskeleg og arbeidsorientert og friare praksis, av og til morosamt, halvt ironisk formulert: «Kan du gjera eit vers / som ein bonde tykkjer mun i, / skal du vera fornøgd. / Ein smed vert du aldri klok på. / Verst å gjera til lags er ein snikkar.» («Vers».) Seinare er talen meir dempa, til dels (sjølv)ironisk, til dels vemodig: «Frå morgonar for lenge sidan / slær gleda veikt på sitt koparskjold.» («I natt har graset vorte grønt», 1971); «…og eg syng. / Sorg er krafts uppkome» («Upp gjenom elvedalen», 1980).

I Glør i oska er den ytre diktforma oftast heilt tradisjonell, med strofer og enderim og heller fast metrum. Det frie verset kjem med for alvor frå 1951 (Under bergfallet), I dagboka gir Hauge uttrykk for skepsis mot tradisjonelle former i den forstand at han synest bunden form kan gå på kostnad av det poetiske. Han gir likevel ikkje opp verken strofa eller rimet som retoriske middel. Men det er karakteristisk at bortsett frå sonetta, som finst i heile produksjonen, vel han enklare og mindre faste strofer. Også dikt med enderim har ofte ei smal ytre form, og det kjem gjerne fram ved at tradisjonelle metriske linjer vert delte i to eller fleire kortliner. Det gir ei kjensle av at det vert lenger mellom rima, og rimsetjinga får ein meir irregulær, individuell verknad. I same lei verkar bruken av såkalla aksentvers, der talet på trykktunge stavingar i linja er fast, medan talet på trykklette kan variere. Dette står folkediktinga nær og gjer samstundes vegen kort til det frie verset. Hauge glir meir og meir over til det siste, og enderimet vert ofte eit uttrykksmiddel andre i fri verseform. Denne skrivemåten finst i Glør i oska og utviklar seg særleg i Under bergfallet og Seint rodnar skog i djuvet (1956). I På Ørnetuva (1961) er det nesten berre frie vers, medan det formelt mest særmerkte med Dropar i Austavind (1966) er at dei fleste dikta er svært korte, og frie vers dominerer. I dei to siste samlingane skjer det ikkje noko påfallande med den ytre forma; ein trygg og handfri variasjon er hovudinntrykket.

Det har etterkvart vist seg noko skilde oppfatningar av korleis ein best kan karakterisere Hauge som lyrikar. Han kom ikkje særleg fram i det litterære lyset før med På Ørnetuva (1961). Den boka fekk Norsk Litteraturkritikerlags pris og kom i nytt opplag vinteren 1962 med etterord av kritikaren Ragnvald Skrede.
Dei unge medvitne forfattarane som steig fram kring studenttidsskriftet Profil i slutten av 1960-åra, kom til å framheve Hauge som ein eldre yrkesbror dei såg opp til. Som rimeleg er forma dei delvis resepsjonen i sitt bilete. Det vart lagt stor vekt på at biletspråket var endeframt og sansenært, og at bileta kunne fungere poetisk utan å bli tolka som symbol eller allegori. Den boka av Hauge, der slik lesemåte høver aller best, Dropar i austavind, kom i 1966, nettopp i den aktuelle tida. Boka hadde også klåre formuleringar om poetikk som peika i same retning: «eit godt dikt skal lukta av te / eller av rå mold og nykløyvd ved» («Eg har tri dikt»), og «etter strevet kan du steikja flesk og lesa kinesiske vers» («Kvardag»). Tilvisinga til det kinesiske er ikkje tilfeldig; Hauge vart etterkvart særskilt oppteken av det einfelte i klassisk kinesisk poesi, og det viser seg særleg i fleire dikt i dei tre bøkene frå 1961 til 1971.

Ei slik haldning til skrivemåte hadde stundom kome til uttrykk i dikt før òg, men då gjerne kopla med eit dualistisk syn: Kunne ein ikkje følgje dei gamle romantikarane «til svimle høgder» («Til Shelley», 1951); kunne ein gi livsrett til meir endefram skrivemåte: «Stod eg med høvelbenken, / ravla eg på ei fjøl» («Stubbar og rim», 1946). Men elles er animistiske drag noko som følgjer Hauge heile vegen, tydeleg å sjå t.d. i diktet «Elvi burtanum fjorden» (1956) der skildringa av elva som dett nedetter fjellsida, glir mot eit menneskeportrett, «strævar og dett –», «bullar i kvitskjegget». Dette diktet blir meir modernistisk enn romantisk, og i På Ørnetuva (1961) er ei haldning som går mot ein eksistensialistisk modernisme meir gjennomført, sjølv om det òg finst ein dialog med tradisjonen, slik Pollen 1986 hevdar. At det romantiske står sterkt heile vegen, er eit hovudsynspunkt i Ole Karlsens doktoravhandling om forfattarskapen (Karlsen 2000), og det synspunktet er ikkje minst grunnlagt på analyse av Hauges dialog med tradisjonen, slik den kjem til syne i ein vev av metadikt og intertekstuelle sambandsliner. Men ei forsoning av det dualistiske som i klassisk romantikk er sjeldan mogleg, sjølv om interessa for tradisjonelle motiv og for det romantiske held seg.

Men dialogen hos Hauge går vidare enn til det romantiske i litteraturhistorisk meining. Når han i dei tre siste diktsamlingane omtalar eller spelar intertekstuelt mot andre diktarar, er det like gjerne både førromantikk, både klassisk auropeisk (Vergil), klassiske kinesiske poetar (T’ao Ch’ien, Lu Chi); den norrøne Egil Skallagrimsson, og etterromantiske europeiske modernistar (Georg Trakl, Bertolt Brecht, Paul Celan).

Eit liknande dialogisk mangfald finst i omsette dikt. Dette er eit stort felt i Hauge sin lyriske produksjon. Dikt i umsetjing er i siste utgåva (1992) mest likså omfattande som hans eigne Dikt i samling. Eit viktig atterhald er at omsetjingane er frå tre, rett nok store språk, engelsk, tysk og fransk. Han ville ikkje setje om via mellomspråk og heller ikkje frå dei skandinaviske grannespråka. Det relativt høge talet på omsetjingar frå engelsk heng òg saman med at han fekk først og grundigast kjennskap til det språket. Men gitt slike rammevilkår og avgrensingar, kan ein sjå korleis romantikken på engelsk og tysk og symbolisme og ulike modernistiske retningar og forfattarar har interessert han, lyrikk frå heile den moderne tradisjonen med andre ord. Fleire av dei han har arbeidt mykje med, er poetar som har stått litt på sida eller merkt seg ut frå det gjengse også i si samtid, som Friedrich Hölderlin, Arthur Rimbaud, Bertolt Brecht eller Sylvia Plath. Han viser interesse både til det nære og dominerande poetiske biletet hos ein imagist som T.E. Hulme og til det komplisert og eksistensielt gåtefulle hos ein særmerkt samtidig som Paul Celan. Å sjå kva lyrikarar han set om kompletterer stort sett oppfatningar som hans eigen dikt også gir uttrykk for.