Tiedonhaun tavoitteena on löytää hakijalle relevanttia eli oleellista tietoa, useimmiten relevanttien dokumenttien muodossa. Jotta haun onnistumista voidaan mitata, pitää määritellä, mitkä tulosjoukon dokumenteista ovat relevantteja. Relevanssi voidaan siis määrittää kyselyn suhteena haun tuloksena syntyviin tietolähteisiin. Relevanssi on yksi tiedonhaun ja informaatiotutkimuksen keskeisistä käsitteistä, jonka määrittelystä käydään edelleen aktiivista keskustelua.
Relevanssi tiedonhaussa
Relevanssi voidaan nähdä suhteena kahden osatekijöistä muodostuvan ryhmän välillä.[1]
- Ryhmä 1:
- a. Dokumentti, fyysinen yksikkö, jonka tiedonhakija vastaanottaa tiedonhaun tuloksena
- b. Dokumentin korvike, joka edustaa dokumenttia. Dokumentin korvikkeita ovat muun muassa nimeke, tekijän nimi ja asiasana.
- c. Tieto, jonka tiedonhakija vastaanottaa luettuaan dokumentin.
- Ryhmä 2:
- a. Ongelma, johon käyttäjä hakee tietoa löytääkseen ratkaisun.
- b. Tiedontarve, joka muodostuu tiedonhakijan jäsentäessä kohtaamansa ongelmaa.
- c. Kysely, jonka tiedonhakija muodostaa omasta tiedontarpeestaan luonnollisella kielellä.
- d. Haku, jonka muodossa tiedonhakujärjestelmä käsittelee tiedonhakijan kyselyn.
Relevanssi voidaan jakaa aihe- ja käyttäjärelevanssiin. Aiherelevanssi on enemmän järjestelmä- ja algoritmikeskeinen, kun taas käyttäjärelevanssi keskittyy enemmän relevanssin arviointiin käyttäjän näkökulmasta. Informaatiotutkimuksen päähuomio on nykyisin siirtynyt aiherelevanssista käyttäjärelevanssia kohti. Tiedonhakijan esittämä kysely ei ole sama asia kuin tiedonhakijan tiedontarve. Tämän vuoksi relevanssia tulisi pikemminkin verrata tiedonhakijan tiedontarpeeseen kuin hänen kyselyynsä.[2]
Relevanssin määritelmästä on ollut kiistanalaisuutta. Tutkijat ovat kuitenkin löytäneet neljä olennaista piirrettä, jotka tulisi ottaa huomioon:[3]
- Luonne: Missä puitteissa relevanssia tulisi määrittää ja tutkia? Mitä puitteita voidaan käyttää pohjana relevanssin ilmenemismuotojen, käyttäytymisen ja vaikutusten tutkimiselle?
- Ilmenemismuodot: Millä eri tavoin ja missä asiayhteyksissä relevanssi ilmenee? Mikä olisi sopiva luokittelutapa relevanssille jatkotutkimuksia ajatellen?
- Käyttäytyminen: Mikä on havaittavissa olevan relevanssikäyttäytymisen vaihtelevuus eri kontekstien ja muuttujien välillä? Miten relevanssikäyttäytyminen linkittyy tiedonhakuun, tiedonhankintaan ja tiedon käyttöön?
- Vaikutukset: Miten relevanssia voi hyödyntää teoreettisessa ja soveltavassa tutkimuksessa, sekä tiedonhakujärjestelmien kehittämisessä ja niiden arvioinnissa?
Tutkimushistoria
Tutkija Mizzaro jakaa relevanssin tutkimushistorian kolmeen ajanjaksoon.[1]
Ennen vuotta 1958
On ehdotettu, että relevanssi oli ajankohtainen kysymys jo silloin kun perustettiin ensimmäisiä kirjastoja – kirjastojen käyttäjät halusivat löytää relevanttia informaatiota. Vaikka monet tutkijat olivat käsitelleet tutkimuksissaan kysymystä, oliko tiedonhaussa löydetty tieto relevanttia, ennen vuotta 1958 ei termiä ”relevanssi” oltu varsinaisesti määritelty eikä se ollut yleisessä käytössä.”
Vuonna 1958, tutkija Vickery esitti International Conference for Scientific Information -tilaisuuden väittelyosuudessa käsitteen ”relevanssi”, tästä tuli myöhemmin merkittävä virstanpylväs relevanssin tutkimushistoriassa. Vickery erotti aiherelevanssin ja käyttäjärelevanssin toisistaan jo tässä vaiheessa..
Vuodet 1959 – 1976
Vuonna 1960, tutkijat Maron ja Kuhns päätyivät siihen tulokseen, että dokumentin relevanssisuhde tehtyyn tiedonhakuun on eri asia, kuin dokumentin relevanssisuhde hakijan tiedontarpeeseen. Kolme vuotta myöhemmin, tutkija Fairthorne esitti väitteen, jonka mukaan relevanssia tulisi ainoastaan mitata aiherelevanssin näkökulmasta. Hänen mukaansa mikäli hakijan yksilöllisyys otettiin huomioon, tällöin mikä tahansa teksti olisi relevantti mille tahansa haulle jostain näkökulmasta katsottuna.
Tällä aikavälillä monet tutkijat täydensivät relevanssin määritelmää erottamalla relevanssiin liittyviä ominaisuuksia, kuten ajankohtaisuus ja käytettävyys, sekä relevanssiin vaikuttavia tekijöitä, kuten dokumentin ominaisuudet. Vuonna 1971 julkaistussa tutkimuksessa, tutkija Cooper sovelsi matemaattisen logiikan käsitteitä määrittämään relevanssia. Hän esitti relevanssia kuvaavan yhtälön, jossa hän kuvaili dokumenttia lauseiden joukkona ja huomioi lauseiden väliset relevanssisuhteet.
Vuoden 1977 jälkeen
Tutkimuksen painotus siirtyi määritelmästä perustavanlaatuisiin kysymyksiin. Tutkijat alkoivat tarkastella relevanssin suhdetta muihin tieteenaloihin, matemaattista logiikkaa käyttäen monet tutkijat loivat uusia malleja relevanssille ja relevanssia alettiin soveltamaan yhdestä dokumentista dokumenttikokonaisuuksiin. Yhtenä esimerkkinä relevanssin mallintamisesta voidaan pitää tutkija van Rijsbergenin esittämää teoriaa: jos dokumenttia ja hakua edustavat d ja q, niin dokumentti on relevantti haulle mikäli olettamus d → q on tosi.
90-luvulla käyttäjän rooli tiedonhaussa nähtiin aiempaa tärkeämpänä, mikä toi uuden näkökulman tutkimukseen: käytettävyys ja käyttäjäkeskeisyys sekä kognitiivinen ulottuvuus. Esimerkiksi tutkija Su esitti 20 arviointikriteeriä, joita voitiin soveltaa tiedonhakujärjestelmiin ja jotka jakautuivat seuraaviin ryhmiin: relevanssi, tehokkuus, käytettävyys ja käyttäjätyytyväisyys. Näiden lisäksi, hän loi ylimääräisen kriteerin, joka mittaa haun onnistuneisuutta käyttäjän näkökulmasta.
Aiherelevanssi
Aiherelevanssissa tarkastellaan sitä, käsitteleekö dokumentti tiedonhaun määrittelemää aihetta. Dokumentin aiherelevanssin voi arvioida muun muassa asiantuntijoiden muodostama raati, joka vertaa tiedonhaussa saatuja dokumentteja hakupyyntöön.[4]Aiherelevanssia käytetään lähinnä, kun halutaan mitata hakujen onnistumisastetta eri tiedonhakujärjestelmissä. Aiherelevanssi ei ota juuri huomioon itse tiedonhakijaa. Lähtökohtana on, että relevanssi on etsittävän dokumentin ominaisuus, eikä riipu tiedonhakijasta.
Aiherelevanssin näkökulma on luonteeltaan tekninen ja sitä käytetään tehokkaampien tiedonhakujärjestelmien luomiseksi. Tutkimusasetelmat voidaan kirjata tarkasti ylös ja ne ovat toistettavissa. Tämä helpottaa eri tiedonhakujärjestelmien vertailua.[5]
Käyttäjärelevanssi
Käyttäjälle eli tiedonhakijalle informaation relevanssiin vaikuttaa useammat tekijät kuin pelkästään hakukysymyksen ja löydettyjen dokumenttien kuvauksen välinen täsmäävyys.
Tiedonhakijalle dokumentin relevanssi vaihtelee suuresti, koska hänen tietomääränsä haetusta aiheesta lisääntyy ongelmanratkaisun edetessä. Käyttäjärelevanssi on dynaaminen näkökulma, koska kyse on tiedontarpeen ja löydetyn informaation suhteesta tietyllä ajanhetkellä.[5]
Käyttäjälle merkittäviä tekijöitä dokumentin relevanssia arvioitaessa ovat dokumentin informaatiosisältö, dokumentin saatavuus ja pituus. Käyttäjä arvioi dokumentin relevanssia tiedonlähteen ja dokumentin tekijän perusteella. Relevanssin kokemukseen vaikuttaa käyttäjän oma tilanne, kuten käytettävissä oleva aika, käyttäjän aiemmat kokemukset aiheesta ja henkilökohtaiset mieltymykset.[6]
Subjektiivinen relevanssin luokittelu
Tefko Sarasevic on kehittänyt mallissaan relevanssin määritelmää aihe- ja käyttäjärelevanssia hienojakoisemmaksi. Hänen subjektiivisen relevanssin luokittelussa otetaan kattavasti huomioon tiedonhaun vuorovaikutteinen puoli. Usein käyttäjän suorittama relevanssiarvio tapahtuu intuitiivisesti yhdistäen käyttäjän aikaisempaa tietämystä, tilanteeseen ja työtehtävään liittyvää senhetkistä tarvetta sekä affektiivisia ominaisuuksia joita käyttäjällä on haun kohdetta kohtaan. Sarasevicin malli kuvaa viisi relevanssin luokkaa, joissa myös subjektiivisuus on otettu huomioon.[6]
- Algoritminen relevanssi
- Kyseessä on kyselyn ja saadun tekstidokumentin välinen suhde. Mitataan objektiivisesti hakualgoritmin ja haussa saadun järjestetyn dokumenttijoukon avulla.
- Aiherelevanssi
- Arvioidaan kyselyn ja saadun dokumentin suhtautumista kyselyn aiheeseen. Miten aihe ilmenee kyselyssä ja dokumentissa.
- Kognitiivinen relevanssi
- Käyttäjä arvioi dokumentin relevanssia omiin tietoihinsa nähden. Käyttäjällä ei välttämättä ole vielä tarpeeksi tietoa etsimästään aiheesta, jolloin dokumentti ei tämän hetkiseen kognitiiviseen tilaan ole relevantti. Vaihtoehtoisesti käyttäjällä on hyvät pohjatiedot aiheesta ja hän kaipaa tarkempaa kuvausta etsimästään aiheesta.
- Tilannerelevanssi
- Käyttäjä arvioi hakutuloksia senhetkiseen, työn alla olevaan tehtävään, johon tiedontarve liittyy.
- Affektiivinen relevanssi
- Motivaatio- tai tunneperäisen relevanssiarvion taustalla on käyttäjän tavoitteiden, pyrkimysten sekä motivaation suhde tietolähteeseen. Käyttäjä saattaa esimerkiksi jättää käyttämättä dokumenttia, joka ei vastaa käyttäjän omaa arvomaailmaa vaikka dokumentti olisikin relevantti tiedonlähde muilta osin.[6]
Relevanssin arviointi
Järjestelmärelevanssi
Järjestelmärelevanssi on järjestelmän suorittamaa relevanssin arviointia joko algoritmin tai aiheen näkökulmasta.
Hakujärjestelmät käyttävät erilaisia algoritmeja tehdäkseen hakuja tietokantoihin. Algoritmisessa järjestelmärelevanssin arvioinnissa haut suoritetaan testitietokantaan, josta tiedetään kuinka monta relevanttia ja ei-relevanttia dokumenttia se sisältää. Tarkoitus on arvioida ja verrata erilaisten algoritmien suoriutumista hakutehtävistä.[7]
Testitietokannassa olevien dokumenttien relevanssin arviointi on asiantuntijoiden suorittama, tällöin saadaan varma tieto relevanttien dokumenttien määrästä. Näin voidaan tutkia millä algoritmilla saadaan parhaat tulokset relevanssin näkökulmasta. Tavallisempaa nykyään on kuitenkin arvioida suurten testitietokantojen (esim. TREC-hankkeet) relevanttien dokumenttien määrä yhdistelemällä eri kokeissa saatuja tuloksia. Tällä tavoin voidaan arvioida relevanttien dokumenttien määrä koko testitietokannassa. TREC-hankkeiden ongelmana on, että tutkijat joutuvat tukeutumaan hankkeissa mukana olleisiin tutkimuskysymyksiin. Ratkaisuna tähän on esitetty relevanssiarvioin teettämistä joukkoistamisen voimin. Joukkoistamalla hyvinkin laajojen arviointitehtävien suoritus voidaan toteuttaa lyhyessä ajassa, sillä työntekijöitä eri palveluissa on valtavasti ja useasta eri maasta. Joukkoistamista on kuitenkin kritisoitu siitä, että tehtäviä suorittavien ihmisten koulutus ja tausta voivat vaihdella, eivätkä tulokset ole täten yhteismitallisia.[8]
Järjestelmäkeskeinen relevanssiarviointi voidaan käsittää myös itse hakutuloksen relevanssin arvioinniksi, jonka hakujärjestelmä tekee. Tämä voidaan jakaa kahteen luokkaan aiherelevanssiksi ja algoritmirelevanssiksi.
- Aiherelevanssi
- Aiherelevanssi käsittää hakujärjestelmän tekemän tulkinnan sekä kyselyn suhdetta toisiinsa. Hakutehtävässä verrataan kyselyä sekä tietolähteen kuvailua toisiinsa. Tietolähteet ovat kuvailtu joko järjestelmän tekemän automaattisen kokotekstianalyysin tai ihmisen suorittaman luetteloinnin ja avainsanoituksen pohjalta.
- Algoritmirelevanssi
- Algoritmirelevanssissa järjestelmä arvioi eri tietolähteiden suhdetta toisiinsa. Tässä tapauksessa kyseessä on enemmänkin relevanssipalautteesta, jolloin järjestelmä etsii hakutuloksille samankaltaisia uusia tietolähteitä
Käytännönsovellutuksia relevanssin arvioinnille
Hakujärjestelmillä on tapoja parantaa hakua tutkimalla automaattisesti haun tuloksia ja pisteyttämällä niitä eri kriteereillä. Käytännössä tämä onnistuu esimerkiksi relevanssipalautteen ja relevanssiarvioinnin keinoin.
Relevanssipalaute on hakujärjestelmien mekanismi, jonka avulla hakujärjestelmä hakee käyttäjälle uusia relevantteja dokumentteja. Mekanismi toimii automaattisesti tai käyttäjän antaman palautteen avulla. Automaattinen relevanssipalaute tutkii tuloslistauksen kärkitulokset ja hakee niitä käyttämällä uusia dokumentteja. Vaihtoehtoisesti käyttäjä voi itse määritellä relevantit dokumentit tuloslistasta joiden avulla tehdään uusi hakukierros. Relevanssipalautetta käyttää esimerkiksi Google-hakukoneen "Similar pages" -toiminto, joka hakee käyttäjälle hakutuloksen kanssa samankaltaisia sivuja.[9]
Relevanssilajittelussa järjestelmän hakutuloksille lasketaan vertailuluku, joka pohjautuu internetin sananhakupalveluissa monesti verkkosivujen keskinäiseen linkkirakenteeseen. Googlen osalta tässä puhutaan pagerankin laskemisesta. Lajittelun tarkoituksena on tarjota kaikkein relevanteimmat hakutulokset heti listan kärkeen. Relevanssilajittelussa hakutulos lajitellaan dokumenttien vertailulukujen perustella laskevaan järjestykseen. Näin kyselyä parhaiten vastaavat dokumentit tulevat hakutuloksen ensimmäisiksi. Usein nämä dokumentit ovat myös muuten arvioituina sisällöltään keskimääräisesti relevantimpia kuin tuloksessa myöhemmin esiintyvät.[10]
Lähteet
- ↑ a b Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science. 48 (9), 810–832.
- ↑ Borlund, P. (2000). Experimental components for the evaluation of interactive information retrieval systems. Journal of documentation, 56(1), 71-90.
- ↑ Saracevic, T. (1996). Relevance reconsidered. Information science: Integration in perspectives. CoLIS2: 2nd International Conference on Conceptions of Library and Information Science. 201-218.
- ↑ Järvelin, K., & Sormunen, E. (1999). Dokumentit kateissa. Tiedon tallennus ja haku avuksi. Teoksessa Mäkinen, Ilkka (toim.), Tiedon tie: Johdatus informaatiotutkimukseen. Helsinki: BTJ Kirjastopalvelu, 110-143.
- ↑ a b Alaterä, A., & Halttunen, K. (2002). Tiedonhaun perusteet-osa lukutaitoa. BTJ Kirjastopalvelu.
- ↑ a b c Cosijn, E. (2009).Relevance Judgments and Measurements. Encyclopedia of Library and Information Sciences.
- ↑ Solomon, Paul, and Riitta Kärki. “Relevanssi: Muuttumaton Vai Vaihteleva? Osa 1.” Informaatiotutkimus 18, no. 4 (2008): 87–96.
- ↑ Alonso, Omar, Daniel E. Rose, and Benjamin Stewart. “Crowdsourcing for Relevance Evaluation.” In ACM SigIR Forum, 42:9–15, 2008. http://dl.acm.org/citation.cfm?id=1480508
- ↑ http://www.sis.uta.fi/infim/infim_2011/informaatiotutkimus/kurssisivut/a34/semantiikkaJaTiedonhaku/relevanssipalaute.html (Arkistoitu – Internet Archive)
- ↑ Serola, Sami. Ote informaatiosta BTJ Finland Oy, Helsinki, 2010. s.170 ISBN 978-951-692-773-5
