Ebaluazioa eta bermea

Ebaluazioak IA fidagarria ebidentzia bihurtzen du.

Ezin da IArekiko konfiantza errendimendu-neurriekin, adierazpen arautzaileekin edo dokumentazio teknikoarekin bakarrik ezarri. Sistemak zer egin dezakeen, zein muga dituen, baldintzak aldatzean nola jokatzen duen eta erabiltzeak zer ondorio ekar ditzakeen azaltzen duen ebidentzia zorrotza behar da.

TRAILABek IA ebaluatzeko ikuspegi zientifikoak garatu eta aplikatzen ditu: modelizazio probabilistikoa, sendotasun-analisia, inferentzia kausala eta azalgarritasuna, ezagutza juridiko, gobernantza- eta etikoarekin batera. Gure helburua teknikoki defendagarria den, ziurgabetasuna argi azaltzen duen eta erabakiak hartzen dituzten pertsona eta erakundeentzat esanguratsua den ebidentzia sortzea da.

Ebaluazioa eta bermea

Zer ebaluatzen dugu

Gaitasunak, fidagarritasuna eta mugak

Sistemaren gaitasunak, kalibrazioa, sendotasuna, ziurgabetasuna, banaketatik kanpoko jokabidea eta akats-moduak ikertzen ditugu, baita noiz eutsi, atzeratu edo ebidentzia gehiago eskatu behar duen ere.

Arriskuak, babes-neurriak eta arintzea

Gaitasunek eta jokabideek testuinguru zehatzetan ondorio kaltegarriak nola sor ditzaketen, babes-neurrien eraginkortasuna eta mugak, eta arriskua estimatu eta arintzeko bideak aztertzen ditugu.

Azalgarritasuna, kausalitatea eta erantzukizuna

Azalpenak fidagarriak, egonkorrak eta kausalki esanguratsuak diren eta ebidentziak gainbegiratzea, aurkaratzea eta erantzukizuna onartzen dituen ebaluatzen dugu.

Giza agentzia eta gizarte-eragina

IA bidezko erabakiek ulermenean, autonomian, eskubideetan eta erantzukizunean duten eragina ikertzen dugu, gehiegizko konfiantza eta ziurtasun faltsua barne.

Metodologia

Gure ebaluazio-ikuspegia

  1. 01

    Sistema, testuingurua eta arriskuak definitu

    Ebaluazioaren irismena, aurreikusitako erabilera, gaitasun garrantzitsuak, aurreikus daitezkeen kalteak, hipotesiak eta ebidentzia-baldintzak ezarri.

  2. 02

    Protokolo defendagarria ezarri

    Metodoak, benchmarkak, proba-baldintzak, metrikak eta prozedura estatistikoak aukeratu edo garatu, baliozkotasuna eta erreproduzigarritasuna kontuan hartuz.

  3. 03

    Ebidentzia sortu eta zorrotz aztertu

    Proba kontrolatuak, sendotasun-analisiak, ebaluazio adversarialak edo beste azterketa egokiak egin, neurketa automatizatuak balioztatu eta muga operatiboak dokumentatuz.

  4. 04

    Aurkikuntzak diziplinen artean interpretatu

    Emaitza teknikoak arrisku-eszenatokiekin, betebehar juridikoekin, gobernantza-gogoetekin eta pertsona eta erakundeentzako ondorioekin lotu.

  5. 05

    Aurkikuntzak, ziurgabetasuna eta mugak jakinarazi

    Metodoak, emaitzak, ebidentzia, hondar-ziurgabetasuna eta mugak dokumentatu, irismenari eta konfidentzialtasun- eta dibulgazio-baldintzei egokitutako gomendioekin.

Independentzia

Kanpoko ebaluazio independentea

Ebaluazio independenteak trebetasun teknikoa baino gehiago behar du: domeinu-egokitasuna, autonomia metodologikoa, ebidentzia garrantzitsurako sarbidea, informazio-segurtasuna eta eragin finantzario, zuzendaritzako edo operatiboen aurkako bermeak. TRAILABek kanpoko ebaluazio independenteak ikerketa kolaboratibotik, balidaziotik eta aholkularitzatik bereizten ditu.

Independentzia- eta kualifikazio-baldintzak enkargu bakoitzerako aztertu behar dira, irismenaren, ebaluazio-taldearen eta arrisku-eremuaren arabera. Ez dugu ebaluazio bat independentetzat aurkezten beharrezko baldintzak ezarri ezin direnean.

01

Ikerketa kolaboratiboa eta aholkularitza

Erakundeekin batera egindako ikerketa, metodo-garapena, balidazio kolaboratiboa, politika-analisia edo erakunde-laguntza.

02

Kanpoko ebaluazio independentea

Independentziarako antolaketa-, banako-, teknika-, finantza-, zuzendaritza- eta operazio-baldintzak ezarrita dituen ebaluazioa.

Kokapen zientifikoa

Oinarri zientifikoko ikuspegia

Ebaluazioak ez ditu IAren arrisku konplexuak puntuazio bakar batera edo segurtasun-adierazpen bitarrera murriztu behar. Balorazio sinesgarri batek behatutako errendimendua baieztapen zabalagoetatik bereizten du, ziurgabetasuna eta muga metodologikoak identifikatzen ditu eta eskuragarri den ebidentziak zer justifikatzen duen —eta zer ez— azaltzen du.

TRAILAB

Ebidentzia eta txosten motak aztertu

Ebaluazioak ez ditu IAren arrisku konplexuak puntuazio bakar batera edo segurtasun-adierazpen bitarrera murriztu behar. Balorazio sinesgarri batek behatutako errendimendua baieztapen zabalagoetatik bereizten du, ziurgabetasuna eta muga metodologikoak identifikatzen ditu eta eskuragarri den ebidentziak zer justifikatzen duen —eta zer ez— azaltzen du.