Gaitasunak, fidagarritasuna eta mugak
Sistemaren gaitasunak, kalibrazioa, sendotasuna, ziurgabetasuna, banaketatik kanpoko jokabidea eta akats-moduak ikertzen ditugu, baita noiz eutsi, atzeratu edo ebidentzia gehiago eskatu behar duen ere.
Ebaluazioa eta bermea
Ezin da IArekiko konfiantza errendimendu-neurriekin, adierazpen arautzaileekin edo dokumentazio teknikoarekin bakarrik ezarri. Sistemak zer egin dezakeen, zein muga dituen, baldintzak aldatzean nola jokatzen duen eta erabiltzeak zer ondorio ekar ditzakeen azaltzen duen ebidentzia zorrotza behar da.
TRAILABek IA ebaluatzeko ikuspegi zientifikoak garatu eta aplikatzen ditu: modelizazio probabilistikoa, sendotasun-analisia, inferentzia kausala eta azalgarritasuna, ezagutza juridiko, gobernantza- eta etikoarekin batera. Gure helburua teknikoki defendagarria den, ziurgabetasuna argi azaltzen duen eta erabakiak hartzen dituzten pertsona eta erakundeentzat esanguratsua den ebidentzia sortzea da.
Ebaluazioa eta bermea
Sistemaren gaitasunak, kalibrazioa, sendotasuna, ziurgabetasuna, banaketatik kanpoko jokabidea eta akats-moduak ikertzen ditugu, baita noiz eutsi, atzeratu edo ebidentzia gehiago eskatu behar duen ere.
Gaitasunek eta jokabideek testuinguru zehatzetan ondorio kaltegarriak nola sor ditzaketen, babes-neurrien eraginkortasuna eta mugak, eta arriskua estimatu eta arintzeko bideak aztertzen ditugu.
Azalpenak fidagarriak, egonkorrak eta kausalki esanguratsuak diren eta ebidentziak gainbegiratzea, aurkaratzea eta erantzukizuna onartzen dituen ebaluatzen dugu.
IA bidezko erabakiek ulermenean, autonomian, eskubideetan eta erantzukizunean duten eragina ikertzen dugu, gehiegizko konfiantza eta ziurtasun faltsua barne.
Metodologia
Ebaluazioaren irismena, aurreikusitako erabilera, gaitasun garrantzitsuak, aurreikus daitezkeen kalteak, hipotesiak eta ebidentzia-baldintzak ezarri.
Metodoak, benchmarkak, proba-baldintzak, metrikak eta prozedura estatistikoak aukeratu edo garatu, baliozkotasuna eta erreproduzigarritasuna kontuan hartuz.
Proba kontrolatuak, sendotasun-analisiak, ebaluazio adversarialak edo beste azterketa egokiak egin, neurketa automatizatuak balioztatu eta muga operatiboak dokumentatuz.
Emaitza teknikoak arrisku-eszenatokiekin, betebehar juridikoekin, gobernantza-gogoetekin eta pertsona eta erakundeentzako ondorioekin lotu.
Metodoak, emaitzak, ebidentzia, hondar-ziurgabetasuna eta mugak dokumentatu, irismenari eta konfidentzialtasun- eta dibulgazio-baldintzei egokitutako gomendioekin.
Independentzia
Ebaluazio independenteak trebetasun teknikoa baino gehiago behar du: domeinu-egokitasuna, autonomia metodologikoa, ebidentzia garrantzitsurako sarbidea, informazio-segurtasuna eta eragin finantzario, zuzendaritzako edo operatiboen aurkako bermeak. TRAILABek kanpoko ebaluazio independenteak ikerketa kolaboratibotik, balidaziotik eta aholkularitzatik bereizten ditu.
Independentzia- eta kualifikazio-baldintzak enkargu bakoitzerako aztertu behar dira, irismenaren, ebaluazio-taldearen eta arrisku-eremuaren arabera. Ez dugu ebaluazio bat independentetzat aurkezten beharrezko baldintzak ezarri ezin direnean.
01
Erakundeekin batera egindako ikerketa, metodo-garapena, balidazio kolaboratiboa, politika-analisia edo erakunde-laguntza.
02
Independentziarako antolaketa-, banako-, teknika-, finantza-, zuzendaritza- eta operazio-baldintzak ezarrita dituen ebaluazioa.
Kokapen zientifikoa
Ebaluazioak ez ditu IAren arrisku konplexuak puntuazio bakar batera edo segurtasun-adierazpen bitarrera murriztu behar. Balorazio sinesgarri batek behatutako errendimendua baieztapen zabalagoetatik bereizten du, ziurgabetasuna eta muga metodologikoak identifikatzen ditu eta eskuragarri den ebidentziak zer justifikatzen duen —eta zer ez— azaltzen du.
TRAILAB
Ebaluazioak ez ditu IAren arrisku konplexuak puntuazio bakar batera edo segurtasun-adierazpen bitarrera murriztu behar. Balorazio sinesgarri batek behatutako errendimendua baieztapen zabalagoetatik bereizten du, ziurgabetasuna eta muga metodologikoak identifikatzen ditu eta eskuragarri den ebidentziak zer justifikatzen duen —eta zer ez— azaltzen du.