Dr Vftsttije Mišković, pukovnik, dip!, inž. Mr MUK Miltevtf, major, dip!, inž. Dr Petar Stanojevif, major, dip!, inž.
Vojnotehiurcj ikidenuji VJ.
Beograd
MODELI OCENJIVANJA I RANGIRANJA VARUANTMH REŠENJA ORGANIZACIONO-TEHNOLOŠKIH SISTEMA
UDC: 65.01.001.41
Rezime:
U ovom radu prikazana su dva modela ocenjivanja i rangiranja varijantnih rešenja organizaciono-tehnoloških sistema. Osnovna razlika izmedu ova dva modela je da li su kriterijumi za ocenu i rangiranje varijanti unapred dati Hi ne. Izbor modela ocenjivanja i rangiranja varijanti zavisi od cilja i namene ocenjivanja i rangiranja. ali i od svakog konkretnog slučaja.
Postupak ocenjivanja i rangiranja varijantnih reSenja organizaciono-tehnoloških sistema u fazi projektovanja Hi reprojektovanja izuzetno je sloien i nameće rešavanje niza specifićnih problema koji zavise od namene i cilja ocenjivanja. U radu je prikazar. i naćin rešavanja specifičnih problema, kao Sto su: kako doći do kvantifikacije karakteristika sistema, problema velikog broja kriterijuma za ocenu, problema velikog broja varijanti, problema rangiranja (posebno viSekriterijumskog rangiranja).
Ključne reČi: ocena sistema, model, kriterijum, viSekriterijumsko rangiranje.
MODELS FOR EVALUATING AND RANKING VARIANT SOLUTIONS OF ORGANIZATIONAL AND TECHNOLOGICAL SYSTEMS
Summary:
For evaluating and ranking variant solutions of organizational and technological systems, the paper presents two models of which the basic difference is whether criteria for variants evaluation and ranking are predetermined or not. The model choice depends on the evaluation and ranking purpose as well as on a particular case itself. The procedure of evaluating and ranking variant solutions in the phases of design and redesign is extremely complex and implies solving a sequence of specific problems depending on the evaluation purpose. The paper presents the solving of specific problems such as: reaching the system characteristics quantification, great number of evaluation criteria, great number of variants and ranking (especially multicriteria ranking).
Key words: system evaluation, model, criterion, multicriteria ranking.
llvod
Ocenjivanje organizaciono-tehnoloSkih sistema (OTS) može imati različitu namenu i ciljeve. Najčešći slučajevi koji $e pojavljuju su:
- ocena postojećeg organizaciono-•tehnološkog sistema;
- rangiranje varijanti organizacije organizaciono-tehnološkog sistema u fazi njegovog projektovanja;
- rangiranje varijanti organizacije organizaciono-tehnološkog sistema u fazi njegovog reprojektovanja.
U slučaju ocenjivanja organizaciono--tehnoloških sistema, ocenjivanje pred-
vojnotehniCki glasnik 2/2001.
135
stavlja upoređivanje njihove uspešnosti sa željenom iti projektovanom uspešnoš-ću, pa je potrebno razlikovati projekto-vanu i željenu uspešnost OTS-a. Projek-tovana uspešnost sistema ne mora biti i žeijena uspešnost. Projektovanjem se teži da se dostigne željena uspešnost OTS. U slučaju kad OTS realno postoji i funkcio-ni§e, na primer, zbog promene uslova, željena uspeSnost može da se promeni. To nužno dovodi do odstupanja željenog od projektovanog stanja, i u tom slučaju se, kao neminovnost, pojavljuje potreba za reprojektovanjem OTS-a. Željena us-pešnost OTS-a definite se uspostavlja-njem sistema načela, principa, kriteri-juma i ograničenja kojima se opisuju željene karakteristike OTS-a.
U prvom slučaju, kada se ocenjuje postojeći sistem, najčešće se utvrđuje u kojoj meri je postojeći sistem dobro rea-lizovan u odnosu na projektovani sistem. Tada se, u stvari, upoređuje uspešnost postojećeg OTS sa njegovom projektovanom uspešnošću. Ocenjivanje se obavlja merenjem karakteristika postojećeg OTS i njihovim upoređivanjem sa projektova-nim karakteristikama. U zavisnosti od mere odstupanja tih karakteristika i uz-roka tih odstupanja vrše se zahvati da se postojeći OTS uskladi sa projektovanim ili, ako je uzrok odstupanja u samom projcktu OTS, pristupa se reprojektova-nju OTS-a.
U drugom slučaju, ocenjivanje u fazi projektovanja OTS predstavlja, u stvari, upoređivanje varijanti organizacije OTS sa željenim stanjem i njihovo rangiranje. Problem koji se pojavijuje u ovom slučaju jeste kako odrediti vrednosti karakteristika varijanti kada one postoje samo kao projekat, a postoji nužnost njihovog oce-njivanja i rangiranja sa krajnjim ciljcm da se izabere jedna varijanta i da se realizuje.
0 posledicama pogreinog izbora nije potrebno ni govoriti, posebno kada su u pitanju veliki i složeni OTS.
U trećem slučaju problem je isti kao
1 u drugom, $ tim da, pošto se radi o reprojektovanju OTS*a, uvek se pri pro-jektovanju i ocenjivanju i rangiranju mora uzimati u obzir i postojeći i projektovani OTS. Naime, reprojektovanje ne znači razaranje postojećeg sistema i gradnju novog, nego njegova dorada, poboljša-nje, razvoj i promena u smislu evolucije, bez obzira na moguću skokovitost. To, praktično, znači da se reprojektovani sistem uvek bazira na već postojećem, inače se ne radi o reprojektovanju. U ovom slučaju definite se novo željeno stanje, a ocenjivanje i rangiranje varijanti vrše se u odnosu na njega, a obavezno i u odnosu na postojeće stanje.
Cilj rada jeste da se prikažu neki mogući modeli ocene varijanti OTS u fazi projektovanja ili reprojektovanja sistema.
Pristup modelo^anju ocenjivanja i rangiranja varijanti organizackmih rešenja OTS
Ocenjivanje i rangiranje varijanti OTS najčeSće se zasniva na postavljanju (zadavanju) željenog stanja. Željeno stanje sistema odlikuje sc karakterističnim vrednostima kriterijuma uspešnosti. U fazi projektovanja ili reprojektovanja OTS željeno stanje sistema je, u stvari, referentno stanje u odnosu na koje se ocenjuju varijante.
Karakteristike složenih OTS nameću potrebu za višedimenzionalnim pristu-pom posmatranja uspešnosti, što se naj-češće očituje i iz odredenih ciljeva i pot-ciljeva OTS. Potrebno je naglasiti da i kada je osnovni cilj postizanje visoke
136
VOJNOTEHNIČKI GLASNIK 2/2001.
vrednosti uspešnosti funkrionisanja i efektivnosti, to treba uraditi uz najmanje moguće troškove. Jasno je da se ne može postići najviša vrednost uspešnosti fun* kcionisanja i efektivnosti a da troSkovi istovremeno budu najmanji. U ovim slu-čajevima uvek se traži kompromisno reše-nje. Prema tome, cilj je da se izabere takva varijanta strukture OTS koja će po dimenzionisanju elemenata koji je činc i prema karakterističnim potrebama dati najbolje vrednosti kriterijuma-parame-tara-mera uspešnosti u skiadu sa postav-Ijenim osnovnim ciljem.
Ne treba zaboraviti da je moguće i potrebno da se kriterijumi zadaju una-pred u vidu ograničenja (minimalnih vrednosti postavljenih kriterijuma-cilje-va) koje treba postići projektovanjem ili u vidu intervala dozvoljenih odstupanja. Svaki od postavljenih kriterijuma može ujedno predstavljati i ograničenje. Na taj način se, usuštini, definite „željeno stanje sistema“.
Odredivanjem kriterijuma, njihovih minimalnih i(ili) maksimalnih vrednosti koje se moraju postići pri projektovanju, formira se funkcija cilja preko koje se vrednuju varijantna rešenja.
Da bi se proces modelovanja varijan-tnih rešcnja u organizovanju OTS mogao uspeSno realizovati potrebno je, pored ograničenja, odrediti i odredene parame-tre pretpostavljenog funkcionisanja, kao što su, na primer, minimalni, poželjni i maksimalni raspon rukovodenja po ni-voima u organizacionoj strukturi, pretpo-stavljeni nivo stručnosti pojedinih organa po pitanju rešavanja problema vezanih za funkcionisanje OTS, zahtevi za: vreme zastoja, verovatnoćom zadovoljenja za-hteva u odredenim periodima i po nivoi-ma, verovatnoćom tačne dijagnostike, ve-rovatnoćom kvalitetnog izvrSenja tehno-
loSkih zahteva, verovatnoćom tačnosti i gubitaka u procesu pienoSenja informaci-ja, itd.
U toku procesa modelovanja ocenji-vanja i rangiranja varijanti organizovanja OTS*a javlja se i problem postavljanja opštih kriterijuma za ocenu valjanosti modela za ocenjivanie i rangiranje varijanti organizovanja OTS. Osnovni pri-stupi modetovanju procesa ocenjivanja i rangiranja varijantnih rešenja mogu se posmatrati u odnosu na način definisanja kriterijuma.
Prvi pristup se primenjuje kada se kriterijumi za ocenu i rangiranje varijanti definišu, formalizuju i struktuiraju una-pred. U tom slučaju u procesu modelovanja ocenc i rangiranja modela organizovanja OTS javlja se potrcba za rešavanjem nekoliko vrsta konkretnih problema, kao što su:
- izbor karakterističnih kriterijuma za ocenu i rangiranje organizovanja OTS iz skupa mogudh i onih koji se danas koriste za ocenu sličnih sistema u svetu;
- određivanje dimenzija, značenja i metodologije dobijanja vrednosti pojedinih kriterijuma i ograničenja;
- izbor optimizacionog modela ope-racionih istraživanja (prvenstveno medu modelima za višekriterijumsko rangiranje) za sprovodenje matematičke procedure rangiranja i ocene varijantnih reše-nja organizovanja OTS i njegovih podsi-stema;
- odrcdivanje vrednosti težinskih pokazateija (ponderisanjc) vrednosti pojedinih kriterijuma u konkretnom slučaju.
Drugi pristup se zasniva, u suštini, na sličnim postavkama kao i prcthodni. Varijante se ocenjuju i rangiraju po nekim kriterijumima. Osnovna razlika je utome da se pri rangiranju, u ovom slučaju, ne odreduju unapred jedinstveni kriterijumi,
vojnotehnjCki olasnik 2/2001.
137
a ocenjivanje i rangiranjc se obavljaju ekspertski. U ovom slučaju svaki ekspert mora da formira sopstveni sistem kriteri-juma na osnovu kojeg rangira varijante, pri čemu taj sistem kriterijuma ne mora biti ni formalizovan ni posebno predstav-Ijen, ali u svakom slučaju postoji. U procesu realizacije ovog pristupa javlja se problem uskladivanja ocena i ranga koje daju eksperti.
Opšti kriterijumi valjanosti modela
za ocenjivanje i rangiranje varijanti
organizovanja OTS
Omogućavanje ocenjivanja postoje-ćeg i(ili) projektovanog OTS zahteva da se uvck odreduju iste mere uspeSnosti, i to one koje sa najvedim obuhvatom opi-suju realno i željeno stanje. Svako projek-tovanje upravo i započinje ocenom posto-jećeg stanja. Kada sistem ne postoji poiazi se od sličnih sistema.
Da bi model ocenjivanja i rangiranja varijanti organizovanja OTS dao dobre rezuhate, on mora zadovoljiti sledeće opSte kriterijume:
- da obuhvati pojave (promenljive) o kojima se mogu dobiti podaci korišće-njem simulacionih i drugih modela i eks-pertskim ocenjivanjem;
- da omogući ocenjivanje (uporedi-vanje) novoprojektovanog, postojećeg OTS i medu varijantama:
- da bude invarijantan u odnosu na specifičnosti pojedinih rešenja organizovanja;
- da zadovolji zahtevc učesnika u upravljanju OTS;
- da obezbedi sagledavanje ostvare-nja ciljeva i potciljeva OTS;
- da se zbog stohastičke suštine pro-cesa zasniva, prvenstveno, na teoriji vero-vatnoće i da obuhvati veličine koje opi-
suju razne aspekte produktivnosti i tro-škova;
- da uzme u obzir kriterijume koji se već zahtevaju u karakterističnim stan-dardima i drugim reienjima u svetu;
- da omogući praćenje promena u vremenu;
- da je primenljiv kako za ceo OTS, tako i za njegove funkcije, nivoe i pojedi-načne organizacione celine,
- da omogući uključivanje u neki od optimizacionih modela operacionih istra-živanja (prvenstveno u modele viSekrite* rijumskog rangiranjaj.
Problem velikog broja kriterijuma
i velikog broja >aryanti
U procesu projektovanja ili reprojek-tovanja složenih OTS često se javlja problem potrebe uspostavljanja velikog broja kriterijuma za ocenu i velikog broja varijanti. Broj karakteristika koje je potrebno ocenjivati kod složenih OTS je veliki, pa se otuda pojavljuje i veliki broj kriterijuma.
Pri uspostavljanju sistema kriterijuma javlja se nekoliko problcma. Osnovni problemi su koje kriterijume treba izabrati za ocenu i koiiki broj kriterijuma postaviti. Izbor kriterijuma zavisi od samog OTS-a i cilja ocenjivanja. Broj kriterijuma uslovljen je sa dva oprečna zahteva. Jedan je da broj kriterijuma bude što manji, a drugi da je najbolje, ako može, da kriterijumske vrednosti za varijante budu izražene u ftzičkim veliči-nama. Izražavanjem kriterijumskih vrednosti u fizičkim velićinama izbegava se ocena kriterijumskih vrednosti, ali to nužno povećava broj kriterijuma. Veliki broj kriterijuma dovodi do toga da je u praktičnom postupku nemoguće usposta-viti njihovu relativnu važnost.
138
VOJNOTEHNIĆKI GLASNIK 2/2001.
Prevazilaženje ovog problema u pr-vom pristupu modelovanja procesa ocene i rangiranja varijami postiže se hijerarhij-skim struktuiranjem kriterijuma, ali se time sužava broj metoda višekriterijum-skog rangiranja koje se mogu primeniti. U drugom pristupu rešenje ovog problema prepušta se svakom ekspertu poje-dinačno da sam bira koje su to ključne karakteristike po kojima će rangirati va-rijante.
Veliki broj varijanti koje se često pojavljuju posledica je različitih uzroka. To je, pre svega, složenost samog OTS, koji pruža mogućnost gencrisanja velikog broja varijanti, zatim raznolikost organi-zacionih rešenja u drugim srodnim OTS, pa se pojavljuje možda smisleno, ali često i nekritično preslikavanje. Ako se uzmu u obzir i subjektivni uzroci, najčcšće nei-skustvo projektanata, jer se ipak retko pojavljuje priiika za projcktovanjem ili rcprojektovanjem velikih i složenih OTS, kao rezultat se dobija veliki broj generisa-nih varijanti rešenja.
Prevazilaženje ovog problema može se postići na nekoliko načina. Prvi način je da se sva varijantna rešenja sistema koja ne zadovoijavaju postavljena ograni-čenja eleminišu iz procesa occnjivanja. Dalji proces ocenjivanja svodi se na ran-giranje varijanti organizacionih rešenja među onima koja zadovoijavaju postavljena ograničenja, odnosno na rad na skupu dopuštenih rešenja.
Drugi način sastoji se u eliminisanju jednog broja varijanti logičkom analizom generisanih varijanti. Na taj način elimi-nišu se varijante za koje se logičkom analizom može utvrditi da su loSije od ostalih, zatim varijante za koje se utvrdi da, u odnosu na neke druge, nemaju suštinskih razlika i varijante za koje se utvrdi da bi u toku funkcionisanja ispolja-
vale značajne, sistemski ugrađene ncdo-statke.
Sledeći način je da se iz skupa mogu-ćih, generisanih varijanti eliminišu one koje ne zadovoijavaju ograničenja, čime se dobija skup dopuStenih reSenja, iz kojeg se izdvajaju efikasna, nedominira-na, varijantna reSenja. Na skupu efika-snih rešenja sprovodi se postupak rangiranja. Pojam efikasnih rešenja definisan je na sledeći naćin: varijanta a, je domi-nantna (a, dominira) nad ostalim varijan-tama (nad svakom) ako je ispunjeno: fj(a* ^ fj(ak), j = 1, 2.... n; i k = 1,
2.. .., m; s ^ k; odnosno, varijanta as je bolja bar po jednom atributu, i ni po jednom atributu nije lošija od (svih) ostalih varijanata.
U opštem slučaju problemi ove vrste nemaju dominantnu varijantu, odnosno, i kada postoji dominantna varijanta može se postaviti zahtev za daljom i složenijom analizom. Može se dogoditi da neka varijanta dominira samo nad jednom ili nad više varijanti, ali ne nad svim varijantama iz skupa svih varijanti.
Varijanta a^ je efikasna ili nedomini-rana varijanta ako nad njom nije dominantna nijedna druga varijanta, tj. ako ne postoji neka druga varijanta av za koju je ispunjeno:
fj (av) > fj (^) Vj = L, 2,..., n; Vv = 1,
2.. .., m; v # q
fj (av) > fj (a^) za bar jedno j
Varijante a, i av su ekvivalentne ako imaju iste vrednosti za sve atribute: $ (»t) = fj (av), j = 1, 2..n.
Varijanta a, je neefikasna (dominira-na) ako nad njom dominira bar jedna iz skupa preostalih varijanti:
VOJNOTEHNlCKl GLASNIK 2/2001.
139
r fj (av) > fj (ar) j = 1,2...n
i fj (av) > fj (ar) za bar jedno j
Rešenje modcla višeatributnog odlu-čivanja čini skup svih efikasnih varijanti.
Problemi velikog broja varijanti, od-nosno svodenje broja varijanti na mem da se realno mogu uporediti, mogu se rešiti primenom jednog od pomenutih načina, ali i njihovim pogodnim kombino-vanjem u zavisnosti od konkretnog slu-čaja.
Model ocenjivanja i rangiranja
varijanti uz unapred zadate
kriterijume
Nakon sprovedene logičke analize i formiranja skupa dopuštenih rešenja ili skupa efikasnih rešenja pristupa se formi-ranju modela za višekriterijumsku ana-lizu.
Za rešavanje problema višcatributiv-nog odlučivanja, u kojima se žele rangi-rati varijante, razvijeno je više metoda, medu kojima su najpoznatije: ELEC-TRE. PROMETHEE, VIKOR. ME-NOR, AHP i dr. Nezavisno od metode koja se koristi u rešavanju problema iz-bora varijante iz skupa ponudenih varijanti, modele višekriterijumske analize karakterišu sledeća obelcžja: kvantifika-cija kvalitativnih atributa, modifikacija atributa istog kriterijuma, normalizacija i linearizacija atributa i definisanje težin-skih koeficijenata kriterijuma. Pored ovih obeležja svaka od navedenih metoda ima svoje specifičnosti i odredene zahteve u pogledu definisanja parametara modela.
Problemi u rešavanju izbora varijante iz skupa ponudenih varijanti, modifikacija atributa istog kriterijuma i nor-malizacija i linearizacija atributa, uglav-nom su rešeni kroz samu metodu na
različite načine, u zavisnosti od prime* njene metode.
Najčešće je pravi problem u rešava-nju izbora varijante iz skupa ponudenih varijanti kvantifikacija kvalitativnih atributa (odredivanje kriterijumskih vredno-sti varijanti) i definisanje težinskih koeficijenata kriterijuma. Postoji težnja da se kriterijumske vrednosti varijanti izraža-vaju stvamim, fizičkim velićinama. Odredivanje ovih vrednosti pri projektovanju ili reprojektovanju OTS najčešče se vrSi reSavanjem različitih oblika matematič-kog opisa i formalizacije. Primena različi-tih kvantitativnih metoda daje u velikom broju slučajeva dobre rezultate. Medu-tim, potpuna matematička formalizaeija tehničko-ekonomskih zadataka često je neostvariva usled njihove složenosti ili same prirode (u ovom slučaju kriterijuma). U tom sludaju vrši se ocena kriterijumskih vrednosti varjanti.
Problem definisanja (odredivanja) težinskih koeficijenata kriterijuma skoro da je nemoguće formalizovati u matema-tičkom smislu, jer težinski koefieijenti po svojoj prirodi predstavljaju izraz dono* sioca odluke u smislu preferiranja, u nekoj meri, odredenog kriterijuma. S jedne strane, težinski koefieijenti jesu izraz donosioca odluke, ali, s druge strane, postoji potreba da se taj relativni odnos objektivizira u meri u kojoj je to moguće. Radi toga sve se više koriste ekspertske metode, pod kojima se podra-zumeva kompleks logičkih i matema-tičko-statističkih metoda i procedura, us-mcrenih ka dobijanju informaeija od eks-perata, neophodnih za pripremu i dono-šenje racionalnih odluka. Ekspertske metode mogu se okarakterisati kao načini donošenja odluka. ili priprema za dono-šenje odluka, koji se koriste znanjem i iskustvom stručnjaka.
140
VOJNOTBHNlCKI GLASNIK 2/2001.
Matematičke metode koje omoguća-vaju odrcdivanje kriterijumskih vrednosti su manje-više poznate, pa će u ovom radu u najkraćem biti prikazane moguće ekspertske metode za ocenu kriterijumskih vrednosti i određivanje težinskih koeficijenata.
Ekspertske metode primenjuju se u situacijama kada se priprema odluke, izbor, obrazloženje i procena posledica odluka ne mogu ostvariti putem tačnih proračuna. Primena ekspertskih metoda obezbeđuje aktivno i svrsishodno učešće specijalista u svim etapama donošenja odluka, što omogućava bitno povećanje njihovog kvaliteta i efikasnosti.
Pri analizi metoda treba imati u vidu njihovu osnovnu podelu na one čiji temelj stvaraju pojedini eksperti, i na one koje pretpostavljaju iskorišćavanje grupe eks-perata. Grupna ekspertska ocena pou-zdanija je od individualne ako su ispu-njcni određeni zahtevi, među kojima su najvažniji nezavisnost mišljenja eksperata i visoka korelacija ocena dve jednake grupe eksperata. Priroda razmatranog problema upućuje na primenu grupne ekspertize.
Pod grupnom ocenom podrazumeva se rezuhat objedinjavanja individualnih mišljenja eksperata o poretku preferen-tnosti posmatranih objekata u jednu ocenu kolektivne preferentnosti. Pri tome se podrazumeva da primena logič-kih procedura i matematičko-statističkog aparata za objedinjavanje mišljenja eksperata (izraženih kvantitativno), obezbe-đuje dobijanje skiadne grupne preferentnosti. Bitni problemi koji nastaju pri formiranju grupne ocene povezani su sa svodenjem ocena eksperata koji čine grupu na istu meru. Uslovi neophodni za formiranje korektnih ekspertskih ocena su:
- univerzalnost, u smislu postojanja dovoljnog broja mogućih varijanti, do-voljnog broja eksperata i mogućnost defi-nisanja svih individualnih sistema preferentnosti;
- postojanje pozitivne povezanosti opštih i individualnih preferentnosti;
- nezavisnost nepovezanih varijanti;
- suverenost eksperata;
- nepostojanje diktatorstva.
Na rezultat ekspertize veliki uticaj imaju greške izazvane samom procedu-rom prikupljanja i analize mišljenja eksperata. Postoji i pokušaj da se izgradi univerzalni model ekspertize, a na osnovu navedene literature njene osnovne etape su:
- formiranje grupe specijaiista -analitičara (organizatora ekspertize);
- definisanje cilja i zadataka ekspertize;
- izrada programa ekspertize (izbor oblika izražavanja individualnih mišlje-nja, izrada metoda dobijanja grupnih ocena);
- izbor i formiranje grupe eksperata zajedno sa ocenom njihove kompetentno-sti;
- sprovodenje ispitivanja;
- obrada rezultata i dobijanje grupne ocene;
- prezentacija rezultata ekspertize u formi pogodnoj za donosioca odluke.
Cilj organizovanja i izvodenja grupne ekspertize jeste dobijanje kvantitativnih vrednosti varijanti za kriterijume - pot-kriterijume, koji se ne mogu dobiti na drugi način, i težinskih koeficijenata. For* malizovanim načinom izražavanja mišlje-nja stručnjaka i statističkom obradom rezultata nastoji se smanjiti subjektivnost i povećati verodostojnost ocene. Sprovo-denjem grupne ekspertize realizuju se
vojnotehniCki glasnik 2/2001.
141
zadaci dobijanja ocene vrednosti varijanti za odredene kriterijume -potkriterijume, i određivanje težinskih koeficijenata kri-(erijuma - potkriterijuma.
Oblik izratovanja individualnih
ocena eksperata
Od eksperta se zahteva da za odre-đeni kriterijum - potkriterijum ocenu vrednosti varijante izvrši procenom ste-pena zadovoljenja kriterijuma - potkriterijuma za datu varijantu primenom pred-ložene skaie.
Težinski koeficijenti ocenjuju se po-sebno za potkriterijume po nivoima ran-giranja i za kriterijume na nultom nivou rangiranja. Ekspert je dužan da proceni stepen značajnosti potkriterijuma u od-nosu na kriterijum - potkriterijum na neposredno viSem nivou rangiranja primenom predložene skaie. Stepen značaj-nosti kriterijuma procenjuje se, takode, primenom predložene skaie. Uzimajući u obzir karakteristike problema, najprime-renije bi bilo da se u ekspertizi iskoriste anketa i diskusija kao oblici grupnog rada.
Metode dobijanja grupnih ocena
Grupna ocena dobija se statističkom obradom individualnih ocena eksperata uz proveru saglasnosti individualnih eks-pertskih ocena iz ankete. U slučaju da ne postoji saglasnost individualnih ekspert-skih ocena organizuje se diskusija. Eks-pertima se predočava rezultat ekspertize po kojem ne postoji saglasnost i pruža im se mogućnost da prodiskutuju o proble-mu. Postupak se ponavlja do dobijanja saglasnc ocene.
Izbor grupe eksperata
Organizatori ekspertize sačinjavaju objedinjenu listu eksperata, uz dobijanje saglasnosti eksperata za učešće u ekspertizi.
Određivanje koeficijenta
kompetencije eksperata1
Pod pojmom kompetencija podrazu-meva se stepen kvalifikacije eksperata na odredenom području koji se procenjuje uz pomol odredenih karakteristika. To su, u osnovi, sledeće karakteristike: pro-fesionalna kompetencija, interes za rezul-tate ekspertize, lakoća kontaktiranja, objektivizam, originalnost mišljenja, stva-ralačka mašta, konformizam. znanje, re-Savanje stvaralačkih problema, elastici-tet, mudrost, tvrdoglavost, urodena agre-sivnost, samokritičnost, poznavanje stra-nih jezika, itd.
Problem odredivanja koeficijenta kompetencije sastoji se u neophodnosti merenja navedenih karakteristika, koje se može izvršiti putem sopstvene procene eksperata, uzajamne procene eksperata i primenom dokumentalnih metoda. Po-stoje različite forme, a ovde se predlaže da se koeficijent kompetencije eksperata K sastoji od sledećih elemenata: K» -koeficijent sopstvene procene, Ku - koeficijent uzajamne procene, K, - koeficijent poznavanja tematike i K* - objektivni koeficijent.
U tom slučaju koeficijent kompetencije K bi se računao na sledeći način:
K = qiK» + q2Ku + q*K, + q4Ko
1 Opcrecioaalizacija na&aa odredivanja koeficijenta kompetencije eksperata prikazaoog u ovom radu data je u literatuii (7).
142
VOJNOTEHNIČKI GLASN1K 2/2001.
gdc je q, - težina koja odreduje relativnu važnost parcijalnog koeficijenta.
Sopstvena procena obavlja se proce-nom stepena poznavanja problema dotič-nog eksperta, koji je dužan da izvrši procenu sopstvene kompetencije u ras-ponu ocena od 1 do 10. Dobijena ocena se množi sa 0,1 i predstavlja koeficijent K*.
Uzajamna procena označava procenu koju daju drugi eksperti o stepenu poznavanja problema dotičnog eksperta. Moguća varijanta, a za ovaj slučaj i prime-rena, jeste da se koeficijent uzajamne ocene kompetencije odredi na osnovu metode Jevlanova [5], koja se sastoji u sledećem:
- obavlja se ispitivanje ekspcrata o uključivanju, odnosno isključivanju osta-lih eksperata i2 grupe;
- dobija se tabela u kojoj su sme-štena imena eksperata, sa elcmentima:
Xjj = 1, kada je j-ti ekspert uključio i-tog eksperta u grupu
X|j = 0, kad je j-ti ekspert isključio i-tog eksperta iz grupe;
- svaki ekspert ima pravo da kaže da li će se uključiti u grupu eksperata;
- algoritam omogućava odredivanje koeficijenta uzajamne procene h-tog re-da, za svakog eksperta, na osnovu izraza:
£** K?-1 _ i"1__________
•»j n m
gde je;
m - broj eksperata u grupi, h - red koeficijenta uzajamne procene.
Stepen poznavanja tematike predstavlja stepen uticaja odredenih izvora na miSljenje eksperata. Mogući načtn odre-divanja koeficijenta K, jeste da ekspert odreduje stepen uticaja (j) na sopstveno mišljenje sledećih šest (i) izvora: teoret-ska analiza koju treba da izvrši ekspert, praktično iskustvo eksperta, radovi do-maćih autora, radovi stranih autora, au-torovo poznavanje stepena razvoja ra-dova u inostranstvu i ekspertove intuieije. Koeficijent K, se računa kao
K. = III,
gde je:
i - indeks izvora, j - indeks nivoa uticaja izvora, lij - koeficijent izvora argumentaeije koji pokazuje ekspert prema formaiizova-noj tabeli koefieijenata.
Objektivni koeficijent kompetencije Ko dobija se uvažavanjcm odredenih objektivnih podataka. NajČešće se pred-laže da se uzmu u obzir siedeće indivi-dualne karakteristike eksperata: Q - ti-tula i naučni stepen, C2 - završene škole, C3 - radni staž, C4 - aktuelni položaj, C$ - dosadaSnje dužnosti, Q - objavljeni radovi, C7 - naučno-organizacioni rad. C$ - stručna aktivnost izvan radnog mesta i C9 dobijenc nagrade.
Individualne erte eksperata Q raz-lažu se na sastavne karakteristike kojima se dodeljuju određeni nivoi važnosti.
Objektivni koeficijent kompetencije računa se kao:
K* = — Icit,
9 i-i
gde je ti - težina koja odreduje relativnu važnost i-te erte eksperta. Uzima se da je Et* - 1.
VOJNOTEHNIĆKI glasnik 2/2001.
143
Ocena vrednosti varijanti po
pojedinim kriterijumima -
potkriterijumima
Pre pristupanja samoj ekspertizi eks-perti bi bili upoznati sa problematikom (varijante i kriterijumi) koju ocenjuju. Za ocenu vrednosti varijanti po pojedinim kriterijumima - potkriterijumima eks-perti daju ocenu vrednosti varijante za posmatrani kriterijum u skladu sa predlo-ženom skaiom [7].
Organizatori ekspertize statistički obraduju anketne listove. Statistička obrada informacija, dobijenih od eksperata, mora da sadrži i ocenu uskladenosti mišljenja eksperata i da otkrije uzroke njihove raznolikosti. Pri tome se ocene dobijene od eksperata mogu posmatrati kao slučajno promenljive, čije raspodele verovatnoća odražavaju miSljenje eksperata o verovatnoćama pojedinih vrednosti varijanti. Za anaiizu rasturanja i saglasno-sti ekspertskih ocena mogu se primeniti generalne statističke karakteristike -srednje vrednosti i mere rasturanja oko srednje vrednosti. Za svaku vrednost varijante po pojedinom kriterijumu - pot-kriterijumu računa se:
- srednja vrednost ocene vrednosti varijante:
i m
X = — Ixj
m )•>
- disperzija s2. standardno odstupa-nje s i koeficijent varijacije V ocene vrednosti varijante:
s2 _ —1— £ (Xj _ s _ /sS^ v = 4-
m - 1 i»i x
Postupak se ponavlja do dobijanja sagtasne ocene.
Ocena tetinskih koeficijenata kriterijuma - potkriterijuma
Postupak ocene težinskih koeficijenata kriterijuma - potkriterijuma razli-kuje se od prethodno opisanog postupka, jer je kod ocene težina kriterijuma -potkriterijuma, pored vrednosti bitan i rang potkriterijuma u okviru kriterijuma, odnosno rang kriterijuma na nultom ni* vou. Zbog toga je nužno ocenu težinskih koeficijenata podeliti u dve faze.
U prvoj fazi rangiraju se potkriteri-jumi u okviru kriterijuma, odnosno rangiraju se kriterijumi na nultom nivou. Sta-tistička obrada rezultata sastoji se u pro-računu koeficijenta konkordacije (opSteg koeficijenta korelacije rangova), potkriterijuma, odnosno kriterijuma. Način odredivanja koeficijenta konkordacije prikazan je u drugom modelu za ocenu i rangiranje varijanti.
V drugoj fazi eksperti daju ocenu težine posmatranog kriterijuma - potkriterijuma u skladu sa predočenom skaiom, vodeći računa o rangu potkriterijuma -kriterijuma. Statistička obrada rezultata sastoji se u proračunu srednje vrednosti ocena vrednosti težinskog koeficijenta, disperzije, standardnog odstupanja i koeficijenta varijacije ocene vrednosti težin-skog koeficijenta i ocene protivrečnosti ekstremne ekspertske ocene vrednosti te-žinskog koeficijenta. Postupak se ponavlja do dobijanja saglasne ocene.
Model ocenjivanja i rangiranja varijanti metodom some rangova
Osnovna karakteristika ovog modela jeste da se ne definišu jedinstveni kriterijumi. Svaki ekspert uspostavlja rang varijanti prema sopstvenom sistemu kriterijuma.
144
VOJNOTEHNICKI GLASNUC 2/2001.
Eksperti se u toku pripreme eksper-tize upoznaju sa projektovanim varijan-tnim reSenjima, a zatim na osnovu svog sistema kriterijuma daju rang za svaku varijantu. Pri tome postoji mogućnost dodeljivanja istog ranga za dve ili više varijanti. Obrada rezultata rangiranja sa-stoji se u odredivanju koeficijenta kon-kordacije, a ukoliko on nije zadovoljava-jući pristupa se diskusiji. Postupak se ponavlja do dobijanja zadovoljavajuće vrednosti koeficijenta konkordacije.
Da bi se izračunao kocficijent konkordacije za grupu od m eksperata prvo se nalazi suma ocena (rangova) varijanti, dobijena od svih eksperata, a zatim se izračunava razlika izmedu te sume i sred-nje sume rangova:
It R)
- I la.,
J-I n
gde je ag srednja vrednost zbimih rangova ajj = 0,5m(n + 1).
Zatim se izračunava suma kvadrata odstupanja S po formuli:
s-f flxij-i-m(n+.)]2
i-i l i-i 2 J
Veličina S ima maksimalnu vrednost kada svi eksperti daju jednake ocene, odnosno Smu = 0,5nm2 (n2 - 1).
Koeficijent konkordacije [2] jednak je odnosu dobijene vrednosti S i njene maksimalne vrednosti Smu za datu grupu eksperata m i broj varijanti n, odnosno:
Koeficijent konkordacije menja se u granicama od 0 do 1, pri čemu vrednost
1 znači da su svi eksperti dali iste ocene, a vrednost 0 znači da ne postoji veza između ekspertskih ocena.
U slučaju pojave istih rangova za različite varijante, koeficijent konkordacije jednak je:
^ |m2 (n3 - n) - mf (tj - 1})J
gde je tj broj jednakih rangova u j-tom redu.
Pri izračunavanju koeficijenta konkordacije moguće je uzeti u obzir težine eksperata Kj, uz uslov da je IKj = 1. Koeficijent konkordacije računa se na sledeći način:
[^mJ(n3-n)-m5T‘][vi
gde je:
12 «,
tj broj podudamih ocena j-tog eksperta.
U slučajevima u kojima vrednost koeficijenta konkordacije nije zadovolja-vajuća, pristupa se diskusiji. Postupak se nastavlja do dobijanja saglasnosti o redo-sledu varijanti. Zatim se odreduje ko-načni rang varijantnih rešenja na sledeći način:
- za svaku varijantu računa se vrednost:
m
xj = IriiKi, i = 1..n
j-i
VOJNOTEHNlCKl GLASNIK 2/2001.
145
gde je:
- rang dodeljen i-toj varijanti od j-tog eksperta.
m - broj eksperata, n - broj varijanti,
Kj - koeficijcnt kompetencijc j-tog eksperta,
- varijante se rangiraju dodeljiva-njem najvišeg ranga varijanti sa minimal-nom vredno&u Xj.
Rczuitati ekspertize sreduju sc i u vidu tabela prczcntuju naručiocima ekspertize.
Zaključak
Postupak ocenjivanja i rangiranja va-rijantnih rešenja organizaciono-tchnolo-ških sistcma u fazi projcktovanja ili repro-jektovanja izuzetno je složen. Ovaj postupak nameće rcšavanje niza spccifičnih problema koji zavisc od namene i cilja ocenjivanja. Kao prvo, nameće se problem izbora modcla ocenjivanja i rangiranja varijanti, a u zavisnosti od izabranog modela pojavljuju se specifični problemi, kao što su: po kojim karakteristikama sistema ga treba ocenjivati i rangirati i kako doći do kvantifikacije karaktcristika sistcma (kriterijuma) i do samog problema rangiranja.
Izbor modela ocenjivanja i rangiranja varijanti zavisi od cilja i namene ocenjivanja i rangiranja, ali i od svakog konkrctnog slučaja. Bilo koji model da jc izabran, svaki ima svoje prednosti i nedostatke. Valjanost ocene zavisi od samog modela. ali i od svesti o njegovim prednostima i nedostacima.
U ovom radu prikazana su dva modela ocenjivanja i rangiranja varijantnih rešenja organizaciono-tehnoloških sistema. Prvi model, kada sc kriterijumi za ocenu unapred zadaju - nameću. znatno je komplikovaniji. U njegovom sprovodc-
nju skoro u celosti je sadržan drugi model, osim samog postupka rangiranja. Sam postupak ocenj.vanja i rangiranja prcdstavlja svojevrsnu kvantitativnu ana-lizu svake varijante. Ovaj model daje jasniju ocenu, jer se prccizno zna po čemu su, po kojim kriterijumima, odno-sno karakteristikama, varijante ocenji-vane i rangiranc. Pouzdanost i preciznost ovog modela je relativno velika. ali je njcgova primena dugotrajna, kompliko-vana i zahteva angažovanje velikih resur-sa, kako ljudskih tako i materijalnib.
Drugi model je znatno jednostavniji, kraći i lakši za sprovodenje. Medutim, njegova pouzdanost i preciznost znatno su manji. Ipak, ako je reSenje potrebno dobiti relativno brzo, onda je ovaj model pogodniji.
Prikazani modeli su veoma uopštcni. U stvan, uobičajen je izraz „izbor modela ocenjivanja i rangiranja'*, a stvamo se radi o tome da se u svakom konkretnom slučaju model kreira. Sigurno je da krei-ranje modela najčešće znači kombinaciju vcć gotovih elcmenata, a ne potpuno nove postupke.
Ltierafura:
[ 11 Anders. A.A. i dr.: Projcktiroanijc zavodov. MaUaostroje-nije. Moskva. 5982,
(2) Bcliicv. S.D.; Gurvii. F.G : NalemauCko-statnufeakie me-todi ckspcnnih ocenok. Statittika. Moskva, 1980.
(3) Starowkz. W,; KoUrk. N.: Ptognoziranje 1 plamranjc trao-sporta metodama eksperata. deo I - opfte karaktcristike metoda. Članak. Zclcznica 5/86.
(4) Starowkz. W.; Kolark. N.: Prognoziranjc i ptanir&nje trait-sporta metodama eksperata. cieo II - osoovni melodoloiki proccs prognoze, Clanak. Zelemka 7/86.
{5} Starowkz, W.: Kolark. N.: Ptognoziranje i ptaoinaje traa-sporta metodama eksperata, dco III - ubor eksperata i procena njihove kompeienaje Claaak. Zeleznica 12/86.
(6) Starowicz. W.; Koralk. N.: Ptognoziranje i pUntranjc trait-sporta metodama eksperata. dto IV - formalizacija i ana lira inlormacija dobijenih od eksperata. članak, Casopis Železcu* ca.
|7| Kodžopcljk, I.: Mdković V.; sianojević. p.; Milkevk, M.: Metodologija ocene i rangiranjt sredstava naoružanja i vojne opreme u prooesu opremanja Vojikc lugoslavije sredtlvtma naoružanja i vojnc opreme. siudija. TU CS VJ. Beograd. 1998.
146
VOJNOTEHNIĆKI GLASNIK 20001.