All bodies  ›  California State Auditor  ›  Summary

CSA

Summary

California State Auditor · 97116 · 1997-01-01

Read the report at California State Auditor ↗

March 1998 97116 rotiduA etatS ainrofilaC Health and Welfare Agency: Lockheed Martin Information Management Systems Failed To Deliver and the State Poorly Managed the Statewide Automated Child Support System The first printed copy of each California State Auditor report is free. Additional copies are $3 each. Printed copies of this report can be obtained by contacting: California State Auditor Bureau of State Audits 660 J Street, Suite 300 Sacramento, California 95814 (916)445-0255 or TDD (916)445-0255 x 248 Permission is granted to reproduce reports. C S A ALIFORNIA TATE UDITOR KURT R. SJOBERG MARIANNE P. EVASHENK STATE AUDITOR CHIEF DEPUTY STATE AUDITOR March 18, 1998 97116 The Governor of California President pro Tempore of the Senate Speaker of the Assembly State Capitol Sacramento, California 95814 Dear Governor and Legislative Leaders: As requested by the Joint Legislative Audit Committee, the Bureau of State Audits presents its audit report concerning the State(cid:146)s and the vendor(cid:146)s project management for the Statewide Automated Child Support System (SACSS). This report concludes that the Lockheed Martin Information Management Systems failed to deliver on its promises for the SACSS. Moreover, the State failed to take adequate and timely corrective actions on the expert warnings which resulted in SACSS(cid:146) failure. Lastly, the State(cid:146)s failure to manage the project cost the taxpayers millions of dollars. Respectfully submitted, KURT R. SJOBERG State Auditor BUREAU OF STATE AUDITS 660 J Street, Suite 300, Sacramento, California 95814 Telephone: (916) 445-0255 Fax: (916) 327-0019 Table of Contents 6XPPDU\ 6(cid:16)(cid:20) ,QWURGXFWLRQ (cid:20) &KDSWHU(cid:3)(cid:20) /RFNKHHG(cid:3)0DUWLQ(cid:3),QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)6\VWHPV )DLOHG(cid:3)7R(cid:3)’HOLYHU(cid:3)RQ(cid:3),WV(cid:3)3URPLVHV(cid:3)IRU(cid:3)WKH 6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG(cid:3)6XSSRUW(cid:3)6\VWHP (cid:28) &KDSWHU(cid:3)(cid:21) 7KH(cid:3)6WDWH(cid:3)’LG(cid:3)1RW(cid:3)+HHG(cid:3)WKH(cid:3):DUQLQJ(cid:3)6LJQV (cid:21)(cid:28) &KDSWHU(cid:3)(cid:22) 7KH(cid:3)6WDWH(cid:3)0LVPDQDJHG(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)3URMHFW(cid:3)DQG(cid:3):DVWHG 0LOOLRQV(cid:3)RI(cid:3)7D[SD\HU(cid:3)’ROODUV (cid:22)(cid:28) &KDSWHU(cid:3)(cid:23) &KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)$XWRPDWLRQ(cid:29) :KHUH(cid:3)’R(cid:3):H(cid:3)*R(cid:3))URP(cid:3)+HUH" (cid:24)(cid:24) $SSHQGL[(cid:3)$ 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU“V $QDO\VLV(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG 6XSSRUW(cid:3)6\VWHP(cid:3)$OWHUQDWLYHV(cid:3)+DV(cid:3)/LWWOH(cid:3)9DOXH (cid:26)(cid:26) $SSHQGL[(cid:3)% &KURQRORJ\(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)3URMHFW (cid:27)(cid:22) 5HVSRQVH(cid:3)WR(cid:3)WKH(cid:3)$XGLW +HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\ (cid:27)(cid:26) California State Auditor’s Comments on the Response From the Health and Welfare Agency 109 Summary 5HVXOWV(cid:3)LQ(cid:3)%ULHI , Q(cid:3)LWV(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)6WDWH(cid:3)RI(cid:3)&DOLIRUQLD(cid:15)(cid:3)/RFNKHHG(cid:3)0DUWLQ ,QIRUPDWLRQ(cid:3) 0DQDJHPHQW(cid:3) 6\VWHPV(cid:3) (cid:11)/RFNKHHG(cid:12)(cid:3) SURPLVHG(cid:3) WR GHVLJQ(cid:15)(cid:3)LPSOHPHQW(cid:15)(cid:3)DQG(cid:3)PDLQWDLQ(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)RXU(cid:3)UHYLHZ(cid:3)UHYHDOHG WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)IXOILOO(cid:3)LWV(cid:3)PDQ\(cid:3)SURPLVHV(cid:3)WR(cid:3)WKH(cid:3)6WDWH(cid:3)DQG $XGLW(cid:3)+LJKOLJKWV(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)(cid:17) IDLOHG(cid:3)WR(cid:3)GHOLYHU(cid:3)D(cid:3)IXQFWLRQDO(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15) ZH(cid:3)IRXQG(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)GHOLYHU(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)LW(cid:3)KDG 7KH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG SURPLVHG(cid:15)(cid:3) GHYHORSHG(cid:3) D(cid:3) IODZHG(cid:3) FRPSXWHU(cid:3) V\VWHP(cid:3) WKDW(cid:3) IDLOHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP WHVWLQJ(cid:15)(cid:3)DQG(cid:3)GLG(cid:3)QRW(cid:3)VXSSO\(cid:3)PDQ\(cid:3)RI(cid:3)WKH(cid:3)GHOLYHUDEOHV(cid:3)SURPLVHG (cid:11)6$&66(cid:12)(cid:3)IDLOHG(cid:17)(cid:3)(cid:3)2XU(cid:3)UHYLHZ LQ(cid:3)LWV(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)6WDWH(cid:17)(cid:3)(cid:3)/RFNKHHG“V(cid:3)IDLOXUH(cid:3)WR(cid:3)FRPSO\(cid:3)ZLWK RI(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:3)PLOOLRQ(cid:3)SURMHFW UHYHDOHG(cid:3)WKH(cid:3)IROORZLQJ(cid:29) WKH(cid:3)WHUPV(cid:3)RI(cid:3)LWV(cid:3)DJUHHPHQW(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)WHUPLQDWLRQ(cid:3)RI(cid:3)WKH FRQWUDFW(cid:3)DQG(cid:3)D(cid:3)G\VIXQFWLRQDO(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:17) (cid:230) 6$&66(cid:3)GLG(cid:3)QRW(cid:3)IDLO(cid:3)DV(cid:3)D UHVXOW(cid:3)RI(cid:3)RQH(cid:3)SUREOHP(cid:3)RU $OWKRXJK(cid:3)ZH(cid:3)EHOLHYH(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)LV(cid:3)UHVSRQVLEOH(cid:3)IRU(cid:3)PDQ\(cid:3)RI LVVXH(cid:3)EXW(cid:3)UDWKHU(cid:3)D WKH(cid:3) SUREOHPV(cid:3) ZLWK(cid:3) 6$&66(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) DOVR(cid:3) FRQWULEXWHG(cid:3) WR(cid:3) WKH FDVFDGH(cid:3)RI(cid:3)HYHQWV(cid:3)WKDW IDLOXUH(cid:3)RI(cid:3)6$&66(cid:3)EHFDXVH(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)WDNH(cid:3)DGHTXDWH(cid:3)DFWLRQ(cid:3)RQ IRUPHG(cid:3)D(cid:3)XQLTXH(cid:3)VHW(cid:3)RI TXDOLW\(cid:3)DVVXUDQFH(cid:3)(cid:11)4$(cid:12)(cid:3)FRQWUDFWRU(cid:3)ZDUQLQJV(cid:3)DQG(cid:3) PLVPDQDJHG FLUFXPVWDQFHV(cid:17) WKH(cid:3)DGPLQLVWUDWLRQ(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)WKHUHE\(cid:3)ZDVWLQJ(cid:3)PLOOLRQV(cid:3)RI WD[SD\HU(cid:3)GROODUV(cid:17)(cid:3)(cid:3))URP(cid:3)WKH(cid:3)SODQQLQJ(cid:3)WR(cid:3)WKH(cid:3)LQVWDOODWLRQ(cid:3)SKDVHV (cid:230) /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)IXOILOO RI(cid:3) WKH(cid:3) SURMHFW(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) PDGH(cid:3) SRRU(cid:3) PDQDJHPHQW(cid:3) GHFLVLRQV LWV(cid:3)SURPLVH(cid:3)WR(cid:3)GHOLYHU(cid:3)D GHVSLWH(cid:3) SD\LQJ(cid:3) 4$(cid:3) FRQWUDFWRUV(cid:3) (cid:7)(cid:22)(cid:3) PLOOLRQ(cid:3) IRU(cid:3) LQGHSHQGHQW(cid:15) IXQFWLRQDO(cid:3)V\VWHP(cid:17) LPSDUWLDO(cid:3) DVVHVVPHQWV(cid:3) RI(cid:3) WKH(cid:3) SURMHFW“V(cid:3) PHWKRGV(cid:15)(cid:3) WHFKQLTXHV(cid:15) GHOLYHUDEOHV(cid:15)(cid:3)DQG(cid:3)SURJUHVV(cid:3)WKURXJKRXW(cid:3)WKH(cid:3)OLIH(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3)(YHQ (cid:230) 7KH(cid:3)6WDWH“V(cid:3)IRFXV(cid:3)RQ WKRXJK(cid:3) WKH(cid:3) FRQWUDFWRUV(cid:3) UHSHDWHGO\(cid:3) ZDUQHG(cid:3) WKH(cid:3) 6WDWH(cid:3) DERXW PHHWLQJ(cid:3)IHGHUDO UHTXLUHPHQWV(cid:3)DQG(cid:3)LWV VLJQLILFDQW(cid:3)GHILFLHQFLHV(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW(cid:3)VWDIILQJ(cid:3)DQG(cid:3)WKH(cid:3)V\VWHP PLVPDQJHPHQW(cid:3)RI(cid:3)WKH GHYHORSHG(cid:3) E\(cid:3) /RFNKHHG(cid:15)(cid:3) WKH(cid:3) ’HSDUWPHQW(cid:3) RI(cid:3) 6RFLDO(cid:3) 6HUYLFHV 6$&66(cid:3)SURMHFW (cid:11)6RFLDO(cid:3) 6HUYLFHV(cid:12)(cid:3) DQG(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) ’DWD FRQWULEXWHG(cid:3)WR(cid:3)SRRU &HQWHU(cid:3) (cid:11)GDWD(cid:3) FHQWHU(cid:12)(cid:3) IDLOHG(cid:3) WR(cid:3) FRUUHFW(cid:3) WKH(cid:3) SUREOHPV(cid:3) DQG GHFLVLRQV(cid:3)DQG(cid:3)ZDVWHG FRQWLQXHG(cid:3)WKHLU(cid:3)HIIRUWV(cid:3)WR(cid:3)LQVWDOO(cid:3)6$&66(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV WD[SD\HU(cid:3)GROODUV(cid:17) DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LQDSSURSULDWHO\(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SULFHV(cid:3)SDLG(cid:3)WR /RFNKHHG(cid:3)XQGHU(cid:3)WKH(cid:3)FRQWUDFW(cid:3)E\(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:20)(cid:23)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)7KH\ )XUWKHU(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)VWLOO(cid:3)IDFHV(cid:3)D DOVR(cid:3) PDGH(cid:3) LQDSSURSULDWH(cid:3) SD\PHQWV(cid:3) RQ(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:3) LQ GDXQWLQJ(cid:3)WDVN(cid:3)RI(cid:3)DXWRPDWLQJ H[FHVV(cid:3)RI(cid:3)(cid:7)(cid:21)(cid:26)(cid:3)PLOOLRQ(cid:15)(cid:3)LQFOXGLQJ(cid:3)SD\PHQWV(cid:3)IRU(cid:3)LQFRPSOHWH(cid:3)DQG FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)WR DYRLG(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:3)LQ LQDGHTXDWH(cid:3)GHOLYHUDEOHV(cid:17) IHGHUDO(cid:3)VDQFWLRQV(cid:17) 7KH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66(cid:3)FRVW(cid:3)WD[SD\HUV(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:3)PLOOLRQ(cid:15) DQG(cid:3)WKH(cid:3)6WDWH(cid:3)ZLOO(cid:3)SD\(cid:3)XS(cid:3)WR(cid:3)DQRWKHU(cid:3)(cid:7)(cid:20)(cid:20)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)/RFNKHHG WR(cid:3)PDLQWDLQ(cid:3)6$&66(cid:3)IRU(cid:3)WKRVH(cid:3)FRXQWLHV(cid:3)FXUUHQWO\(cid:3)XVLQJ(cid:3)WKH(cid:3)V\VWHP(cid:17) $GGLWLRQDOO\(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)HVWLPDWHV(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)QRZ(cid:3)IDFHV DV(cid:3)PXFK(cid:3)DV(cid:3)(cid:7)(cid:20)(cid:23)(cid:23)(cid:3)PLOOLRQ(cid:3)RYHU(cid:3)WKH(cid:3)QH[W(cid:3)IRXU(cid:3)\HDUV(cid:3)LQ(cid:3)SRWHQWLDO IHGHUDO(cid:3) SHQDOWLHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH(cid:3) DOVR(cid:3) IDFHV(cid:3) WKH(cid:3) FKDOOHQJH(cid:3) RI 6(cid:16)(cid:20) EHJLQQLQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)DOO(cid:3)RYHU(cid:3)DJDLQ(cid:3)ZKLOH(cid:3)PDQ\(cid:3)FKLOGUHQ(cid:3)ZDLW IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)SD\PHQWV(cid:3)IURP(cid:3)DEVHQW(cid:3)SDUHQWV(cid:3)ZKRP(cid:3)FRXQWLHV DUH(cid:3)XQDEOH(cid:3)WR(cid:3)ORFDWH(cid:3)ZLWKRXW(cid:3)KHOS(cid:3)IURP(cid:3)D(cid:3)VWDWHZLGH(cid:3)DXWRPDWHG V\VWHP(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) UHFHQW(cid:3) ZHOIDUH(cid:3) UHIRUPV(cid:3) LQFUHDVH(cid:3) WKH LPSRUWDQFH(cid:3)RI(cid:3)LPSURYLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)FROOHFWLRQV(cid:3)EHFDXVH(cid:3)DLG WR(cid:3)IDPLOLHV(cid:3)LV(cid:3)OLPLWHG(cid:3)XQGHU(cid:3)QHZ(cid:3)ODZV(cid:17) $(cid:3)o&DVFDGH(cid:3)RI(cid:3)(YHQWVp(cid:3)&RQWULEXWHG WR(cid:3)WKH(cid:3)6\VWHPnV(cid:3))DLOXUH 6$&66(cid:3)GLG(cid:3)QRW(cid:3)IDLO(cid:3)DV(cid:3)WKH(cid:3)UHVXOW(cid:3)RI(cid:3)RQH(cid:3)GHIHFW(cid:30)(cid:3)UDWKHU(cid:15)(cid:3)LW(cid:3)ZDV(cid:3)DQ DFFXPXODWLRQ(cid:3)RI(cid:3)SUREOHPV(cid:3)WKDW(cid:3)FDXVHG(cid:3)WKH(cid:3)SURMHFW(cid:3)WR(cid:3)IDLO(cid:17)(cid:3)(cid:3):KHQ WKH(cid:3) DLUOLQH(cid:3) LQGXVWU\(cid:3) LQYHVWLJDWHV(cid:3) DQ(cid:3) DFFLGHQW(cid:3) LQYROYLQJ(cid:3) D FRPPHUFLDO(cid:3)DLUOLQHU(cid:15)(cid:3)LW(cid:3)UHIHUV(cid:3)WR(cid:3)WKH(cid:3)VHULHV(cid:3)RI(cid:3)HYHQWV(cid:3)WKDW(cid:3)OHG(cid:3)WR WKH(cid:3)DFFLGHQW(cid:3)DV(cid:3)WKH(cid:3)§FDVFDGH(cid:3)RI(cid:3)HYHQWV(cid:17)¤(cid:3)(cid:3)(cid:3)7KH(cid:3)FDVFDGH(cid:3)RI(cid:3)HYHQWV KHOSV(cid:3) H[SODLQ(cid:3) KRZ(cid:3)D(cid:3)VHULHV(cid:3) RI(cid:3) XQUHODWHG(cid:3) HYHQWV(cid:3) RU(cid:3) GHFLVLRQV IRUPHG(cid:3)D(cid:3)XQLTXH(cid:3)VHW(cid:3)RI(cid:3)FLUFXPVWDQFHV(cid:3)WKDW(cid:3)OHG(cid:3)WR(cid:3)WKH(cid:3)DFFLGHQW(cid:3)RU IDLOXUH(cid:17)(cid:3)(cid:3)6LPLODUO\(cid:15)(cid:3)ZH(cid:3)KDYH(cid:3)H[DPLQHG(cid:3)WKH(cid:3)FDVFDGH(cid:3)RI(cid:3)HYHQWV(cid:3)WKDW XOWLPDWHO\(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3)7KH(cid:3)IROORZLQJ(cid:3)LV D(cid:3) VXPPDU\(cid:3) RI(cid:3) VRPH(cid:3) RI(cid:3) WKH(cid:3) PRUH(cid:3) VLJQLILFDQW(cid:3) HYHQWV(cid:3) WKDW(cid:3) ZH EHOLHYH(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)SURMHFW“V(cid:3)IDLOXUH(cid:29) • 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)UHTXLUHG(cid:3)VWDWHV(cid:3)WR(cid:3)WUDQVIHU(cid:3)H[LVWLQJ FKLOG(cid:3)VXSSRUW(cid:3)V\VWHPV(cid:3)IURP(cid:3)RWKHU(cid:3)VWDWHV(cid:3)RU(cid:3)FRXQWLHV(cid:3)UDWKHU WKDQ(cid:3)EXLOG(cid:3)HQWLUHO\(cid:3)QHZ(cid:3)V\VWHPV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)RQO\(cid:3)D(cid:3)IHZ DYDLODEOH(cid:3)V\VWHPV(cid:3)PHW(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW“V(cid:3)UHTXLUHPHQWV DQG(cid:3)ZHUH(cid:3)VXLWDEOH(cid:3)IRU(cid:3)WUDQVIHU(cid:3)WR(cid:3)RWKHU(cid:3)VWDWHV(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15) &DOLIRUQLD(cid:15)(cid:3) OLNH(cid:3) PDQ\(cid:3) RWKHU(cid:3) VWDWHV(cid:15)(cid:3) DWWHPSWHG(cid:3) WR(cid:3) WUDQVIHU LQFRPSOHWH(cid:3)DQG(cid:3)LQFRPSDWLEOH(cid:3)V\VWHPV(cid:15)(cid:3)DQ(cid:3)HIIRUW(cid:3)WKDW(cid:3)DGGHG FRVWV(cid:3) DQG(cid:3) GHOD\V(cid:3) WR(cid:3) WKH(cid:3) SURMHFW(cid:17)(cid:3) 7KH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW HYHQWXDOO\(cid:3)UHFRJQL]HG(cid:3)WKH(cid:3)REVWDFOHV(cid:3)DVVRFLDWHG(cid:3)ZLWK(cid:3)WUDQVIHU V\VWHPV(cid:3)DQG(cid:3)LQ(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)HOLPLQDWHG(cid:3)LW(cid:3)DV(cid:3)D(cid:3)UHTXLUHPHQW(cid:17) 8QIRUWXQDWHO\(cid:15)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW“V(cid:3)UHDOL]DWLRQ(cid:3)RI(cid:3)WKH SUREOHPV(cid:3)ZLWK(cid:3)WUDQVIHU(cid:3)V\VWHPV(cid:3)FDPH(cid:3)WRR(cid:3)ODWH(cid:3)IRU(cid:3)6$&66(cid:17) • 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)WRRN(cid:3)ILYH(cid:3)\HDUV(cid:3)WR(cid:3)SURYLGH(cid:3)VWDWHV ZLWK(cid:3) ILQDO(cid:3) UHTXLUHPHQWV(cid:3) IRU(cid:3) WKH(cid:3) V\VWHP(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) WKH IHGHUDO(cid:3) JRYHUQPHQW(cid:3) GLG(cid:3) QRW(cid:3) SURYLGH(cid:3) VWDWHV(cid:3) ILQDO(cid:3) V\VWHP UHTXLUHPHQWV(cid:3)XQWLO(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:3)(cid:11)RQH(cid:3)\HDU(cid:3)DIWHU(cid:3)WKH(cid:3)DZDUG(cid:3)RI WKH(cid:3)FRQWUDFW(cid:3)WR(cid:3)/RFNKHHG(cid:12)(cid:15)(cid:3)VWDWHV(cid:3)ZHUH(cid:3)XQGHU(cid:3)WUHPHQGRXV SUHVVXUH(cid:3)WR(cid:3)GHYHORS(cid:3)DQG(cid:3)LPSOHPHQW(cid:3)D(cid:3)YHU\(cid:3)FRPSOH[(cid:3)V\VWHP ZLWKLQ(cid:3)D(cid:3)FRPSUHVVHG(cid:3)WLPH(cid:3)IUDPH(cid:30)(cid:3)WKH(cid:3)RULJLQDO(cid:3)GHDGOLQH(cid:3)EHLQJ 2FWREHU(cid:3) (cid:20)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3) (cid:3) &DOLIRUQLD“V(cid:3) VL]H(cid:15)(cid:3) GLYHUVLW\(cid:15)(cid:3) DQG RUJDQL]DWLRQDO(cid:3)VWUXFWXUH(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)PDGH WKLV(cid:3)FKDOOHQJH(cid:3)HYHQ(cid:3)JUHDWHU(cid:3)WKDQ(cid:3)IRU(cid:3)RWKHU(cid:3)VWDWHV(cid:17) 6(cid:16)(cid:21) • 7KH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW“V(cid:3) PDQGDWHG(cid:3) GHDGOLQH(cid:3) IRU FRPSOHWLQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)QHJDWLYHO\(cid:3)LQIOXHQFHG(cid:3)WKH(cid:3)6WDWH“V GHFLVLRQV(cid:17)(cid:3)(cid:3)$XWRPDWLRQ(cid:3)SURMHFWV(cid:3)QRUPDOO\(cid:3)DUH(cid:3)GULYHQ(cid:3)E\(cid:3)D QHHG(cid:3) RU(cid:3) D(cid:3) GHVLUH(cid:3) WR(cid:3) LPSURYH(cid:3) XSRQ(cid:3) DQ(cid:3) H[LVWLQJ(cid:3) V\VWHP DQG(cid:3)WR(cid:3)VXSSRUW(cid:3)LPSURYHG(cid:3)SURFHVVHV(cid:17)(cid:3)(cid:3),Q(cid:3)WKH(cid:3)FDVH(cid:3)RI(cid:3)FKLOG VXSSRUW(cid:3) HQIRUFHPHQW(cid:15)(cid:3) WKH(cid:3) 8QLWHG(cid:3) 6WDWHV(cid:3) &RQJUHVV PDQGDWHG(cid:3)DXWRPDWLRQ(cid:3)DV(cid:3)D(cid:3)PHDQV(cid:3)WR(cid:3)LPSURYH(cid:3)VWDWHV“(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHPV(cid:3)DQG(cid:3)WR(cid:3)LQFUHDVH(cid:3)FKLOG(cid:3)VXSSRUW FROOHFWLRQV(cid:17)(cid:3) (cid:3) $V(cid:3) D(cid:3) SDUW(cid:3) RI(cid:3) WKDW(cid:3) PDQGDWH(cid:15)(cid:3) &RQJUHVV(cid:3) VHW WKH(cid:3) GHDGOLQH(cid:3) DW(cid:3) 2FWREHU(cid:3) (cid:20)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) ODWHU(cid:3) H[WHQGHG(cid:3) LW(cid:3) WR 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)DQG(cid:3)HVWDEOLVKHG(cid:3)VHYHUH(cid:3)ILQDQFLDO(cid:3)SHQDOWLHV IRU(cid:3)VWDWHV(cid:3)IDLOLQJ(cid:3)WR(cid:3)FRPSO\(cid:3)ZLWK(cid:3)WKH(cid:3)PDQGDWH(cid:17)(cid:3)(cid:3)7KH(cid:3)IRFXV(cid:3)RQ PHHWLQJ(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQHV(cid:3)VLJQLILFDQWO\(cid:3)LQIOXHQFHG(cid:3)PDQ\ RI(cid:3) WKH(cid:3) 6WDWH“V(cid:3) GHFLVLRQV(cid:3) UHJDUGLQJ(cid:3) 6$&66(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15) DOWKRXJK(cid:3)WKH(cid:3)V\VWHP(cid:3)IDLOHG(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:15)(cid:3)WKH(cid:3)6WDWH LQVWDOOHG(cid:3)WKH(cid:3)GHIHFWLYH(cid:3)V\VWHP(cid:3)LQ(cid:3)FRXQWLHV(cid:3)LQ(cid:3)LWV(cid:3)HIIRUWV(cid:3)WR PHHW(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:17) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)LW(cid:3)SURSRVHG(cid:17) 7KURXJKRXW(cid:3)WKH(cid:3)OLIH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$(cid:3)FRQWUDFWRUV UDLVHG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)WKH(cid:3)TXDOLW\(cid:3)DQG(cid:3)QXPEHU(cid:3)RI(cid:3)/RFNKHHG“V VWDII(cid:15)(cid:3)ZKLFK(cid:3)H[SHULHQFHG(cid:3)D(cid:3)KLJK(cid:3)WXUQRYHU(cid:3)UDWH(cid:3)WKDW(cid:3)DGYHUVHO\ DIIHFWHG(cid:3) WKH(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15)(cid:3) /RFNKHHG“V(cid:3) SURMHFW PDQDJHU(cid:3)DQG(cid:3)FRQYHUVLRQ(cid:3)PDQDJHU(cid:3)HDFK(cid:3)FKDQJHG(cid:3)ILYH(cid:3)WLPHV GXULQJ(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)VWDII(cid:3)OLVWV SURYLGHG(cid:3)E\(cid:3)/RFNKHHG(cid:15)(cid:3)RQO\(cid:3)(cid:20)(cid:19)(cid:3)RI(cid:3)WKH(cid:3)(cid:27)(cid:26)(cid:3)VWDII(cid:3)VSHFLILFDOO\ QDPHG(cid:3)LQ(cid:3)WKH(cid:3)SURSRVDO(cid:3)DFWXDOO\(cid:3)ZRUNHG(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW(cid:17) • /RFNKHHG(cid:3)GHYHORSHG(cid:3)D(cid:3)IODZHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)7KH(cid:3)JHQHUDO DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)GRFXPHQWV(cid:15)(cid:3)WKH(cid:3)§EOXHSULQWV¤(cid:3)IRU 6$&66(cid:15)(cid:3)FRQWDLQHG(cid:3)QXPHURXV(cid:3)LGHQWLILHG(cid:3)IODZV(cid:3)DQG(cid:3)GHYLDWLRQV IURP(cid:3) V\VWHP(cid:3) UHTXLUHPHQWV(cid:17)(cid:3) (cid:3) 7KHVH(cid:3) SUREOHPV(cid:3) ZHUH GRFXPHQWHG(cid:3)E\(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)LWV(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DQG DFNQRZOHGJHG(cid:3)LQ(cid:3)ZULWLQJ(cid:3)E\(cid:3)/RFNKHHG(cid:3)HDUO\(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW(cid:17) +RZHYHU(cid:15)(cid:3)GHVSLWH(cid:3)WKH(cid:3)IDFW(cid:3)WKDW(cid:3)WKHVH(cid:3)LVVXHV(cid:3)ZHUH(cid:3)LGHQWLILHG(cid:15) GRFXPHQWHG(cid:15)(cid:3)DQG(cid:3)GLVFXVVHG(cid:3)DV(cid:3)IDU(cid:3)EDFN(cid:3)DV(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)PDQ\(cid:3)RI WKHVH(cid:3)SUREOHPV(cid:3)UHPDLQ(cid:3)XQUHVROYHG(cid:3)WRGD\(cid:17) • /RFNKHHG(cid:3)IDLOHG(cid:3)WR(cid:3)WHVW(cid:3)6$&66(cid:3)DGHTXDWHO\(cid:17)(cid:3)(cid:3),Q(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15) WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)FULWLFL]HG(cid:3)WKH(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)SHUIRUPHG(cid:3)E\ /RFNKHHG(cid:15)(cid:3)DQG(cid:3)UDLVHG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)WKH(cid:3)DELOLW\(cid:3)RI(cid:3)6$&66(cid:3)WR SHUIRUP(cid:3) ZLWKLQ(cid:3) HVWDEOLVKHG(cid:3) SDUDPHWHUV(cid:17)(cid:3) (cid:3) 5DWKHU(cid:3) WKDQ UHTXLULQJ(cid:3)/RFNKHHG(cid:3)WR(cid:3)IL[(cid:3)WKH(cid:3)SUREOHPV(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)KDG /RFNKHHG(cid:3)YHULI\(cid:3)GXULQJ(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)WKDW(cid:3)WKH V\VWHP(cid:3)PHW(cid:3)WKH(cid:3)6WDWH“V(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKLV(cid:3)UHYLVHG DSSURDFK(cid:3)GLG(cid:3)QRW(cid:3)HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3) ZRXOG(cid:3)IXQFWLRQ DFFRUGLQJ(cid:3)WR(cid:3)GHVLJQ(cid:17) 6(cid:16)(cid:22) • ([SDQGLQJ(cid:3)VFRSH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3):LWK(cid:3)WKH(cid:3)DSSURYDO(cid:3)DQG HQFRXUDJHPHQW(cid:3) RI(cid:3) WKH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW(cid:15)(cid:3) WKH(cid:3) 6WDWH H[SDQGHG(cid:3) WKH(cid:3) VFRSH(cid:3) RI(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:3) EH\RQG(cid:3) WKH PLQLPXP(cid:3)UHTXLUHPHQWV(cid:3)HVWDEOLVKHG(cid:3)E\(cid:3)&RQJUHVV(cid:17)(cid:3)(cid:3)$V(cid:3)6$&66 ZDV(cid:3)EHLQJ(cid:3)GHYHORSHG(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)IXUWKHU(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)VFRSH RI(cid:3)WKH(cid:3)SURMHFW(cid:3)WR(cid:3)DFFRPPRGDWH(cid:3)WKH(cid:3)GLYHUVLW\(cid:3)RI(cid:3)WKH(cid:3)FRXQWLHV(cid:17) 0RUHRYHU(cid:15)(cid:3)FKDQJHV(cid:3)LQ(cid:3)VWDWH(cid:3)ODZV(cid:3)DGGHG(cid:3)QHZ(cid:3)UHTXLUHPHQWV IRU(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7KH(cid:3)H[SDQVLRQ(cid:3)DQG(cid:3)FKDQJHV(cid:3)LQ(cid:3)WKH(cid:3)VFRSH DGYHUVHO\(cid:3)DIIHFWHG(cid:3)WKH(cid:3)SURMHFW(cid:3)E\(cid:3)LQFUHDVLQJ(cid:3)LWV(cid:3)FRPSOH[LW\ WKHUHE\(cid:3)DGGLQJ(cid:3)WR(cid:3)WKH(cid:3)ULVN(cid:3)RI(cid:3)IDLOXUH(cid:17) • 6WDWH(cid:3)GLG(cid:3)QRW(cid:3)DGHTXDWHO\(cid:3)UHVROYH(cid:3)SUREOHPV(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)SDLG LWV(cid:3)4$(cid:3)FRQWUDFWRUV(cid:3)(cid:7)(cid:22)(cid:3)PLOOLRQ(cid:3)WR(cid:3)KHOS(cid:3)RYHUVHH(cid:3)/RFNKHHG“V ZRUN(cid:3)DQG(cid:3)WR(cid:3)HQVXUH(cid:3)WKH(cid:3)6WDWH(cid:3)ZDV(cid:3)JHWWLQJ(cid:3)ZKDW(cid:3)LW(cid:3)SDLG(cid:3)IRU(cid:17) +RZHYHU(cid:15)(cid:3) GHVSLWH(cid:3) WKH(cid:3) FRQWUDFWRUV“(cid:3) UHSHDWHG(cid:3) ZDUQLQJV(cid:3) RI GHILFLHQFLHV(cid:3) ZLWK(cid:3) /RFNKHHG“V(cid:3) VWDIILQJ(cid:15)(cid:3) GHYHORSPHQW SUDFWLFHV(cid:15)(cid:3)WHVWLQJ(cid:3)SURFHGXUHV(cid:15)(cid:3)DQG(cid:3)ZLWK(cid:3)WKH(cid:3)V\VWHP(cid:15)(cid:3)6RFLDO 6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)IDLOHG(cid:3)WR(cid:3)WDNH(cid:3)DGHTXDWH(cid:3)DFWLRQ DQG(cid:3)FRQWLQXHG(cid:3)WKHLU(cid:3)HIIRUWV(cid:3)WR(cid:3)LQVWDOO(cid:3)6$&66(cid:17) • 6WDWH(cid:3)PLVPDQDJHG(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:3)DQG(cid:3)ZDVWHG(cid:3)PLOOLRQV RI(cid:3)WD[SD\HU(cid:3)GROODUV(cid:17)(cid:3)(cid:3)$V(cid:3)DGPLQLVWUDWRUV(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:15) ERWK(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)PDGH(cid:3)QXPHURXV PDQDJHPHQW(cid:3) GHFLVLRQV(cid:3) WKDW(cid:3) FRQWULEXWHG(cid:3) WR(cid:3) WKH(cid:3) IDLOXUH(cid:3) RI 6$&66(cid:3)DQG(cid:3)FRVW(cid:3)WKH(cid:3)WD[SD\HUV(cid:3)PLOOLRQV(cid:3)RI(cid:3) GROODUV(cid:17)(cid:3) (cid:3) )URP WKH(cid:3) SODQQLQJ(cid:3) WKURXJK(cid:3) WKH(cid:3) LQVWDOODWLRQ(cid:3) SKDVHV(cid:3) RI(cid:3) WKH SURMHFW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)PDGH(cid:3)SRRU(cid:3)PDQDJHPHQW(cid:3)GHFLVLRQV(cid:17)(cid:3)(cid:3))RU H[DPSOH(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)IRU(cid:3)LQFRPSOHWH(cid:3)FRQWUDFW GHOLYHUDEOHV(cid:15)(cid:3)DQG(cid:3)LQDSSURSULDWHO\(cid:3)LQFUHDVHG(cid:3)FRQWUDFW(cid:3)SULFHV SDLG(cid:3)WR(cid:3)/RFNKHHG(cid:3)E\(cid:3)RYHU(cid:3)(cid:7)(cid:20)(cid:23)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH 6WDWH(cid:3)IDLOHG(cid:3)WR(cid:3)PRQLWRU(cid:3)DQG(cid:3)FRQWURO(cid:3)WRWDO(cid:3)FRVWV(cid:3)RI(cid:3)WKH(cid:3)6$&66 SURMHFW(cid:3)DQG(cid:3)GLG(cid:3)QRW(cid:3)HVWDEOLVK(cid:3)DGHTXDWH(cid:3)LQWHUQDO(cid:3)FRQWUROV(cid:3)RYHU DFFRXQWLQJ(cid:3)SURFHVVHV(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW(cid:3)HVWDEOLVK VDWLVIDFWRU\(cid:3)FRQWUDFW(cid:3)SHQDOW\(cid:3)DQG(cid:3)ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV(cid:3)DQG SRRUO\(cid:3)QHJRWLDWHG(cid:3)FRQWUDFW(cid:3)DPHQGPHQWV(cid:17) 5HFRPPHQGDWLRQV 7R(cid:3)DYRLG(cid:3)D(cid:3)UHSHWLWLRQ(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG(cid:3)6XSSRUW 6\VWHP“V(cid:3)(cid:11)6$&66(cid:12)(cid:3)IDLOXUH(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG GR(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • &UHDWH(cid:3)D(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)OHG(cid:3)E\(cid:3)FRXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V DQG(cid:3) VWDWH(cid:3) UHSUHVHQWDWLYHV(cid:3) WR(cid:3) RYHUVHH(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) 6(cid:16)(cid:23) • $VN(cid:3)&DOLIRUQLD“V(cid:3)FRQJUHVVLRQDO(cid:3)GHOHJDWLRQ(cid:3)WR(cid:3)SXUVXH(cid:3)FKDQJHV LQ(cid:3) IHGHUDO(cid:3) ODZV(cid:3) JRYHUQLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) • 3URYLGH(cid:3) KLJK(cid:16)OHYHO(cid:3) VXSSRUW(cid:3) IRU(cid:3) WKH(cid:3) SURMHFW(cid:3) DQG(cid:3) FUHDWH LQFHQWLYHV(cid:3) IRU(cid:3) WKH(cid:3) FRXQWLHV(cid:3) WR(cid:3) GHYHORS(cid:3) VROXWLRQV(cid:3) IRU(cid:3) WKH 6WDWH“V(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)QHHGV(cid:17) • ,PSURYH(cid:3) WKH(cid:3) SROLFLHV(cid:3) DQG(cid:3) SURFHGXUHV(cid:3) DW(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG :HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU(cid:3)DQG(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO 6HUYLFHV(cid:3) WKDW(cid:3) KDYH(cid:3) DOORZHG(cid:3) LQDSSURSULDWH(cid:15)(cid:3) XQMXVWLILHG SD\PHQWV(cid:3)DQG(cid:3)FRQWUDFW(cid:3)DPHQGPHQWV(cid:3)WR(cid:3)JR(cid:3)XQGHWHFWHG(cid:17) • (QVXUH(cid:3)WKDW(cid:3)WKH(cid:3)HQWLW\(cid:3)VHOHFWHG(cid:3)E\(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)WR PDQDJH(cid:3)DQ\(cid:3)IXWXUH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ HIIRUWV(cid:3)OHDUQV(cid:3)IURP(cid:3)WKH(cid:3)OHVVRQV(cid:3)RI(cid:3)WKH(cid:3)ILUVW(cid:3)6$&66(cid:3)SURMHFW(cid:3)DQG XWLOL]HV(cid:3)JRRG(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)WHFKQLTXHV(cid:17) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) VKRXOG(cid:3) PHPRULDOL]H(cid:3) &RQJUHVV(cid:3) WR DPHQG(cid:3) IHGHUDO(cid:3) ODZV(cid:3) JRYHUQLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) $JHQF\(cid:3)&RPPHQWV 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)(cid:11)6WDWH(cid:12)(cid:3)JHQHUDOO\(cid:3)DJUHHV(cid:3)ZLWK RXU(cid:3) UHFRPPHQGDWLRQV(cid:3) DQG(cid:3) ZLWK(cid:3) PDQ\(cid:3) RI(cid:3) WKH(cid:3) DXGLW(cid:3) ILQGLQJV UHJDUGLQJ(cid:3) ZDUQLQJ(cid:3) VLJQV(cid:3) DQG(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) LVVXHV(cid:17) +RZHYHU(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) GLVDJUHHV(cid:3) WKDW(cid:3) LWV(cid:3) PDQDJHPHQW(cid:3) GHFLVLRQV FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)DQG(cid:3)WKDW(cid:3)LW(cid:3)DOORZHG(cid:3)WKH FRXQWLHV(cid:3)WR(cid:3)SXUFKDVH(cid:3)SHUVRQDO(cid:3)FRPSXWHUV(cid:3)DQG(cid:3)SULQWHUV(cid:3)IRU(cid:3)6$&66 SUHPDWXUHO\(cid:17) 6(cid:16)(cid:24) Introduction 6WDWH(cid:3)$JHQFLHV(cid:3),QYROYHG(cid:3)LQ &KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW 7 R(cid:3)NHHS(cid:3)ZHOIDUH(cid:3)FRVWV(cid:3)GRZQ(cid:3)DQG(cid:3)FKLOGUHQ(cid:3)RXW(cid:3)RI(cid:3)SRYHUW\(cid:15) IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)KDYH(cid:3)GHYHORSHG(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3)SURJUDPV(cid:3)DURXQG(cid:3)WKH(cid:3)FRXQWU\(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH“V ’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)(cid:11)6RFLDO(cid:3)6HUYLFHV(cid:12)(cid:3)DGPLQLVWHUV(cid:3)WKH FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDP(cid:3)LQ(cid:3)&DOLIRUQLD(cid:17)(cid:3)(cid:3)7KH(cid:3)SXUSRVH RI(cid:3)WKLV(cid:3)SURJUDP(cid:3)LV(cid:3)WR(cid:3)LQFUHDVH(cid:3)FROOHFWLRQV(cid:3)IURP(cid:3)DEVHQW(cid:3)SDUHQWV DQG(cid:3)WR(cid:3)UHGXFH(cid:3)IHGHUDO(cid:15)(cid:3)VWDWH(cid:15)(cid:3)DQG(cid:3)ORFDO(cid:3)ZHOIDUH(cid:3)H[SHQGLWXUHV(cid:17)(cid:3)(cid:3)7R IXOILOO(cid:3) LWV(cid:3) SXUSRVH(cid:15)(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP SURYLGHV(cid:3)D(cid:3)YDULHW\(cid:3)RI(cid:3)VHUYLFHV(cid:3)WR(cid:3)FXVWRGLDO(cid:3)SDUHQWV(cid:15)(cid:3)LQFOXGLQJ ORFDWLQJ(cid:3) DEVHQW(cid:3) SDUHQWV(cid:15)(cid:3)HVWDEOLVKLQJ(cid:3) SDWHUQLW\(cid:15)(cid:3) REWDLQLQJ(cid:3) DQG HQIRUFLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)RUGHUV(cid:15)(cid:3)DQG(cid:3)FROOHFWLQJ(cid:3)DQG(cid:3)GLVEXUVLQJ FKLOG(cid:3)VXSSRUW(cid:3)SD\PHQWV(cid:17)(cid:3)%HFDXVH(cid:3)WKH(cid:3)QXPEHU(cid:3)RI(cid:3)VLQJOH(cid:16)SDUHQW IDPLOLHV(cid:3)FRQWLQXHV(cid:3)WR(cid:3)ULVH(cid:15)(cid:3)DQG(cid:3)EHFDXVH(cid:3)UHFHQW(cid:3)ZHOIDUH(cid:3)UHIRUP OLPLWV(cid:3)DLG(cid:3)WR(cid:3)IDPLOLHV(cid:15)(cid:3)WKH(cid:3)QHHG(cid:3)WR(cid:3)LPSURYH(cid:3)WKH(cid:3)DYDLODELOLW\(cid:3)RI WKHVH(cid:3)VHUYLFHV(cid:3)LV(cid:3)EHFRPLQJ(cid:3)LQFUHDVLQJO\(cid:3)LPSRUWDQW(cid:17) 7KURXJK(cid:3)WKHLU(cid:3) IDPLO\(cid:3)VXSSRUW(cid:3) GLYLVLRQV(cid:15)(cid:3) WKH(cid:3) GLVWULFW(cid:3)DWWRUQH\V“ RIILFHV(cid:3)LQ(cid:3)WKH(cid:3)(cid:24)(cid:27)(cid:3)FRXQWLHV(cid:3)SURYLGH(cid:3)WKH(cid:3)GD\(cid:16)WR(cid:16)GD\(cid:3)VHUYLFHV(cid:3)RI &DOLIRUQLD“V(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDP(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15) VWDWH(cid:3)DJHQFLHV(cid:3)SURYLGH(cid:3)LQIRUPDWLRQ(cid:3)WR(cid:3)DVVLVW(cid:3)FRXQWLHV(cid:3)LQ(cid:3)ORFDWLQJ DEVHQW(cid:3)SDUHQWV(cid:3)DQG(cid:3)LQ(cid:3)LQWHUFHSWLQJ(cid:3)LQFRPH(cid:3)WR(cid:3)SD\(cid:3)FKLOG(cid:3)VXSSRUW RZHG(cid:17)(cid:3)(cid:3)7KHVH(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)LQFOXGH(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • %RDUG(cid:3)RI(cid:3)(TXDOL]DWLRQ • ’HSDUWPHQW(cid:3)RI(cid:3)&RQVXPHU(cid:3)$IIDLUV • ’HSDUWPHQW(cid:3)RI(cid:3)&RUUHFWLRQV • ’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV • ’HSDUWPHQW(cid:3)RI(cid:3)-XVWLFH • ’HSDUWPHQW(cid:3)RI(cid:3)0RWRU(cid:3)9HKLFOHV • (PSOR\PHQW(cid:3)’HYHORSPHQW(cid:3)’HSDUWPHQW • )UDQFKLVH(cid:3)7D[(cid:3)%RDUG • 6WDWH(cid:3)&RQWUROOHU“V(cid:3)2IILFH (cid:20) )HGHUDO(cid:3)5HTXLUHPHQWV(cid:3)IRU(cid:3)&KLOG 6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)3URJUDPV 7KH(cid:3) IHGHUDO(cid:3) ’HSDUWPHQW(cid:3) RI(cid:3) +HDOWK(cid:3) DQG(cid:3) +XPDQ(cid:3) 6HUYLFHV“ 2IILFH(cid:3) RI(cid:3) &KLOG(cid:3) 6XSSRUW(cid:3) (QIRUFHPHQW(cid:3) (cid:11)2&6((cid:12)(cid:3) RYHUVHHV(cid:3) WKH VWDWH(cid:16)DGPLQLVWHUHG(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP(cid:17)(cid:3) (cid:3) $Q LQFUHDVH(cid:3)LQ(cid:3)WKH(cid:3)GHPDQG(cid:3)IRU(cid:3)HQIRUFHPHQW(cid:3)VHUYLFHV(cid:15)(cid:3)D(cid:3)JURZLQJ QXPEHU(cid:3)RI(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)FDVHV(cid:15)(cid:3)DQG(cid:3)LQFUHDVHG(cid:3)FRVWV(cid:3)FUHDWHG(cid:3)D QHHG(cid:3) IRU(cid:3) D(cid:3) VPRRWKHU(cid:3) DQG(cid:3) IDVWHU(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW SURFHVV(cid:17)(cid:3)(cid:3)&RQJUHVV(cid:3)DGGUHVVHG(cid:3)WKLV(cid:3)QHHG(cid:3)E\(cid:3)SDVVLQJ(cid:3)WKH(cid:3))DPLO\ 6XSSRUW(cid:3)$FW(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:27)(cid:27)(cid:3)(cid:11)DFW(cid:12)(cid:17)(cid:3)(cid:3)7KH(cid:3)DFW(cid:3)PDQGDWHG(cid:3)D(cid:3)IXOO\(cid:3)RSHUDWLRQDO DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:3)FHUWLILHG(cid:3)LQ(cid:3)HDFK VWDWH(cid:3)E\(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3),I(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)KDYH(cid:3)LWV(cid:3)V\VWHP(cid:3)FHUWLILHG E\(cid:3) WKH(cid:3) GHDGOLQH(cid:15)(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) DQG(cid:3) WHPSRUDU\ DVVLVWDQFH(cid:3) IRU(cid:3) QHHG\(cid:3) IDPLOLHV(cid:3) SURJUDPV(cid:3) FRXOG(cid:3) KDYH(cid:3) IXQGLQJ HOLPLQDWHG(cid:17)(cid:3)(cid:3)7KH(cid:3)DFW(cid:3)DOVR(cid:3)UHTXLUHV(cid:3)WKDW(cid:3)WKH(cid:3)DXWRPDWHG(cid:3)V\VWHPV SHUIRUP(cid:3)WKH(cid:3)IROORZLQJ(cid:3)IXQFWLRQV(cid:29) &DVH(cid:3),QLWLDWLRQ &UHDWLQJ(cid:3) QHZ(cid:3) FDVHV(cid:3) EDVHG(cid:3) RQ FRPSLODWLRQ(cid:3) RI(cid:3) GDWD(cid:3) UHFHLYHG(cid:3) IURP FRXQW\(cid:3) ZHOIDUH(cid:3) DJHQF\(cid:3) UHIHUUDOV(cid:15) UHTXHVWV(cid:3) IURP(cid:3) RWKHU(cid:3) VWDWHV(cid:15)(cid:3) DQG DSSOLFDWLRQV(cid:3) XQUHODWHG(cid:3) WR(cid:3) ZHOIDUH(cid:17) $OVR(cid:15)(cid:3) WKH(cid:3) V\VWHPV(cid:3) VKRXOG(cid:3) EHJLQ(cid:3) WKH LQLWLDO(cid:3) SURFHVVLQJ(cid:3) GHFLVLRQV(cid:3) IRU(cid:3) HDFK FDVH(cid:17) /RFDWLRQ )LQGLQJ(cid:3) SDUHQWV(cid:3) RU(cid:3) DOOHJHG(cid:3) SDUHQWV ZKR(cid:3) DUH(cid:3) QRW(cid:3) ILQDQFLDOO\(cid:3) VXSSRUWLQJ WKHLU(cid:3)FKLOGUHQ(cid:15)(cid:3)DQG(cid:3)ORFDWLQJ(cid:3)DVVHWV(cid:3)RI DEVHQW(cid:3)SDUHQWV(cid:17) (VWDEOLVKPHQW (VWDEOLVKLQJ(cid:3) SDWHUQLW\(cid:3) WKURXJK(cid:3) EORRG WHVWLQJ(cid:3) DQG(cid:3) FRXUW(cid:3) KHDULQJV(cid:15)(cid:3) DQG DVVHVVLQJ(cid:3) WKH(cid:3) DPRXQW(cid:3) RI(cid:3) ILQDQFLDO VXSSRUW(cid:3)RZHG(cid:17) &DVH(cid:3)0DQDJHPHQW 3URFHVVLQJ(cid:15)(cid:3) WUDFNLQJ(cid:15)(cid:3) DQG(cid:3) FRQWUROOLQJ FDVHV(cid:3)DIWHU(cid:3)LQLWLDWLRQ(cid:17) )LQDQFLDO(cid:3)0DQDJHPHQW %LOOLQJ(cid:3) DEVHQW(cid:3) SDUHQWV(cid:3) UHJXODUO\ IRU(cid:3) DOO(cid:3) REOLJDWLRQV(cid:15)(cid:3) DQG(cid:3) FROOHFWLQJ(cid:15) GLVWULEXWLQJ(cid:15)(cid:3)DQG(cid:3)GLVEXUVLQJ(cid:3)SD\PHQWV(cid:17) (QIRUFHPHQW 0RQLWRULQJ(cid:15)(cid:3) WUDFNLQJ(cid:15)(cid:3) DQG(cid:3) UHPHG\LQJ FDVHV(cid:3) ZLWK(cid:3) GHOLQTXHQW(cid:3) SD\PHQWV(cid:15) LQFOXGLQJ(cid:3) ZDJH(cid:3) DWWDFKPHQWV(cid:15)(cid:3) WD[ UHIXQG(cid:3) DQG(cid:3) LQFRPH(cid:3) LQWHUFHSWV(cid:15) LPSRVLWLRQV(cid:3)RI(cid:3)OLHQV(cid:15)(cid:3)DQG(cid:3)IRUPDO(cid:3)FRXUW DFWLRQV(cid:17) (cid:21) 5HSRUWLQJ *HQHUDWLQJ(cid:3)IHGHUDO(cid:15)(cid:3)PDQDJHPHQW(cid:15)(cid:3)DQG RSHUDWLRQDO(cid:3)UHSRUWV(cid:3)IRU(cid:3)IHGHUDO(cid:15)(cid:3)VWDWH(cid:15) DQG(cid:3)FRXQW\(cid:3)PDQDJHUV(cid:17) 6HFXULW\(cid:3)DQG(cid:3)3ULYDF\ ’HYHORSLQJ(cid:3) SROLFLHV(cid:3) DQG(cid:3) SURFHGXUHV WR(cid:3) HYDOXDWH(cid:3) WKH(cid:3) V\VWHP(cid:3) IRU(cid:3) ULVN(cid:30) SURWHFWLQJ(cid:3) DJDLQVW(cid:3) XQDXWKRUL]HG DFFHVV(cid:3) WR(cid:3) FRPSXWHU(cid:3) UHVRXUFHV(cid:3) DQG GDWD(cid:30)(cid:3) DQG(cid:3) SURWHFWLQJ(cid:3) V\VWHP KDUGZDUH(cid:15)(cid:3) VRIWZDUH(cid:15)(cid:3) GRFXPHQWDWLRQ(cid:15) DQG(cid:3)FRPPXQLFDWLRQV(cid:17) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) DFW(cid:3) DV(cid:3) GHILQHG(cid:3) E\(cid:3) WKH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW UHTXLUHV(cid:3) D(cid:3) VLQJOH(cid:15)(cid:3) VWDWHZLGH(cid:3) DXWRPDWHG(cid:3) GDWD(cid:3) SURFHVVLQJ(cid:3) DQG LQIRUPDWLRQ(cid:3) UHWULHYDO(cid:3) V\VWHP(cid:17)(cid:3) (cid:3) 7KLV(cid:3) UHTXLUHPHQW(cid:3) EHFDPH(cid:3) D VLJQLILFDQW(cid:3)FKDOOHQJH(cid:3)IRU(cid:3)&DOLIRUQLD(cid:3)EHFDXVH(cid:3)RI(cid:3)LWV(cid:3)FRXQW\(cid:16)EDVHG DQG(cid:3) FRXQW\(cid:16)RSHUDWHG(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP(cid:17) (DFK(cid:3)FRXQW\(cid:3)GLIIHUV(cid:3)LQ(cid:3)LWV(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)FDVHORDG(cid:3)VL]H(cid:15)(cid:3)EXVLQHVV SUDFWLFHV(cid:15)(cid:3) VRFLDO(cid:3) QHHGV(cid:15)(cid:3) SROLWLFDO(cid:3) HQYLURQPHQW(cid:15)(cid:3) DQG(cid:3) DYDLODEOH UHVRXUFHV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)/RV(cid:3)$QJHOHV(cid:3)&RXQW\(cid:3)(cid:11)/RV(cid:3) $QJHOHV(cid:12)(cid:15) ZLWK(cid:3) DSSUR[LPDWHO\(cid:3) (cid:23)(cid:25)(cid:26)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) FDVHV(cid:15)(cid:3) KDV(cid:3) GLIIHUHQW(cid:3) QHHGV(cid:3) DQG EXVLQHVV(cid:3) SUDFWLFHV(cid:3) IURP(cid:3) $OSLQH(cid:3) &RXQW\(cid:15)(cid:3) ZKLFK(cid:3) KDV DSSUR[LPDWHO\(cid:3)(cid:21)(cid:20)(cid:23)(cid:3)FDVHV(cid:17) 2&6((cid:3) ZDLYHG(cid:3) /RV(cid:3) $QJHOHV“(cid:3) SDUWLFLSDWLRQ(cid:3) LQ(cid:3) D(cid:3) VWDWHZLGH DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)/RV(cid:3)$QJHOHV(cid:15)(cid:3)ZKLFK(cid:3)UHSUHVHQWV (cid:21)(cid:20)(cid:3) SHUFHQW(cid:3) RI(cid:3) &DOLIRUQLD“V(cid:3) FDVHORDG(cid:3) RI(cid:3) DSSUR[LPDWHO\ (cid:21)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)FRPSOHWHG(cid:3)LWV(cid:3)RZQ(cid:3)V\VWHP(cid:3)LQ )HEUXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3) (cid:3) 6XEVHTXHQWO\(cid:15)(cid:3) WKH(cid:3) 2&6((cid:3) UHTXLUHG(cid:3) 6RFLDO 6HUYLFHV(cid:3)WR(cid:3)GHYHORS(cid:3)D(cid:3)VLQJOH(cid:3)VWDWHZLGH(cid:3)V\VWHP(cid:3)IRU(cid:3)WKH(cid:3)UHPDLQLQJ (cid:24)(cid:26)(cid:3) FRXQWLHV(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) 2&6((cid:3) UHTXLUHG(cid:3) WKDW(cid:3) &DOLIRUQLD“V V\VWHP(cid:3)FRQQHFW(cid:3)DQG(cid:3)FRPPXQLFDWH(cid:3)ZLWK(cid:3)WKH(cid:3)/RV(cid:3)$QJHOHV(cid:3)V\VWHP(cid:17) 7KH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW“V(cid:3) $GPLQLVWUDWLRQ(cid:3) IRU(cid:3) &KLOGUHQ(cid:3) DQG )DPLOLHV(cid:3)(cid:11)$&)(cid:12)(cid:3)GLG(cid:3)QRW(cid:3)SXEOLVK(cid:3)UHJXODWLRQV(cid:3)IRU(cid:3)DXWRPDWHG(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHPV(cid:3)LQ(cid:3)JHQHUDO(cid:3)XQWLO(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:17)(cid:3)(cid:3),Q DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)$&)(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)VWDWHV(cid:3)ZLWK(cid:3)ILQDO(cid:3)IXQFWLRQDO UHTXLUHPHQWV(cid:3) IRU(cid:3) WKH(cid:3) DXWRPDWHG(cid:3) V\VWHPV(cid:3) XQWLO(cid:3) -XQH(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:15) DSSUR[LPDWHO\(cid:3) RQH(cid:3) \HDU(cid:3) DIWHU(cid:3) &DOLIRUQLD(cid:3) VHOHFWHG(cid:3) WKH LPSOHPHQWDWLRQ(cid:3)FRQWUDFWRU(cid:3)WKDW(cid:3)ZRXOG(cid:3)GHYHORS(cid:3)LWV(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)$V(cid:3)D UHVXOW(cid:15)(cid:3)DOO(cid:3)VWDWHV(cid:3)ZHUH(cid:3)XQGHU(cid:3)WUHPHQGRXV(cid:3)SUHVVXUH(cid:3)WR(cid:3)GHYHORS(cid:3)DQG LPSOHPHQW(cid:3) D(cid:3) KLJKO\(cid:3) FRPSOH[(cid:3) V\VWHP(cid:3) E\(cid:3) WKH(cid:3) DFW“V(cid:3) RULJLQDO GHDGOLQH(cid:3)RI(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17) )XUWKHU(cid:15)(cid:3)LQ(cid:3)(cid:20)(cid:28)(cid:28)(cid:19)(cid:15)(cid:3)WZR(cid:3)\HDUV(cid:3)DIWHU(cid:3)WKH(cid:3)DFW“V(cid:3)SDVVDJH(cid:15)(cid:3)WKH(cid:3)$&)(cid:3)DOVR UHTXLUHG(cid:3)WKDW(cid:3)VWDWHV(cid:3)WUDQVIHU(cid:3)DQG(cid:3)PRGLI\(cid:3)H[LVWLQJ(cid:3)V\VWHPV(cid:3)UDWKHU WKDQ(cid:3)FUHDWH(cid:3)QHZ(cid:3)V\VWHPV(cid:17)(cid:3)(cid:3)7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)JDYH(cid:3)VWDWHV DQ(cid:3) HQKDQFHG(cid:3) IXQGLQJ(cid:3) UDWH(cid:3) RI(cid:3) (cid:28)(cid:19)(cid:3) SHUFHQW(cid:3) IRU(cid:3) WKH(cid:3) SODQQLQJ(cid:15) (cid:22) GHYHORSPHQW(cid:15)(cid:3) DQG(cid:3) LQVWDOODWLRQ(cid:3) RI(cid:3) WKHVH(cid:3) WUDQVIHUUHG(cid:3) V\VWHPV(cid:17) &DOLIRUQLD“V(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP(cid:3) DFWLYLWLHV(cid:3) DUH QRUPDOO\(cid:3)HOLJLEOH(cid:3)DW(cid:3)D(cid:3)(cid:25)(cid:25)(cid:3)SHUFHQW(cid:3)IXQGLQJ(cid:3)UDWH(cid:17) 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)KDG(cid:3)FHUWLILHG(cid:3)RQO\(cid:3)D(cid:3)IHZ(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3) V\VWHPV(cid:3) DV(cid:3) PHHWLQJ(cid:3) WKH(cid:3) LQLWLDO(cid:3) UHTXLUHPHQWV(cid:3) LQ HIIHFW(cid:3)SULRU(cid:3)WR(cid:3)WKH(cid:3)DFW(cid:15)(cid:3)DQG(cid:3)QR(cid:3)V\VWHPV(cid:3)ZHUH(cid:3)FHUWLILHG(cid:3)EDVHG(cid:3)RQ UHTXLUHPHQWV(cid:3)RI(cid:3)WKH(cid:3)PRUH(cid:3)H[WHQVLYH(cid:3)DFW(cid:17)(cid:3)(cid:3),Q(cid:3)LWV(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:3)UHSRUW(cid:15) WKH(cid:3)8(cid:17)6(cid:17)(cid:3)*HQHUDO(cid:3)$FFRXQWLQJ(cid:3)2IILFH(cid:3)FRQFOXGHG(cid:3)WKDW(cid:15)(cid:3)EHFDXVH(cid:3)QR DXWRPDWHG(cid:3)V\VWHPV(cid:3)ZHUH(cid:3)FHUWLILHG(cid:3)DV(cid:3)PHHWLQJ(cid:3)WKH(cid:3)DFW“V(cid:3)GLUHFWLYHV(cid:15) QR(cid:3)DYDLODEOH(cid:3)V\VWHPV(cid:3)ZRXOG(cid:3)OLNHO\(cid:3)EH(cid:3)VXLWDEOH(cid:3)IRU(cid:3)XVH(cid:3)E\(cid:3)RWKHU VWDWHV(cid:17)(cid:3)(cid:3)0DQ\(cid:3)VWDWHV(cid:15)(cid:3)LQFOXGLQJ(cid:3)&DOLIRUQLD(cid:15)(cid:3)KDG(cid:3)DOUHDG\(cid:3)WULHG(cid:3)WR PRGLI\(cid:3)LQFRPSOHWH(cid:15)(cid:3)LQFRPSDWLEOH(cid:3)V\VWHPV(cid:15)(cid:3)DQG(cid:3)WKHLU(cid:3)DWWHPSWV KDG(cid:3)UHVXOWHG(cid:3)LQ(cid:3)DGGHG(cid:3)FRVWV(cid:3)DQG(cid:3)GHOD\V(cid:17) 6HYHUDO(cid:3) \HDUV(cid:3) LQWR(cid:3) WKH(cid:3) SURMHFW(cid:15)(cid:3) WKH(cid:3) $&)(cid:3) EHFDPH(cid:3) DZDUH(cid:3) RI WKH(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)WUDQVIHUULQJ(cid:3)DQG(cid:3)PRGLI\LQJ(cid:3)H[LVWLQJ(cid:3)V\VWHPV(cid:15) DQG(cid:3) LQ(cid:3) -XO\(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3) WKH(cid:3) $&)(cid:3) HOLPLQDWHG(cid:3) WKH(cid:3) UHTXLUHPHQW(cid:17) 8QIRUWXQDWHO\(cid:15)(cid:3)WKH(cid:3)$&)“V(cid:3)UHFRJQLWLRQ(cid:3)RI(cid:3)WKH(cid:3)SUREOHPV(cid:3)LQKHUHQW LQ(cid:3)VWDWHV(cid:3)PRGLI\LQJ(cid:3)SUHYLRXVO\(cid:3)GHYHORSHG(cid:3)V\VWHPV(cid:3)FDPH(cid:3)WRR(cid:3)ODWH IRU(cid:3) WKH(cid:3) DJHQFLHV(cid:3) DQG(cid:3) FRQWUDFWRUV(cid:3) LQYROYHG(cid:3) LQ(cid:3) GHYHORSLQJ &DOLIRUQLD“V(cid:3)DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:17) &DOLIRUQLD(cid:3) LV(cid:3) QRW(cid:3) DORQH(cid:3) LQ(cid:3) LWV(cid:3) VWUXJJOH(cid:3) WR(cid:3) FRPSOHWH(cid:3) D VWDWHZLGH(cid:3) DXWRPDWHG(cid:3) V\VWHP(cid:3) IRU(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:17) 2QO\(cid:3) (cid:20)(cid:26)(cid:3) VWDWHV(cid:3) PHW(cid:3) WKH(cid:3) H[WHQGHG(cid:3) IHGHUDO(cid:3) GHDGOLQH(cid:3) RI 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)QRQH(cid:3)RI(cid:3)WKH(cid:3)(cid:20)(cid:19)(cid:3)VWDWHV(cid:3)ZLWK(cid:3)WKH KLJKHVW(cid:3)QXPEHU(cid:3)RI(cid:3)FDVHV(cid:3)PHW(cid:3)WKH(cid:3)GHDGOLQH(cid:17) &DOLIRUQLDnV(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)3URMHFW &DOLIRUQLD(cid:3)EHJDQ(cid:3)LQLWLDO(cid:3)ZRUN(cid:3)RQ(cid:3)LWV(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG 6XSSRUW(cid:3)6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:3)SURMHFW(cid:3)LQ(cid:3)(cid:20)(cid:28)(cid:27)(cid:28)(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)KLUHG D(cid:3) FRQVXOWDQW(cid:3) LQ(cid:3) (cid:20)(cid:28)(cid:28)(cid:19)(cid:3) WR(cid:3) SUHSDUH(cid:3) D(cid:3) IHDVLELOLW\(cid:3) VWXG\(cid:3) UHSRUW UHTXLUHG(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:3)IRU(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:17)(cid:3)(cid:3)$ IHDVLELOLW\(cid:3)VWXG\(cid:3)UHSRUW(cid:3)DQDO\]HV(cid:3)DOWHUQDWLYHV(cid:3)IRU(cid:3)GHYHORSPHQW(cid:3)RI D(cid:3)SURMHFW(cid:3)DQG(cid:3)UHFRPPHQGV(cid:3)D(cid:3)FRXUVH(cid:3)RI(cid:3)DFWLRQ(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV WKHQ(cid:3) SUHSDUHG(cid:3) D(cid:3) UHTXHVW(cid:3) IRU(cid:3) SURSRVDOV(cid:15)(cid:3) ZKLFK(cid:3) VSHFLILHG(cid:3) WKDW WKH(cid:3)FRQWUDFWRU(cid:3)IXOILOO(cid:3)PDQ\(cid:3)FULWHULD(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)7KH(cid:3)FULWHULD LQFOXGHG(cid:3)HVWDEOLVKLQJ(cid:3)D(cid:3)GLVWULEXWHG(cid:3)SURFHVVLQJ(cid:3)V\VWHP(cid:3)WKDW(cid:3)VWRUHV DQG(cid:3) SURFHVVHV(cid:3) GDWD(cid:3) DW(cid:3) D(cid:3) FRXQW\(cid:3) RU(cid:3) UHJLRQDO(cid:3) OHYHO(cid:3) DQG(cid:3) DOVR SHUIRUPV(cid:3)VHOHFW(cid:3)IXQFWLRQV(cid:3)IURP(cid:3)D(cid:3)FHQWUDO(cid:3)SURFHVVRU(cid:17)(cid:3)(cid:3)7KH(cid:3)FHQWUDO SURFHVVRU(cid:3) ZRXOG(cid:3) DOVR(cid:3) DOORZ(cid:3) RWKHU(cid:3) FRXQWLHV(cid:3) DQG(cid:3) WKH(cid:3) 6WDWH(cid:3) WR DFFHVV(cid:3)FRXQW\(cid:3)GDWD(cid:17) 6RFLDO(cid:3) 6HUYLFHV(cid:3) DOVR(cid:3) EHJDQ(cid:3) LWV(cid:3) SURFHVV(cid:3) IRU(cid:3) KLULQJ(cid:3) DQ LPSOHPHQWDWLRQ(cid:3) FRQWUDFWRU(cid:3) DQG(cid:3) D(cid:3) TXDOLW\(cid:3) DVVXUDQFH(cid:3) (cid:11)4$(cid:12) FRQWUDFWRU(cid:17)(cid:3)(cid:3)7KH(cid:3)LPSOHPHQWDWLRQ(cid:3)FRQWUDFWRU(cid:3)ZRXOG(cid:3)WUDQVIHU(cid:3)DQ (cid:23) H[LVWLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) V\VWHP(cid:15)(cid:3) PRGLI\(cid:3) LW(cid:3) IRU &DOLIRUQLD“V(cid:3) QHHGV(cid:3) E\(cid:3) GHYHORSLQJ(cid:3) DGGLWLRQDO(cid:3) IXQFWLRQV(cid:15)(cid:3) DQG LQVWDOO(cid:3)LW(cid:3)LQ(cid:3)WKH(cid:3)(cid:24)(cid:26)(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)ZRXOG(cid:3)SURYLGH LQGHSHQGHQW(cid:15)(cid:3) LPSDUWLDO(cid:3) DVVHVVPHQWV(cid:3) RI(cid:3) WKH(cid:3) LPSOHPHQWDWLRQ FRQWUDFWRU“V(cid:3) GHVLJQ(cid:3) SURGXFWV(cid:15)(cid:3) V\VWHP(cid:15)(cid:3) DQG(cid:3) SURJUHVV(cid:3) RQ(cid:3) WKH SURMHFW(cid:17)(cid:3)(cid:3))ROORZLQJ(cid:3)WKHVH(cid:3)UHYLHZV(cid:15)(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) ZRXOG UHSRUW(cid:3)LWV(cid:3)ILQGLQJV(cid:3)DQG(cid:3)UHFRPPHQGDWLRQV(cid:3)WR(cid:3)WKH(cid:3)6WDWH(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)D SURWHVW(cid:3)RFFXUUHG(cid:3)RYHU(cid:3)WKH(cid:3)DZDUGLQJ(cid:3)RI(cid:3)WKH(cid:3)RULJLQDO(cid:3)4$(cid:3)FRQWUDFW(cid:15) WKH(cid:3) 6WDWH(cid:3) KLUHG(cid:3) DQ(cid:3) LQWHULP(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) XQWLO(cid:3) WKH(cid:3) SURWHVW ZDV(cid:3)UHVROYHG(cid:17)(cid:3)(cid:3),Q(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)GXULQJ(cid:3)WKH(cid:3)ODWHU(cid:3)VWDJHV(cid:3)RI(cid:3)WKH SURMHFW(cid:15)(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) ’DWD(cid:3) &HQWHU(cid:3) (cid:11)GDWD FHQWHU(cid:12)(cid:3)DOVR(cid:3)KLUHG(cid:3)DQ(cid:3)LQGHSHQGHQW(cid:3)YHULILFDWLRQ(cid:3)DQG(cid:3)YDOLGDWLRQ FRQWUDFWRU(cid:3) WR(cid:3) SURYLGH(cid:3) LQGHSHQGHQW(cid:3) WHFKQLFDO(cid:3) DVVHVVPHQWV WKURXJKRXW(cid:3)WKH(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17) 3URFXUHPHQW(cid:3) RI(cid:3) WKH(cid:3) LPSOHPHQWDWLRQ(cid:3) FRQWUDFWRU(cid:3) WRRN(cid:3) DOPRVW WZR(cid:3)\HDUV(cid:3)EHFDXVH(cid:3)WKH(cid:3)VHOHFWLRQ(cid:3)SURFHVV(cid:3)ZDV(cid:3)FRPSOH[(cid:3)DQG(cid:3)D SURWHVW(cid:3)RFFXUUHG(cid:3)RYHU(cid:3)WKH(cid:3)DZDUGLQJ(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3),Q(cid:3)VHOHFWLQJ WKH(cid:3) ZLQQLQJ(cid:3) FRQWUDFWRU(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) XVHG(cid:3) D(cid:3) FRPSHWLWLYH SURFHVV(cid:3) WKDW(cid:3) DVVHVVHG(cid:3) WKH(cid:3) SRWHQWLDO(cid:3) FRQWUDFWRU“V(cid:3) SURSRVHG WHFKQLFDO(cid:3) VROXWLRQ(cid:15)(cid:3) DGPLQLVWUDWLYH(cid:3) SODQ(cid:15)(cid:3) DQG(cid:3) HVWLPDWHG(cid:3) FRVWV(cid:17) 7KH(cid:3) 6WDWH(cid:3) DZDUGHG(cid:3) WKH(cid:3) LPSOHPHQWDWLRQ(cid:3) FRQWUDFW(cid:15)(cid:3) WRWDOLQJ (cid:7)(cid:26)(cid:24)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:15)(cid:3) WR(cid:3) /RFNKHHG(cid:3) 0DUWLQ(cid:3) ,QIRUPDWLRQ(cid:3) 0DQDJHPHQW 6\VWHPV(cid:3) (cid:11)/RFNKHHG(cid:12)(cid:17)(cid:3) (cid:3) /RFNKHHG(cid:3) SURSRVHG(cid:3) WKH(cid:3) WUDQVIHU(cid:3) RI(cid:3) WKH 1HZ(cid:3) (QJODQG(cid:3) &KLOG(cid:3) 6XSSRUW(cid:3) (QIRUFHPHQW(cid:3) 6\VWHP(cid:15)(cid:3) ZKLFK /RFNKHHG“V(cid:3) GHVLJQ(cid:3) VXEFRQWUDFWRU(cid:3) RULJLQDOO\(cid:3) GHYHORSHG(cid:17) %HWZHHQ(cid:3) ’HFHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:21)(cid:3) DQG(cid:3) 2FWREHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) /RFNKHHG WUDQVIHUUHG(cid:3)WKH(cid:3)V\VWHP(cid:15)(cid:3)DWWHPSWHG(cid:3)WR(cid:3)PRGLI\(cid:3)LW(cid:3)IRU(cid:3)&DOLIRUQLD“V QHHGV(cid:15)(cid:3)WHVWHG(cid:3)LW(cid:15)(cid:3)DQG(cid:3)EHJDQ(cid:3)LQVWDOOLQJ(cid:3)LW(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:17) $OWKRXJK(cid:3)WKH(cid:3)6WDWH(cid:3)IRFXVHG(cid:3)LWV(cid:3)KLJKHVW(cid:3)SULRULWLHV(cid:3)RQ(cid:3)PHHWLQJ(cid:3)WKH IHGHUDO(cid:3) GHDGOLQH(cid:3) IRU(cid:3) KDYLQJ(cid:3) LWV(cid:3) V\VWHP(cid:3) LQVWDOOHG(cid:3) VWDWHZLGH DQG(cid:3) REWDLQLQJ(cid:3) WKH(cid:3) (cid:28)(cid:19)(cid:3) SHUFHQW(cid:3) IXQGLQJ(cid:3) DYDLODEOH(cid:3) IURP(cid:3) WKH IHGHUDO(cid:3)JRYHUQPHQW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)IDLOHG(cid:3)WR(cid:3)PHHW(cid:3)ERWK(cid:3)WKH(cid:3)RULJLQDO GHDGOLQH(cid:3)RI(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)H[WHQGHG(cid:3)GHDGOLQH(cid:3)RI 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH“V(cid:3)SULPDU\(cid:3)HPSKDVLV(cid:3)RQ(cid:3)FRPSO\LQJ ZLWK(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:3)QHJDWLYHO\(cid:3)LQIOXHQFHG(cid:3)PDQ\(cid:3)VLJQLILFDQW GHFLVLRQV(cid:3)RYHU(cid:3)WKH(cid:3)OLIH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)$V(cid:3)GLVFXVVHG(cid:3)WKURXJKRXW WKLV(cid:3)UHSRUW(cid:15)(cid:3)&DOLIRUQLD(cid:3)HQFRXQWHUHG(cid:3)QXPHURXV(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)LWV 6$&66(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) &RQVHTXHQWO\(cid:15)(cid:3) FRVWV(cid:3) LQFUHDVHG(cid:3) VXEVWDQWLDOO\(cid:15) DQG(cid:3) VLJQLILFDQW(cid:3) GHOD\V(cid:3) RFFXUUHG(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) FRVWV(cid:3) IRU FRPSOHWLQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)LQFUHDVHG(cid:3)IURP(cid:3)DQ(cid:3)HDUO\(cid:3)HVWLPDWH(cid:3)LQ(cid:3)(cid:20)(cid:28)(cid:27)(cid:28) RI(cid:3)(cid:7)(cid:20)(cid:21)(cid:22)(cid:3)PLOOLRQ(cid:3)WR(cid:3)WKH(cid:3)6WDWH“V(cid:3)ODWHVW(cid:3)HVWLPDWH(cid:3)RI(cid:3)(cid:7)(cid:22)(cid:20)(cid:22)(cid:3)PLOOLRQ(cid:17) ,Q(cid:3) 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) UHVSRQVLELOLW\(cid:3) IRU(cid:3) WKUHH(cid:3) DXWRPDWLRQ(cid:3) SURMHFWV ZDV(cid:3)WUDQVIHUUHG(cid:3)IURP(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)WR(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:17)(cid:3)(cid:3)7KHVH SURMHFWV(cid:3) ZHUH(cid:3) WKH(cid:3) &KLOG(cid:3) :HOIDUH(cid:3) 6\VWHP(cid:15)(cid:3) WKH(cid:3) 6WDWHZLGH $XWRPDWHG(cid:3):HOIDUH(cid:3)6\VWHP(cid:15)(cid:3)DQG(cid:3)6$&66(cid:17) (cid:24) 8QGHU(cid:3)WKH(cid:3)UHVSRQVLELOLW\(cid:3)RI(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:15)(cid:3)6$&66(cid:3)FRQWLQXHG H[SHULHQFLQJ(cid:3) VLJQLILFDQW(cid:3) SUREOHPV(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) 6WDWH(cid:3) XOWLPDWHO\ PLVVHG(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQHV(cid:17)(cid:3)(cid:3).QRZQ(cid:3)H[SHQGLWXUHV(cid:3)IRU(cid:3)6$&66 WRWDOHG(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:22)(cid:3)PLOOLRQ(cid:3)WKURXJK(cid:3)-XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)IRU(cid:3)ZKLFK(cid:3)WKH 6WDWH(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)(cid:7)(cid:23)(cid:27)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3))XQGLQJ(cid:3)VRXUFHV(cid:3)IRU(cid:3)6$&66 H[SHQGLWXUHV(cid:3)DSSHDU(cid:3)LQ(cid:3))LJXUH(cid:3)(cid:20)(cid:17) (cid:0)y(cid:0)y(cid:0)y(cid:0)y (cid:0)y(cid:0)y(cid:0)y(cid:0)y (cid:0)y(cid:0)y(cid:0)y(cid:0)y 7KH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)WULHG(cid:3)WR(cid:3)UHVROYH(cid:3)WKH(cid:3)VHULRXV(cid:3)SUREOHPV ZLWK(cid:3)6$&66(cid:15)(cid:3)EXW(cid:3)WKHLU(cid:3)DWWHPSWV(cid:3)ZHUH(cid:3)XQVXFFHVVIXO(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) /RFNKHHG(cid:3) WHUPLQDWHG(cid:3) WKHLU(cid:3) FRQWUDFW(cid:3) RQ 1RYHPEHU(cid:3)(cid:21)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3)(cid:3)&XUUHQWO\(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)DUH(cid:3)LQ OLWLJDWLRQ(cid:3)FRQFHUQLQJ(cid:3)/RFNKHHG“V(cid:3)SHUIRUPDQFH(cid:3)XQGHU(cid:3)WKH(cid:3)6$&66 FRQWUDFW(cid:17) 7KH(cid:3) IDLOXUH(cid:3) RI(cid:3) &DOLIRUQLD“V(cid:3) 6$&66(cid:3) ZRUVHQV(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FKLOG VXSSRUW(cid:3) FULVLV(cid:15)(cid:3) DQG(cid:3) FRQWLQXRXV(cid:3) ZHOIDUH(cid:3) UHIRUP(cid:3) DGGV(cid:3) WR(cid:3) WKH XUJHQF\(cid:3)WR(cid:3)FRPSOHWH(cid:3)DXWRPDWLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)FKDQJHV(cid:3)LQ(cid:3)ZHOIDUH(cid:3)ODZV OLPLW(cid:3)ZHOIDUH(cid:3)DVVLVWDQFH(cid:3)IRU(cid:3)IDPLOLHV(cid:3)WR(cid:3)ILYH(cid:3)\HDUV(cid:3)DQG(cid:3)FUHDWH(cid:3)D QHHG(cid:3) IRU(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP(cid:3) WR LPSURYH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) FROOHFWLRQV(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) PDQ\(cid:3) QHZ ZHOIDUH(cid:3)FKDQJHV(cid:3)DVVXPH(cid:3)WKDW(cid:3)VWDWHV(cid:3)KDYH(cid:3)D(cid:3)VWDWHZLGH(cid:3)DXWRPDWHG FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:3)LQ(cid:3)SODFH(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)&DOLIRUQLD KDV(cid:3) QRW(cid:3) FRPSOHWHG(cid:3) 6$&66(cid:15)(cid:3) ZHOIDUH(cid:3) UHIRUPV(cid:3) DUH(cid:3) GLIILFXOW(cid:3) RU LPSRVVLEOH(cid:3)WR(cid:3)LPSOHPHQW(cid:15)(cid:3)OHDYLQJ(cid:3)WKH(cid:3)6WDWH(cid:3)VXEMHFW(cid:3)WR(cid:3)SHQDOWLHV IRU(cid:3)QRQFRPSOLDQFH(cid:17) (cid:25) 6FRSH(cid:3)DQG(cid:3)0HWKRGRORJ\ $W(cid:3) WKH(cid:3) UHTXHVW(cid:3) RI(cid:3) WKH(cid:3) -RLQW(cid:3) /HJLVODWLYH(cid:3) $XGLW(cid:3) &RPPLWWHH(cid:15)(cid:3) ZH UHYLHZHG(cid:3) &DOLIRUQLD“V(cid:3) 6WDWHZLGH(cid:3) $XWRPDWHG(cid:3) &KLOG(cid:3) 6XSSRUW 6\VWHP(cid:3) (cid:11)6$&66(cid:12)(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15)(cid:3) ZH(cid:3) ZHUH(cid:3) DVNHG(cid:3) WR(cid:3) GR(cid:3) WKH IROORZLQJ(cid:29) • ’HWHUPLQH(cid:3) ZKHWKHU(cid:3) VWDWH(cid:3) DJHQFLHV(cid:3) DQG(cid:3) WKHLU(cid:3) FRQWUDFWRUV SODQQHG(cid:15)(cid:3) SURFXUHG(cid:15)(cid:3) DQG(cid:3) GHYHORSHG(cid:3) WKH(cid:3) V\VWHP(cid:3) LQ DFFRUGDQFH(cid:3) ZLWK(cid:3) JHQHUDOO\(cid:3) DFFHSWHG(cid:3) VWDQGDUGV(cid:3) LQ(cid:3) WKH LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)LQGXVWU\(cid:17) • $VVHVV(cid:3)ZKHWKHU(cid:3)FRQWUDFW(cid:3)DQG(cid:3)FRVW(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)UHDVRQDEOH DQG(cid:3)HYDOXDWH(cid:3)WKH(cid:3)SURSULHW\(cid:3)RI(cid:3)LQFUHDVHG(cid:3)FRVW(cid:3)DOORFDWLRQV(cid:17) • ’HWHUPLQH(cid:3)ZKHWKHU(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU(cid:3)(cid:11)GDWD(cid:3)FHQWHU(cid:12) SURWHFWHG(cid:3)WKH(cid:3)6WDWH“V(cid:3)LQWHUHVWV(cid:3)SURSHUO\(cid:17) • ’HWHUPLQH(cid:3) WKH(cid:3) 6WDWH“V(cid:3) SURVSHFWV(cid:3) IRU(cid:3) VROYLQJ(cid:3) UHSRUWHG SUREOHPV(cid:3)ZLWK(cid:3)6$&66(cid:3)DQG(cid:3)LGHQWLI\(cid:3)ZKLFK(cid:3)HQWLW\(cid:3)ZLOO(cid:3)LQFXU FRVWV(cid:3)IRU(cid:3)VROYLQJ(cid:3)WKHP(cid:17) • (YDOXDWH(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU“V(cid:3)DQDO\VLV(cid:3)RI(cid:3)DOWHUQDWLYHV(cid:3)WR(cid:3)6$&66(cid:17) 7R(cid:3)DQDO\]H(cid:3)WKH(cid:3)SODQQLQJ(cid:15)(cid:3)SURFXUHPHQW(cid:15)(cid:3)DQG(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)WKH V\VWHP(cid:15)(cid:3) ZH(cid:3) UHYLHZHG(cid:3) VWDWH(cid:3) DQG(cid:3) IHGHUDO(cid:3) ODZV(cid:3) DQG(cid:3) UHJXODWLRQV UHOHYDQW(cid:3)WR(cid:3)6$&66(cid:17)(cid:3)(cid:3):H(cid:3)DOVR(cid:3)H[DPLQHG(cid:3)LQGXVWU\(cid:3)JXLGHOLQHV(cid:3)DQG XVHG(cid:3)WKHP(cid:3)WR(cid:3)DVVHVV(cid:3)WKH(cid:3)SODQQLQJ(cid:3)RI(cid:3)6$&66“V(cid:3)GHYHORSPHQW(cid:17)(cid:3)(cid:3)7KH VRXUFHV(cid:3) RI(cid:3) WKHVH(cid:3) JXLGHOLQHV(cid:3) LQFOXGH(cid:3) WKH(cid:3) ’HSDUWPHQW(cid:3) RI ,QIRUPDWLRQ(cid:3) 7HFKQRORJ\“V(cid:3) 3URMHFW(cid:3) 0DQDJHPHQW(cid:3) 0HWKRGRORJ\(cid:15) ZKLFK(cid:3)LV(cid:3)SDUW(cid:3)RI(cid:3)LWV(cid:3)6WDWHZLGH(cid:3),QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)0DQXDO(cid:15) &RQWURO(cid:3) 2EMHFWLYHV(cid:3) IRU(cid:3) ,QIRUPDWLRQ(cid:3) DQG(cid:3) 5HODWHG(cid:3) 7HFKQRORJ\ $XGLW(cid:3) *XLGHOLQHV(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) $GPLQLVWUDWLYH(cid:3) 0DQXDO(cid:15)(cid:3) DQG YDULRXV(cid:3) 8(cid:17)6(cid:17)(cid:3) *HQHUDO(cid:3) $FFRXQWLQJ(cid:3) 2IILFH(cid:3) UHSRUWV(cid:17)(cid:3) (cid:3) :H(cid:3) DOVR UHYLHZHG(cid:3) WKH(cid:3) SODQQLQJ(cid:3) GRFXPHQWV(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKH(cid:3) $GYDQFH 3ODQQLQJ(cid:3) ’RFXPHQW(cid:3) 8SGDWHV(cid:15)(cid:3) )HDVLELOLW\(cid:3) 6WXG\(cid:3) 5HSRUW(cid:15)(cid:3) DQG 6SHFLDO(cid:3)3URMHFW(cid:3)5HSRUWV(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)ZH HYDOXDWHG(cid:3) WKH(cid:3) SURMHFW(cid:3) PDQDJHPHQW“V(cid:3) SHUIRUPDQFH(cid:3) WKURXJKRXW WKH(cid:3)SODQQLQJ(cid:15)(cid:3)GHVLJQ(cid:15)(cid:3)DQG(cid:3)LPSOHPHQWDWLRQ(cid:3)SKDVHV(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)ZH VXUYH\HG(cid:3)WKH(cid:3)FRXQWLHV(cid:3)UHJDUGLQJ(cid:3)WKHLU(cid:3)LQYROYHPHQW(cid:3)LQ(cid:3)WKH(cid:3)GHVLJQ(cid:15) GHYHORSPHQW(cid:15)(cid:3)DQG(cid:3)LPSOHPHQWDWLRQ(cid:3)RI(cid:3)6$&66(cid:17) :H(cid:3) UHYLHZHG(cid:3) WKH(cid:3) KLVWRU\(cid:3) RI(cid:3) DPHQGPHQWV(cid:3) WR(cid:3) WKH(cid:3) FRQWUDFW(cid:3) WR DVFHUWDLQ(cid:3)ZKHWKHU(cid:3)FRQWUDFW(cid:3)DQG(cid:3)FRVW(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)UHDVRQDEOH DQG(cid:3)WR(cid:3)GHWHUPLQH(cid:3)WKH(cid:3)DSSURSULDWHQHVV(cid:3)RI(cid:3)WKH(cid:3)6WDWH“V(cid:3)LQFUHDVHG FRVWV(cid:17)(cid:3)(cid:3),Q(cid:3)GRLQJ(cid:3)VR(cid:15)(cid:3)ZH(cid:3)DQDO\]HG(cid:3)WKH(cid:3)RULJLQDO(cid:3)FRQWUDFW(cid:3)FRVWV(cid:3)DQG WKH(cid:3)LQFUHDVHV(cid:3)WKDW(cid:3)DSSHDUHG(cid:3)LQ(cid:3)VXEVHTXHQW(cid:3)DPHQGPHQWV(cid:17) (cid:26) 7R(cid:3)GHWHUPLQH(cid:3)ZKHWKHU(cid:3)WKH(cid:3)6WDWH(cid:3)SURSHUO\(cid:3)SURWHFWHG(cid:3)LWV(cid:3)LQWHUHVWV(cid:15) ZH(cid:3) UHYLHZHG(cid:3) LWV(cid:3) RULJLQDO(cid:3) FRQWUDFW(cid:3) ZLWK(cid:3) /RFNKHHG(cid:3) DQG(cid:3) WKH VXEVHTXHQW(cid:3)DPHQGPHQWV(cid:3)IRU(cid:3)SHQDOWLHV(cid:15)(cid:3)ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV(cid:15) GHOLYHUDEOHV(cid:15)(cid:3) DQG(cid:3) PLOHVWRQH(cid:3) GDWHV(cid:17)(cid:3) (cid:3) :H(cid:3) GHWHUPLQHG(cid:3) ZKHWKHU WKH(cid:3)SHQDOWLHV(cid:3)DQG(cid:3)ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV(cid:3)ZHUH(cid:3)VXIILFLHQW(cid:3)IRU(cid:3)WKH 6WDWH(cid:3) WR(cid:3) UHFRYHU(cid:3) ORVVHV(cid:3) IURP(cid:3) /RFNKHHG“V(cid:3) IDLOXUH(cid:3) WR(cid:3) SHUIRUP RU(cid:3) LWV(cid:3) VXEVWDQGDUG(cid:3) SHUIRUPDQFH(cid:17)(cid:3) (cid:3) :H(cid:3) DOVR(cid:3) DVVHVVHG(cid:3) WKH DSSURSULDWHQHVV(cid:3)RI(cid:3)WKH(cid:3)6WDWH“V(cid:3)SD\PHQWV(cid:3)WR(cid:3)/RFNKHHG(cid:3)IRU(cid:3)FRQWUDFW GHOLYHUDEOHV(cid:3)DQG(cid:3)PLOHVWRQHV(cid:17) :H(cid:3)SODQQHG(cid:3)WR(cid:3)DVVHVV(cid:3)WKH(cid:3)6WDWH“V(cid:3)SURVSHFWV(cid:3)IRU(cid:3)VROYLQJ(cid:3)LGHQWLILHG SUREOHPV(cid:3)DQG(cid:3)WR(cid:3)GHWHUPLQH(cid:3)ZKLFK(cid:3)HQWLW\(cid:3)ZRXOG(cid:3)LQFXU(cid:3)FRVWV(cid:3)IRU VROYLQJ(cid:3)WKHVH(cid:3)VKRUWFRPLQJV(cid:3)DQG(cid:3)HUURUV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)GXULQJ(cid:3)RXU DXGLW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)FRXOG(cid:3)QRW(cid:3)UHVROYH(cid:3)WKHLU(cid:3)GLIIHUHQFHV DQG(cid:3) DJUHHG(cid:3) WR(cid:3) WHUPLQDWH(cid:3) WKH(cid:3) FRQWUDFW(cid:3) DQG(cid:3) OLWLJDWH(cid:3) WKHLU GLIIHUHQFHV(cid:17)(cid:3)(cid:3)7KURXJKRXW(cid:3)WKH(cid:3)FRXUVH(cid:3)RI(cid:3)WKH(cid:3)DXGLW(cid:15)(cid:3)ZH(cid:3)UHTXHVWHG LQIRUPDWLRQ(cid:3)DQG(cid:3)GRFXPHQWDWLRQ(cid:3)IURP(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15) ZH(cid:3) PHW(cid:3) ZLWK(cid:3) /RFNKHHG(cid:3) RQ(cid:3) VHYHUDO(cid:3) RFFDVLRQV(cid:3) WR(cid:3) VKDUH(cid:3) WKH UHVXOWV(cid:3)RI(cid:3)RXU(cid:3)DXGLW(cid:3)DQG(cid:3)REWDLQ(cid:3)DGGLWLRQDO(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3))LQDOO\(cid:15) ZH(cid:3) FRQVLGHUHG(cid:3) WKHLU(cid:3) FRPPHQWV(cid:3) DQG(cid:3) FRQFHUQV(cid:3) RQ(cid:3) WKH(cid:3) LVVXHV DV(cid:3)ZH(cid:3)GHYHORSHG(cid:3)RXU(cid:3)ILQGLQJV(cid:3)DQG(cid:3)FRQFOXVLRQV(cid:17) :H(cid:3)KLUHG(cid:3)WKH(cid:3)1HZ3RLQW(cid:3)*URXS(cid:3)WR(cid:3)SURYLGH(cid:3)WHFKQLFDO(cid:3)DVVLVWDQFH RQ(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)DQG(cid:3)WR(cid:3)UHYLHZ(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU“V(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) DQDO\VLV(cid:3) RI(cid:3) DOWHUQDWLYHV(cid:3) WR(cid:3) 6$&66(cid:17)(cid:3) (cid:3) 2XU(cid:3) FRQVXOWDQWV(cid:3) DVVHVVHG ZKHWKHU(cid:3)WKH(cid:3)DQDO\VLV(cid:3)FRQVLGHUHG(cid:3)SRVVLEOH(cid:3)DOWHUQDWLYHV(cid:15)(cid:3)FRVWV(cid:15)(cid:3)DQG EHQHILWV(cid:30)(cid:3) ZKHWKHU(cid:3) LW(cid:3) FRYHUHG(cid:3) WKH(cid:3) VFRSH(cid:3) RI(cid:3) ZRUN(cid:3) LQYROYHG(cid:30) DQG(cid:3)WKH(cid:3)WLPH(cid:3)OLQHV(cid:3)IRU(cid:3)DOO(cid:3)DOWHUQDWLYHV(cid:17) (cid:27) Chapter 1 /RFNKHHG(cid:3)0DUWLQ(cid:3),QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)6\VWHPV )DLOHG(cid:3)7R(cid:3)’HOLYHU(cid:3)RQ(cid:3),WV(cid:3)3URPLVHV(cid:3)IRU(cid:3)WKH 6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG(cid:3)6XSSRUW(cid:3)6\VWHP &KDSWHU(cid:3)6XPPDU\ , Q(cid:3)LWV(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)6WDWH(cid:3)RI(cid:3)&DOLIRUQLD(cid:15)(cid:3)/RFNKHHG(cid:3)0DUWLQ ,QIRUPDWLRQ(cid:3) 0DQDJHPHQW(cid:3) 6\VWHPV(cid:3) (cid:11)/RFNKHHG(cid:12)(cid:3) SURPLVHG(cid:3) WR GHVLJQ(cid:15)(cid:3)LPSOHPHQW(cid:15)(cid:3)DQG(cid:3)PDLQWDLQ(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)RXU(cid:3)UHYLHZ(cid:3)UHYHDOHG WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)IXOILOO(cid:3)LWV(cid:3)PDQ\(cid:3)SURPLVHV(cid:3)WR(cid:3)WKH(cid:3)6WDWH(cid:3)DQG IDLOHG(cid:3)WR(cid:3)GHOLYHU(cid:3)D(cid:3)IXQFWLRQDO(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) ZH(cid:3) IRXQG(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) IDLOHG(cid:3) WR(cid:3) FDUU\(cid:3) RXW(cid:3) LWV DJUHHPHQW(cid:3)LQ(cid:3)WKH(cid:3)IROORZLQJ(cid:3)ZD\V(cid:29) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)IXUQLVK(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)LW(cid:3)KDG(cid:3)SURPLVHG(cid:17) • 7KH(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)GHYHORSHG(cid:3)E\(cid:3)/RFNKHHG(cid:3)KDG(cid:3)PXOWLSOH IODZV(cid:17) • /RFNKHHG(cid:3)LQVWDOOHG(cid:3)WKH(cid:3)GHIHFWLYH(cid:3)V\VWHP(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:3)WKDW IDLOHG(cid:3)WHVWLQJ(cid:17) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)VXSSO\(cid:3)PDQ\(cid:3)RI(cid:3)WKH(cid:3)GHOLYHUDEOHV(cid:3)SURPLVHG LQ(cid:3)LWV(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)6WDWH(cid:17) /RFNKHHG“V(cid:3)IDLOXUH(cid:3)WR(cid:3)FRPSO\(cid:3)ZLWK(cid:3)WKH(cid:3)WHUPV(cid:3)RI(cid:3)LWV(cid:3)DJUHHPHQW FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)WHUPLQDWLRQ(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFW(cid:15)(cid:3)D(cid:3)G\VIXQFWLRQDO FRPSXWHU(cid:3)V\VWHP(cid:15)(cid:3)DQG(cid:3)D(cid:3)FRVW(cid:3)WR(cid:3)WD[SD\HUV(cid:3)RI(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:17) 7KH(cid:3) 6WDWH(cid:3) QRZ(cid:3) IDFHV(cid:3) IHGHUDO(cid:3) SHQDOWLHV(cid:3) DQG(cid:3) WKH(cid:3) FKDOOHQJH(cid:3) RI EHJLQQLQJ(cid:3) WKH(cid:3) SURMHFW(cid:3) DOO(cid:3) RYHU(cid:3) DJDLQ(cid:17)(cid:3) (cid:3) 0HDQZKLOH(cid:15)(cid:3) PDQ\ FKLOGUHQ(cid:3)ZDLW(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)SD\PHQWV(cid:3)IURP(cid:3)DEVHQW(cid:3)SDUHQWV ZKR(cid:3) FRXQWLHV(cid:3) FDQQRW(cid:3) ORFDWH(cid:3) ZLWKRXW(cid:3) KHOS(cid:3) IURP(cid:3) D(cid:3) VWDWHZLGH DXWRPDWHG(cid:3)V\VWHP(cid:17) /RFNKHHG(cid:3))DLOHG(cid:3)7R(cid:3)3URYLGH WKH(cid:3)3URMHFW(cid:3)7HDP(cid:3),W(cid:3)3URPLVHG $OWKRXJK(cid:3)/RFNKHHG“V(cid:3)(cid:7)(cid:26)(cid:24)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)SURSRVDO(cid:3)LQGLFDWHG(cid:3)LW(cid:3)ZRXOG SURYLGH(cid:3) D(cid:3) ODUJH(cid:3) SURMHFW(cid:3) WHDP(cid:3) ZLWK(cid:3) H[WHQVLYH(cid:3) H[SHULHQFH(cid:3) LQ GHYHORSLQJ(cid:3)DQG(cid:3)PDQDJLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)V\VWHPV(cid:3)DQG(cid:3)FRPSOH[ (cid:28) LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:15)(cid:3)/RFNKHHG(cid:3)DVVLJQHG(cid:3)RQO\(cid:3)D(cid:3)IHZ RI(cid:3) WKH(cid:3) RULJLQDOO\(cid:3) SURSRVHG(cid:3) LQGLYLGXDOV(cid:3) WR(cid:3) WKH(cid:3) SURMHFW(cid:17) /RFNKHHG“V(cid:3)SURSRVDO(cid:3)IRU(cid:3)6$&66(cid:3)ZRQ(cid:3)DSSURYDO(cid:3)IURP(cid:3)WKH(cid:3)6WDWH(cid:3)LQ (cid:20)(cid:28)(cid:28)(cid:21)(cid:17)(cid:3) (cid:3) 7R(cid:3) VHOHFW(cid:3) WKH(cid:3) ZLQQLQJ(cid:3) FRQWUDFWRU(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) XVHG(cid:3) D FRPSHWLWLYH(cid:3) SURFHVV(cid:3) WKDW(cid:3) DVVHVVHG(cid:3) WKH(cid:3) SURSRVHG(cid:3) WHFKQLFDO VROXWLRQ(cid:3) IRU(cid:3) DXWRPDWLRQ(cid:15)(cid:3) DGPLQLVWUDWLYH(cid:3) SODQ(cid:15)(cid:3) DQG(cid:3) HVWLPDWHG FRVWV(cid:3) RI(cid:3) WKH(cid:3) SRWHQWLDO(cid:3) FRQWUDFWRUV(cid:17)(cid:3) (cid:3) /RFNKHHG“V(cid:3) SURSRVDO LGHQWLILHG(cid:3)D(cid:3)WHDP(cid:3)RI(cid:3)(cid:27)(cid:26)(cid:3)LQGLYLGXDOV(cid:3)WKDW(cid:3)LQFOXGHG(cid:3)(cid:20)(cid:23)(cid:3)PDQDJHUV DQG(cid:3)(cid:26)(cid:22)(cid:3)VWDII(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)LQIRUPDWLRQ(cid:3)SURYLGHG(cid:3)WR(cid:3)XV E\(cid:3)/RFNKHHG(cid:15)(cid:3)RQO\(cid:3)(cid:20)(cid:19)(cid:3)RI(cid:3)WKH(cid:3)RULJLQDOO\(cid:3)SURSRVHG(cid:3)LQGLYLGXDOV ZRUNHG(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3):H(cid:3)DVNHG(cid:3)/RFNKHHG(cid:3)ZK\(cid:3)VR(cid:3)IHZ(cid:3)RI(cid:3)WKH RULJLQDOO\(cid:3) SURSRVHG(cid:3) VWDII(cid:3) ZHUH(cid:3) DVVLJQHG(cid:3) WR(cid:3) WKH(cid:3) SURMHFW(cid:17) /RFNKHHG(cid:3) VWDWHG(cid:3)WKDW(cid:3)LWV(cid:3) FXUUHQW(cid:3) DQDO\VLV(cid:3) LQGLFDWHV(cid:3) WKDW(cid:3) PRUH WKDQ(cid:3)(cid:20)(cid:19)(cid:3)VWDII(cid:3)IURP(cid:3)WKH(cid:3)RULJLQDO(cid:3)SURSRVDO(cid:3)ZRUNHG(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW DQG(cid:3) WKH(cid:3) GDWD(cid:3) SUHYLRXVO\(cid:3) SURYLGHG(cid:3) WR(cid:3) XV(cid:3) PD\(cid:3) EH(cid:3) LQDFFXUDWH(cid:17) +RZHYHU(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)DQ\(cid:3)DGGLWLRQDO(cid:3)GDWD(cid:3)IRU(cid:3)XV WR(cid:3) UHYLHZ(cid:17)(cid:3) (cid:3) :H(cid:3) EHJDQ(cid:3) UHTXHVWLQJ(cid:3) VWDIILQJ(cid:3) LQIRUPDWLRQ(cid:3) IURP /RFNKHHG(cid:3) LQ(cid:3) 6HSWHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) EXW(cid:3) VWLOO(cid:3) KDYH(cid:3) QRW(cid:3) UHFHLYHG(cid:3) D FRPSOHWH(cid:3)OLVWLQJ(cid:3)RI(cid:3)SURMHFW(cid:3)VWDII(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH 6WDWH“V(cid:3) TXDOLW\(cid:3)DVVXUDQFH(cid:3) (cid:11)4$(cid:12)(cid:3) FRQWUDFWRU(cid:15)(cid:3) /RFNKHHG“V(cid:3) SURMHFW WHDP(cid:3)IRU(cid:3)6$&66(cid:3)H[SHULHQFHG(cid:3)KLJK(cid:3)WXUQRYHU(cid:15)(cid:3)UHVXOWLQJ(cid:3)LQ(cid:3)D(cid:3)ORVV(cid:3)RI FRQWLQXLW\(cid:3)DQG(cid:3)H[SHULHQFH(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHU LGHQWLILHG(cid:3)LQ(cid:3)/RFNKHHG“V(cid:3)SURSRVDO(cid:3)QHYHU(cid:3)ZRUNHG(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW(cid:17) ,QVWHDG(cid:15)(cid:3)/RFNKHHG(cid:3) HOHYDWHG(cid:3) WKH(cid:3) SURSRVHG(cid:3) WHFKQLFDO(cid:3) PDQDJHU(cid:15) ZKR(cid:3)KDG(cid:3)OHVV(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)H[SHULHQFH(cid:15)(cid:3)WR(cid:3)WKH(cid:3)SURMHFW PDQDJHU“V(cid:3)SRVLWLRQ(cid:17) ’XULQJ(cid:3) RXU(cid:3) UHYLHZ(cid:15)(cid:3) WKH(cid:3) LQIRUPDWLRQ(cid:3) SURYLGHG(cid:3) E\(cid:3) /RFNKHHG ZDV(cid:3)LQFRPSOHWH(cid:17)(cid:3)(cid:3)7KLV(cid:3)SUHYHQWHG(cid:3)XV(cid:3)IURP(cid:3)GHWHUPLQLQJ(cid:3)WKH(cid:3)WRWDO QXPEHU(cid:3)RI(cid:3)VWDII(cid:3)DQG(cid:3)KRZ(cid:3)PXFK(cid:3)WLPH(cid:3)HDFK(cid:3)VWDII(cid:3)PHPEHU(cid:3)VSHQW RQ(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) $OWKRXJK(cid:3) /RFNKHHG(cid:3) LV(cid:3) D(cid:3) UHFRJQL]HG LQIRUPDWLRQ(cid:3)PDQDJHPHQW(cid:3)RUJDQL]DWLRQ(cid:15)(cid:3)ZH(cid:3)IRXQG(cid:3)QR(cid:3)VLJQLILFDQW HYLGHQFH(cid:3) WKDW(cid:3) LW(cid:3) KDG(cid:3) DQ(cid:3) DXWRPDWHG(cid:3) WUDFNLQJ(cid:3) RU(cid:3) WLPHNHHSLQJ V\VWHP(cid:3) RQ(cid:3)WKH(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) 7KHUHIRUH(cid:15)(cid:3) /RFNKHHG(cid:3) ZDV(cid:3) XQDEOH(cid:3) WR SURYLGH(cid:3) D(cid:3) FRPSOHWH(cid:3) UHFRUG(cid:3) RI(cid:3) VWDII(cid:3) DVVLJQHG(cid:3) WR(cid:3) WKH(cid:3) 6$&66 SURMHFW(cid:15)(cid:3) DQG(cid:3) LWV(cid:3) PDQXDOO\(cid:3) SUHSDUHG(cid:3) OLVW(cid:3) GLG(cid:3) QRW(cid:3) LGHQWLI\(cid:3) WKH VSHFLILF(cid:3)GDWHV(cid:3)RQ(cid:3)ZKLFK(cid:3)VWDII(cid:3)ZRUNHG(cid:17) :H(cid:3) GHWHUPLQHG(cid:3) WKDW(cid:3) WKUHH(cid:3) RI(cid:3) /RFNKHHG“V(cid:3) WRS(cid:3) SURMHFW /RFNKHHG(cid:3)H[SHULHQFHG PDQDJHPHQW(cid:3)SRVLWLRQV(cid:3)H[SHULHQFHG(cid:3)KLJK(cid:3)WXUQRYHU(cid:3)WKDW(cid:3)PD\(cid:3)KDYH KLJK(cid:3)WXUQRYHU(cid:3)RI(cid:3)LWV(cid:3)WRS DIIHFWHG(cid:3)SURMHFW(cid:3)SURJUHVV(cid:3)DQG(cid:3)HIILFLHQF\(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)RYHU(cid:3)D SURMHFW(cid:3)PDQDJHPHQW ILYH(cid:16)\HDU(cid:3)SHULRG(cid:15)(cid:3)ILYH(cid:3)GLIIHUHQW(cid:3)SURMHFW(cid:3)PDQDJHUV(cid:15)(cid:3)ILYH(cid:3)GLIIHUHQW LQFOXGLQJ(cid:3)(cid:24)(cid:3)SURMHFW FRQYHUVLRQ(cid:3) PDQDJHUV(cid:15)(cid:3) DQG(cid:3) VHYHQ(cid:3) GLIIHUHQW(cid:3) GHVLJQ(cid:3) PDQDJHUV PDQDJHUV(cid:3)DQG(cid:3)(cid:20)(cid:21) ZRUNHG(cid:3)RQ(cid:3)6$&66(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$ RWKHU(cid:3)PDQDJHUV(cid:3)LQ FRQWUDFWRU(cid:15)(cid:3) /RFNKHHG(cid:3) DOVR(cid:3) H[SHULHQFHG(cid:3) KLJK(cid:3) WXUQRYHU(cid:3) LQ(cid:3) LWV (cid:21)(cid:3)NH\(cid:3)SRVLWLRQV(cid:17) ORZHU(cid:16)OHYHO(cid:3)VWDII(cid:3)SRVLWLRQV(cid:17) 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DOVR(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)WKH(cid:3)KLJK(cid:3)UDWH(cid:3)RI(cid:3)HPSOR\HH WXUQRYHU(cid:3)IRU(cid:3)6$&66(cid:3)SURPSWHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)DVVLJQ(cid:3)LQH[SHULHQFHG VWDII(cid:3)WR(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)ZKLFK(cid:3)OHG(cid:3)WR(cid:3)OHVV(cid:3)HIILFLHQW(cid:3)GHYHORSPHQW(cid:3)RI (cid:20)(cid:19) WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)WKDQ(cid:3)DQWLFLSDWHG(cid:17)(cid:3)(cid:3),Q(cid:3)DQ\(cid:3)RUJDQL]DWLRQ(cid:15) KLJK(cid:3) WXUQRYHU(cid:3) UDWHV(cid:3) FDQ(cid:3) UHVXOW(cid:3) LQ(cid:3) ORVW(cid:3) SURMHFW(cid:3) KLVWRU\(cid:3) DQG NQRZOHGJH(cid:3)LI(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)GRHV(cid:3)QRW(cid:3)KDYH(cid:3)D(cid:3)VWDQGDUG(cid:3)SURFHVV IRU(cid:3)GRFXPHQWLQJ(cid:3)DQG(cid:3)WUDQVIHUULQJ(cid:3)WKLV(cid:3)LQIRUPDWLRQ(cid:3)WR(cid:3)QHZ(cid:3)VWDII(cid:17) )XUWKHU(cid:15)(cid:3) HYHQWV(cid:3) WKDW(cid:3) UHTXLUH(cid:3) PDQDJHPHQW(cid:3) WR(cid:3) VSHQG(cid:3) WLPH UHFUXLWLQJ(cid:3)DQG(cid:3)WUDLQLQJ(cid:3)QHZ(cid:3)VWDII(cid:3)FDQ(cid:3)FDXVH(cid:3)GHOD\V(cid:3)LQ(cid:3)SURMHFW GHYHORSPHQW(cid:3)DQG(cid:3)PLVVHG(cid:3)GHDGOLQHV(cid:17) $V(cid:3) SDUW(cid:3) RI(cid:3) LWV(cid:3) MRE(cid:3) WR(cid:3) REMHFWLYHO\(cid:3) DVVHVV(cid:3) WKH(cid:3) SHUIRUPDQFH RI(cid:3) /RFNKHHG(cid:3) GXULQJ(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:15)(cid:3) WKH(cid:3) 6WDWH“V(cid:3) 4$ FRQWUDFWRU(cid:3) DWWHPSWHG(cid:3) LQ(cid:3) 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:3) WR(cid:3) YHULI\(cid:3) VWDII(cid:3) OHYHOV UHSRUWHG(cid:3)E\(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UHTXHVWHG(cid:3)D(cid:3)OLVW(cid:3)RI VWDII(cid:15)(cid:3) KRXUV(cid:3) VSHQW(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) GDWHV(cid:3) WKH\(cid:3) ZRUNHG(cid:3) RQ(cid:3) 6$&66(cid:17) +RZHYHU(cid:15)(cid:3) /RFNKHHG(cid:3) UHIXVHG(cid:15)(cid:3) VWDWLQJ(cid:15)(cid:3) §/RFNKHHG(cid:3) ,06 >,QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)6\VWHPV@(cid:3)WDNHV(cid:3)H[FHSWLRQ(cid:3)WR(cid:3)%$+“V >4$(cid:3) FRQWUDFWRU@(cid:3) GHPDQG(cid:3) IRU(cid:3) D(cid:3) EUHDNGRZQ(cid:3) RI(cid:3) VWDII(cid:3) E\ QDPH(cid:15)(cid:3)VNLOO(cid:15)(cid:3)DQG(cid:3)GDWHV(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)(cid:3)(cid:3)/RFNKHHG(cid:3),06(cid:3)DOVR(cid:3)VWDQGV(cid:3)EHKLQG WKH(cid:3)H[SHUWLVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)VWDII(cid:3)DQG(cid:3)WKH(cid:3)VXSHULRU(cid:3)VNLOO(cid:3)OHYHOV RI(cid:3)WKH(cid:3)WHFKQLFDO(cid:3)DQG(cid:3)DSSOLFDWLRQ(cid:3)VWDII(cid:17)¤ /RFNKHHG(cid:3)’HYHORSHG(cid:3)D )ODZHG(cid:3)&RPSXWHU(cid:3)6\VWHP 2I(cid:3)WKH(cid:3)(cid:26)(cid:19)(cid:3)PRVW(cid:3)LPSRUWDQW $V(cid:3)RI(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)/RFNKHHG(cid:3)UHFRUGV(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)(cid:23)(cid:22)(cid:15)(cid:3)RU FRPSRQHQWV(cid:3)LQ(cid:3)WKH (cid:25)(cid:20)(cid:3)SHUFHQW(cid:15)(cid:3)RI(cid:3)WKH(cid:3)(cid:26)(cid:19)(cid:3)PRVW(cid:3)LPSRUWDQW(cid:3)FRPSRQHQWV(cid:3)RI(cid:3)6$&66 FRPSXWHU(cid:3)SURJUDP(cid:15) FRQWDLQHG(cid:3)PDMRU(cid:3)RU(cid:3)FULWLFDO(cid:3)GHIHFWV(cid:17)(cid:3)(cid:3)&ULWLFDO(cid:3)GHIHFWV(cid:3)DUH(cid:3)IODZV (cid:23)(cid:22)(cid:3)FRQWDLQHG(cid:3)PDMRU(cid:3)RU WKDW(cid:3)SUHYHQW(cid:3)SURFHVVLQJ(cid:15)(cid:3)RU(cid:3)WKDW(cid:3)VWRUH(cid:3)RU(cid:3)GHOLYHU(cid:3)IDXOW\(cid:3)GDWD(cid:17) FULWLFDO(cid:3)GHIHFWV(cid:17) 7KH(cid:3)QXPEHU(cid:3)DQG(cid:3)PDJQLWXGH(cid:3)RI(cid:3)WKHVH(cid:3)GHIHFWV(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH 6WDWH“V(cid:3)GHFLVLRQ(cid:3)WR(cid:3)FDQFHO(cid:3)LWV(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3)$PRQJ WKH(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)6$&66(cid:15)(cid:3)ZH(cid:3)QRWHG(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)DOZD\V(cid:3)IROORZ(cid:3)VWDQGDUG(cid:3)PHWKRGRORJLHV(cid:3)IRU VRIWZDUH(cid:3)GHYHORSPHQW(cid:17) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)NHHS(cid:3)VRPH(cid:3)V\VWHP(cid:3)GRFXPHQWDWLRQ(cid:3)FXUUHQW(cid:17) • /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)DOZD\V(cid:3)XVH(cid:3)WKH(cid:3)VRIWZDUH(cid:3)HQJLQHHULQJ(cid:3)WRROV LW(cid:3)KDG(cid:3)SURSRVHG(cid:17) • 6RIWZDUH(cid:3)GHIHFWV(cid:3)OHG(cid:3)WR(cid:3)LQDFFXUDWH(cid:3)DQG(cid:3)XQUHOLDEOH(cid:3)GDWD(cid:17) • &RPPXQLFDWLRQV(cid:3)EHWZHHQ(cid:3)FRXQWLHV(cid:3)DQG(cid:3)RWKHU(cid:3)JRYHUQPHQW DJHQFLHV(cid:3)GLG(cid:3)QRW(cid:3)ZRUN(cid:3)SURSHUO\(cid:17) • 3RRU(cid:3) SHUIRUPDQFH(cid:3) UDLVHG(cid:3) TXHVWLRQV(cid:3) DV(cid:3) WR(cid:3) ZKHWKHU(cid:3) 6$&66 FRXOG(cid:3)ZRUN(cid:3)LQ(cid:3)ODUJH(cid:3)FRXQWLHV(cid:17) (cid:20)(cid:20) $OWKRXJK(cid:3)/RFNKHHG(cid:3)FRQWHQGV(cid:3)WKDW(cid:3)WKH(cid:3)QXPEHU(cid:3)RI(cid:3)GHIHFWV(cid:3)LQ(cid:3)WKH VRIWZDUH(cid:3)LV(cid:3)ZHOO(cid:3)EHORZ(cid:3)LQGXVWU\(cid:3)QRUPV(cid:15)(cid:3)PDMRU(cid:3)RU(cid:3)FULWLFDO(cid:3)GHIHFWV PD\(cid:3)KDYH(cid:3)VHYHUHO\(cid:3)KDPSHUHG(cid:3)WKH(cid:3)DELOLW\(cid:3)RI(cid:3)6$&66(cid:3)WR(cid:3)RSHUDWH(cid:3)DV D(cid:3) IXOO\(cid:3) IXQFWLRQLQJ(cid:3) DXWRPDWHG(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW V\VWHP(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)6WDWH“V(cid:3)LQGHSHQGHQW(cid:3)YHULILFDWLRQ(cid:3)DQG YDOLGDWLRQ(cid:3) (cid:11),9(cid:9)9(cid:12)(cid:3) FRQWUDFWRU(cid:15)(cid:3) FULWLFDO(cid:3) GHIHFWV(cid:3) FDQ(cid:3) DOVR(cid:3) PDVN RWKHU(cid:3)GHIHFWV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)LI(cid:3)D(cid:3)FULWLFDO(cid:3)GHIHFW(cid:3)LQYROYHV(cid:3)WKH V\VWHP“V(cid:3)IDLOXUH(cid:3)WR(cid:3)SULQW(cid:3)D(cid:3)SDUWLFXODU(cid:3)IRUP(cid:15)(cid:3)WKDW(cid:3)SUREOHP(cid:3)PD\ KLGH(cid:3) RWKHU(cid:3) GHIHFWV(cid:15)(cid:3) VXFK(cid:3) DV(cid:3) WKH(cid:3) V\VWHP“V(cid:3) LQDELOLW\(cid:3) WR(cid:3) DGG QXPEHUV(cid:3)FRUUHFWO\(cid:3)IRU(cid:3)WKDW(cid:3)IRUP(cid:3)RU(cid:3)LWV(cid:3)SODFLQJ(cid:3)LQIRUPDWLRQ(cid:3)LQ(cid:3)WKH ZURQJ(cid:3)VSDFHV(cid:17) ’HIHFWV(cid:3)LQ(cid:3)WKH(cid:3)6$&66(cid:3)V\VWHP(cid:3)FDQ(cid:3)EH(cid:3)WUDFHG(cid:3)EDFN(cid:3)WR(cid:3)LWV(cid:3)JHQHUDO DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)SKDVHV(cid:17)(cid:3)7KH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)LV WKH(cid:3) IRXQGDWLRQ(cid:3) DQG(cid:3) RIILFLDO(cid:3) EDVHOLQH(cid:3) GHVLJQ(cid:3) GRFXPHQW(cid:3) WKDW SUHVHQWV(cid:3)D(cid:3)FRKHVLYH(cid:3)SLFWXUH(cid:3)RI(cid:3)KRZ(cid:3)WKH(cid:3)V\VWHP(cid:3)ZLOO(cid:3)ZRUN(cid:17)(cid:3)7KH JHQHUDO(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) VHUYHV(cid:3) DV(cid:3) SDUW(cid:3) RI(cid:3) WKH(cid:3) SHUPDQHQW V\VWHP(cid:3) GRFXPHQWDWLRQ(cid:3) DQG(cid:3) WKH(cid:3) EDVLV(cid:3) IRU(cid:3) WKH(cid:3) GHWDLOHG(cid:3) V\VWHP GHVLJQ(cid:17)(cid:3)(cid:3)7KH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)LQFRUSRUDWHV(cid:3)WKH(cid:3)JHQHUDO V\VWHP(cid:3) GHVLJQ(cid:3) VSHFLILFDWLRQV(cid:3) DQG(cid:3) EHFRPHV(cid:3) D(cid:3) PRGHO(cid:3) RI WKH(cid:3)V\VWHP“V(cid:3)SK\VLFDO(cid:3)VWUXFWXUH(cid:17)(cid:3)(cid:3),Q(cid:3)HVVHQFH(cid:15)(cid:3)ERWK(cid:3)WKH(cid:3)JHQHUDO DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV(cid:3)EHFRPH(cid:3)EOXHSULQWV(cid:3)IRU(cid:3)WKH(cid:3)V\VWHP(cid:17) 6RPH(cid:3)6\VWHP(cid:3)’HIHFWV(cid:3)2FFXUUHG(cid:3)%HFDXVH /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)$OZD\V(cid:3))ROORZ(cid:3)6WDQGDUG 0HWKRGRORJLHV(cid:3)IRU(cid:3)6RIWZDUH(cid:3)’HYHORSPHQW ’XULQJ(cid:3)LWV(cid:3)FUHDWLRQ(cid:3)RI(cid:3)WKH(cid:3)JHQHUDO(cid:3)DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV IRU(cid:3)6$&66(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)DOZD\V(cid:3)IXOILOO(cid:3)LWV(cid:3)SURPLVHV(cid:3)WR(cid:3)IROORZ /RFNKHHG(cid:3)PD\(cid:3)KDYH VWDQGDUG(cid:3)PHWKRGRORJLHV(cid:3)IRU(cid:3)SURGXFLQJ(cid:3)VRIWZDUH(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)LW(cid:3)GLG MHRSDUGL]HG(cid:3)IXWXUH QRW(cid:3)DOZD\V(cid:3)XVH(cid:3)HVWDEOLVKHG(cid:3)WHFKQLTXHV(cid:3)IRU(cid:3)JHQHUDWLQJ(cid:15)(cid:3)LQVWDOOLQJ(cid:15) GHYHORSPHQW(cid:3)DQG(cid:3)XSNHHS DQG(cid:3)PDLQWDLQLQJ(cid:3)6$&66(cid:15)(cid:3)/RFNKHHG(cid:3)PD\(cid:3)KDYH(cid:3)MHRSDUGL]HG(cid:3)IXWXUH RI(cid:3)WKH(cid:3)V\VWHP(cid:3)EHFDXVH(cid:3)LW GHYHORSPHQW(cid:3)DQG(cid:3)XSNHHS(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17) GLG(cid:3)QRW(cid:3)DOZD\V(cid:3)IROORZ(cid:3)WKH VRIWZDUH(cid:3)GHYHORSPHQW ,Q(cid:3) LWV(cid:3) SURSRVDO(cid:15)(cid:3) /RFNKHHG(cid:3) VWDWHV(cid:3) WKDW(cid:3) LW(cid:3) KDV(cid:3) H[WHQVLYH WHFKQLTXHV(cid:3)LW(cid:3)KDG H[SHULHQFH(cid:3) LQ(cid:3) WKH(cid:3) XVH(cid:3) RI(cid:3) VWUXFWXUHG(cid:3) DQDO\VLV(cid:15)(cid:3) GHVLJQ(cid:15)(cid:3) DQG SURSRVHG(cid:17) GHYHORSPHQW(cid:3) WHFKQLTXHV(cid:3) RQ(cid:3) ODUJH(cid:16)VFDOH(cid:3) DXWRPDWHG(cid:3) SURMHFWV(cid:17) )XUWKHU(cid:15)(cid:3)/RFNKHHG(cid:3)VWDWHG(cid:3)WKDW(cid:3)WKH(cid:3)FRQVLVWHQW(cid:3)DSSOLFDWLRQ(cid:3)RI(cid:3) D VRXQG(cid:3)(cid:3)PHWKRGRORJ\(cid:15)(cid:3)HQKDQFHG(cid:3)E\(cid:3)WKH(cid:3)XVH(cid:3)RI(cid:3)FRPSXWHU(cid:16)DLGHG VRIWZDUH(cid:3) HQJLQHHULQJ(cid:3) (cid:11)&$6((cid:12)(cid:3) WRROV(cid:15)(cid:3) VWUHDPOLQHV(cid:3) DOO(cid:3) VWDJHV(cid:3) RI V\VWHP(cid:3)GHYHORSPHQW(cid:3)ZKLOH(cid:3)LPSURYLQJ(cid:3)WKH(cid:3)TXDOLW\(cid:3)RI(cid:3)WKH(cid:3)ZRUN SURGXFW(cid:17) +RZHYHU(cid:15)(cid:3) RXU(cid:3) UHYLHZ(cid:3) RI(cid:3) QXPHURXV(cid:3) UHSRUWV(cid:3) GHDOLQJ(cid:3) ZLWK(cid:3) WKH 6$&66(cid:3) SURMHFW(cid:3) UHYHDOHG(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) GLG(cid:3) QRW(cid:3) DOZD\V(cid:3) GUDZ XSRQ(cid:3)LWV(cid:3)H[WHQVLYH(cid:3)H[SHULHQFH(cid:3)DQG(cid:3)IROORZ(cid:3)WKH(cid:3)VWDQGDUG(cid:3)VRIWZDUH GHYHORSPHQW(cid:3)PHWKRGRORJLHV(cid:3)LW(cid:3)SURSRVHG(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15)(cid:3)WKH(cid:3)4$(cid:3)DQG ,9(cid:9)9(cid:3)FRQWUDFWRUV(cid:3)DQG(cid:3)WKH(cid:3)6WDWH(cid:3)LGHQWLILHG(cid:3)VLJQLILFDQW(cid:3)SUREOHPV (cid:20)(cid:21) ZLWK(cid:3) WKH(cid:3) ZD\V(cid:3) LQ(cid:3) ZKLFK(cid:3) /RFNKHHG(cid:3) PDLQWDLQHG(cid:3) V\VWHP GRFXPHQWDWLRQ(cid:3)DQG(cid:3)XVHG(cid:3)VSHFLDOL]HG(cid:3)VRIWZDUH(cid:3)HQJLQHHULQJ(cid:3)WRROV WR(cid:3)GHYHORS(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)IRU(cid:3)6$&66(cid:17) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3).HHS(cid:3)6RPH 6\VWHP(cid:3)’RFXPHQWDWLRQ(cid:3)&XUUHQW %HFDXVH(cid:3) LW(cid:3) GLG(cid:3) QRW(cid:3) DOZD\V(cid:3) XSGDWH(cid:3) GRFXPHQWDWLRQ(cid:3) IRU(cid:3) YLWDO FRPSRQHQWV(cid:3) RI(cid:3) 6$&66(cid:15)(cid:3) /RFNKHHG(cid:3) PD\(cid:3) KDYH(cid:3) FRPSURPLVHG WKH(cid:3)UHOLDELOLW\(cid:3)RI(cid:3)WKH(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)LW(cid:3)VWRUHG(cid:17) 7KH(cid:3)GRFXPHQWDWLRQ(cid:15)(cid:3)ZKLFK(cid:3)LV(cid:3)WKH(cid:3)VHW(cid:3)RI(cid:3)SODQV(cid:3)DQG(cid:3)GHILQLWLRQV WKDW(cid:3) SURJUDPPHUV(cid:3) XVH(cid:3) WR(cid:3) EXLOG(cid:3) DQG(cid:3) PRGLI\(cid:3) D(cid:3) V\VWHP(cid:15)(cid:3) QHHGV RQJRLQJ(cid:3) PDLQWHQDQFH(cid:3) VR(cid:3) WKDW(cid:3) DOO(cid:3) SURJUDPPHUV(cid:3) ZRUN(cid:3) IURP WKH(cid:3) VDPH(cid:3) DFFXUDWH(cid:3) VSHFLILFDWLRQV(cid:17)(cid:3) (cid:3) :LWKRXW(cid:3) XS(cid:16)WR(cid:16)GDWH GRFXPHQWDWLRQ(cid:15)(cid:3) D(cid:3) SURJUDPPHU(cid:3) FRXOG(cid:3) PDNH(cid:3) FKDQJHV(cid:3) WR(cid:3) D VRIWZDUH(cid:3) FRPSRQHQW(cid:3) DQG(cid:3) LQDGYHUWHQWO\(cid:3) FDXVH(cid:3) SUREOHPV(cid:3) ZLWK RWKHU(cid:3)FRPSRQHQWV(cid:17) ’HVSLWH(cid:3) WKH(cid:3) LPSRUWDQFH(cid:3) RI(cid:3) NHHSLQJ(cid:3) FXUUHQW(cid:3) GRFXPHQWDWLRQ(cid:15) /RFNKHHG(cid:3)(cid:3)GLG(cid:3)QRW(cid:3)DOZD\V(cid:3)XSGDWH(cid:3)GRFXPHQWDWLRQ(cid:3)IRU(cid:3)WKH(cid:3)JHQHUDO V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)WKH(cid:3)IRXQGDWLRQ(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7KH(cid:3)4$ FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW UHYLVH(cid:3) WKH(cid:3) JHQHUDO(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) GRFXPHQW(cid:3) IRU(cid:3) VLJQLILFDQW FKDQJHV(cid:3) PDGH(cid:3) GXULQJ(cid:3) WKH(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) SKDVH(cid:17) $GGLWLRQDOO\(cid:15)(cid:3)VWDWH(cid:3)VWDII(cid:3)ZHUH(cid:3)QRW(cid:3)DEOH(cid:3)WR(cid:3)UHYLHZ(cid:3)JHQHUDO(cid:3)V\VWHP GHVLJQ(cid:3)FKDQJHV(cid:3)UHVXOWLQJ(cid:3)IURP(cid:3)PRGLILFDWLRQV(cid:3)PDGH(cid:3)ZLWKLQ(cid:3)WKH GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKLV(cid:3)UHYLHZ(cid:3)GLG(cid:3)QRW(cid:3)RFFXU(cid:15)(cid:3)LW(cid:3)LV SRVVLEOH(cid:3)WKDW(cid:3)XQLQWHQGHG(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)LQWURGXFHG(cid:3)RU(cid:3)LQWHQGHG FKDQJHV(cid:3)ZHUH(cid:3)QRW(cid:3)DFFXUDWHO\(cid:3)LPSOHPHQWHG(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU VWDWHG(cid:3)WKDW(cid:3)SUREOHPV(cid:3)LQWURGXFHG(cid:3)GXULQJ(cid:3)GHVLJQ(cid:3)FDQ(cid:3)EH(cid:3)H[SHFWHG $OWKRXJK(cid:3)/RFNKHHG WR(cid:3)VXUIDFH(cid:3)WKURXJKRXW(cid:3)WKH(cid:3)WHVWLQJ(cid:3)DQG(cid:3)LQVWDOODWLRQ(cid:3)SKDVHV(cid:3)RI(cid:3)WKH DFNQRZOHGJHG(cid:3)WKH SURMHFW(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:15)(cid:3) WKLV(cid:3) VLWXDWLRQ LPSRUWDQFH(cid:3)RI(cid:3)XS(cid:16)WR(cid:16)GDWH RFFXUUHG(cid:3)ZLWK(cid:3)6$&66(cid:3)ZKHQ(cid:3) /RFNKHHG(cid:3) PRGLILHG(cid:3) WKH(cid:3) VRIWZDUH GRFXPHQWDWLRQ(cid:15)(cid:3)WKH DQG(cid:3) XQNQRZLQJO\(cid:3) EURNH(cid:3) FRPSRQHQWV(cid:3) WKDW(cid:3) KDG(cid:3) ZRUNHG ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG SUHYLRXVO\(cid:17) LQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:3)WKDW(cid:3)V\VWHP GRFXPHQWDWLRQ(cid:3)ZDV ,Q(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:3)DQG(cid:3)$XJXVW(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)/RFNKHHG(cid:3)DFNQRZOHGJHG LQFRPSOHWH(cid:3)DQG WKH(cid:3)LPSRUWDQFH(cid:3)RI(cid:3)XS(cid:16)WR(cid:16)GDWH(cid:3)V\VWHP(cid:3)GRFXPHQWDWLRQ(cid:3)DQG(cid:3)DJUHHG WR(cid:3)FRUUHFW(cid:3)WKH(cid:3)SUREOHP(cid:3)EHIRUH(cid:3)LPSOHPHQWLQJ(cid:3)6$&66(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15) RXW(cid:16)RI(cid:16)GDWH(cid:17) WKH(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) LQ(cid:3) -XQH(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:3) WKDW(cid:3) V\VWHP GRFXPHQWDWLRQ(cid:3)ZDV(cid:3)LQFRPSOHWH(cid:3)DQG(cid:3)RXW(cid:16)RI(cid:16)GDWH(cid:17) (cid:20)(cid:22) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)8VH(cid:3)WKH(cid:3)6RIWZDUH (QJLQHHULQJ(cid:3)7RROV(cid:3),W(cid:3)+DG(cid:3)3URSRVHG $OWKRXJK(cid:3) LWV(cid:3) SURSRVDO(cid:3) VWDWHV(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) SODQQHG(cid:3) WR XVH(cid:3) &$6((cid:3) WRROV(cid:3) WR(cid:3) ZRUN(cid:3) RQ(cid:3) 6$&66(cid:15)(cid:3) /RFNKHHG(cid:3) GLG(cid:3) QRW FRQVLVWHQWO\(cid:3)XVH(cid:3)WKH(cid:3)WRROV(cid:3)WR(cid:3)GHYHORS(cid:3)RU(cid:3)PDLQWDLQ(cid:3)WKH(cid:3)FRPSXWHU SURJUDP(cid:17)(cid:3)(cid:3)$(cid:3)FROOHFWLRQ(cid:3)RI(cid:3)GHYLFHV(cid:3)DQG(cid:3)WHFKQLTXHV(cid:3)IRU(cid:3)VRIWZDUH GHYHORSPHQW(cid:15)(cid:3) &$6((cid:3) WRROV(cid:3) DUH(cid:3) FULWLFDO(cid:3) WR(cid:3) WKH(cid:3) VXFFHVV RI(cid:3) VRIWZDUH(cid:3) GHYHORSPHQW(cid:3) EHFDXVH(cid:3) WKH\(cid:3) DOORZ(cid:3) EHWWHU FRPPXQLFDWLRQ(cid:3)EHWZHHQ(cid:3)XVHUV(cid:3)DQG(cid:3)V\VWHP(cid:3)GHYHORSHUV(cid:15)(cid:3)SURGXFH VWUXFWXUHG(cid:3)V\VWHPV(cid:3)WKDW(cid:3)DUH(cid:3)HDVLHU(cid:3)WR(cid:3)PDLQWDLQ(cid:15)(cid:3)DQG(cid:3)HQVXUH(cid:3)WKH FRQVLVWHQF\(cid:3) DQG(cid:3) PDLQWHQDQFH(cid:3) RI(cid:3) WKH(cid:3) FRPSXWHU(cid:3) V\VWHP“V GRFXPHQWDWLRQ(cid:17)(cid:3)(cid:3))RU(cid:3)LQVWDQFH(cid:15)(cid:3)D(cid:3)&$6((cid:3)WRRO(cid:3)ZLOO(cid:3)DXWRPDWLFDOO\ JHQHUDWH(cid:3) DQG(cid:3) XSGDWH(cid:3) V\VWHP(cid:3) GRFXPHQWDWLRQ(cid:15)(cid:3) LQFOXGLQJ(cid:3) VXFK SODQV(cid:3)DV(cid:3)WKH(cid:3)JHQHUDO(cid:3)DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV(cid:17) $FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)XVH(cid:3)&$6( WRROV(cid:3)WR(cid:3)GHYHORS(cid:3)WKH(cid:3)V\VWHP“V(cid:3)GDWD(cid:3)GLFWLRQDU\(cid:15)(cid:3)ZKLFK(cid:3)GHILQHV(cid:3)WKH IRUPDW(cid:3)DQG(cid:3)ORFDWLRQ(cid:3)RI(cid:3)GDWD(cid:3)LQ(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU UHSRUWHG(cid:3)LQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)GHYHORSLQJ(cid:3)WKH(cid:3)GDWD GLFWLRQDU\(cid:3)E\(cid:3)ZULWLQJ(cid:3)VRIWZDUH(cid:3)SURJUDPV(cid:3)DQG(cid:3)WKDW(cid:3)/RFNKHHG“V IDLOXUH(cid:3)WR(cid:3)XVH(cid:3)WKH(cid:3)&$6((cid:3)WRROV(cid:3)FRXOG(cid:3)UHVXOW(cid:3)LQ(cid:3)DQ(cid:3)XQUHOLDEOH(cid:3)GDWD 7KH(cid:3)4$(cid:3)FRQWUDFWRU GLFWLRQDU\(cid:3)IRU(cid:3)6$&66(cid:17)(cid:3)(cid:3))RU(cid:3)DQ\(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:15)(cid:3)DQ(cid:3)XQUHOLDEOH UHSRUWHG(cid:3)LQFRQVLVWHQFLHV GDWD(cid:3)GLFWLRQDU\(cid:3)VLJQLILFDQWO\(cid:3)LQFUHDVHV(cid:3)WKH(cid:3)ULVN(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP EHWZHHQ(cid:3)FRPSXWHU ZLOO(cid:3)QRW(cid:3)ZRUN(cid:3)LI(cid:3)LW(cid:3)LV(cid:3)LPSOHPHQWHG(cid:17) VFUHHQV(cid:15)(cid:3)UHSRUWV(cid:15)(cid:3)DQG IRUPV(cid:3)LQGLFDWLQJ ,Q(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DJDLQ(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)WKH /RFNKHHG“V(cid:3)IDLOXUH(cid:3)WR QXPEHU(cid:3)RI(cid:3)LQFRQVLVWHQFLHV(cid:3)EHWZHHQ(cid:3)FRPSXWHU(cid:3)VFUHHQV(cid:15)(cid:3)UHSRUWV(cid:15) LQWHJUDWH(cid:3)&$6((cid:3)WRROV(cid:3)LQWR DQG(cid:3)IRUPV(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)KDG(cid:3)QRW(cid:3)IXOO\(cid:3)LQWHJUDWHG(cid:3)WKH WKH(cid:3)GHVLJQ(cid:3)HIIRUW(cid:17) &$6((cid:3) WRROV(cid:3) LQWR(cid:3) WKH(cid:3) 6$&66(cid:3) GHVLJQ(cid:3) HIIRUW(cid:15)(cid:3) DQG(cid:3) WKLV(cid:3) RPLVVLRQ ZRXOG(cid:3) DGYHUVHO\(cid:3) DIIHFW(cid:3) WKH(cid:3) DFFXUDF\(cid:3) DQG(cid:3) FRPSOHWHQHVV(cid:3) RI V\VWHP(cid:3)GRFXPHQWDWLRQ(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU“V(cid:3)FRPPHQWV SUHGLFWHG(cid:3)6$&66“V(cid:3)IXWXUH(cid:3)VKRUWFRPLQJV(cid:17)(cid:3)(cid:3),Q(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)FLWHG(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)QRW(cid:3)XVLQJ(cid:3)&$6((cid:3)WRROV DV(cid:3)SURSRVHG(cid:3)WR(cid:3)GHYHORS(cid:3)RU(cid:3)PDLQWDLQ(cid:3)WKH(cid:3)6$&66(cid:3)VRIWZDUH(cid:17) :HDNQHVVHV(cid:3),Q(cid:3)’HVLJQ(cid:3)DQG(cid:3)’HYHORSPHQW /HG(cid:3)WR(cid:3)0DMRU(cid:3)6\VWHP(cid:3)3UREOHPV %HFDXVH(cid:3) /RFNKHHG(cid:3) GLG(cid:3) QRW(cid:3) DOZD\V(cid:3) IROORZ(cid:3) WKH(cid:3) VWDQGDUG VRIWZDUH(cid:3) GHYHORSPHQW(cid:3) PHWKRGRORJLHV(cid:3) LW(cid:3) SURPLVHG(cid:15)(cid:3) 6$&66 VXIIHUHG(cid:3) VLJQLILFDQW(cid:3) VHWEDFNV(cid:17)(cid:3) (cid:3) 7KHVH(cid:3) SUREOHPV(cid:3) LQFOXGHG(cid:3) WKH IROORZLQJ(cid:29) • ,QDFFXUDWH(cid:15)(cid:3)XQUHOLDEOH(cid:3)FRXQW\(cid:3)GDWD(cid:17) (cid:20)(cid:23) • 0DOIXQFWLRQ(cid:3) RI(cid:3) LQWHUIDFHV(cid:15)(cid:3) WKH(cid:3) SURJUDP(cid:3) FRPSRQHQWV(cid:3) WKDW DOORZ(cid:3) FRPPXQLFDWLRQV(cid:3) EHWZHHQ(cid:3) FRXQWLHV(cid:3) DQG(cid:3) RWKHU JRYHUQPHQW(cid:3)DJHQFLHV(cid:17) • 3RRU(cid:3)V\VWHP(cid:3)SHUIRUPDQFH(cid:3)DQG(cid:3) TXHVWLRQDEOH(cid:3)VFDODELOLW\(cid:3) IRU ODUJH(cid:3)FRXQWLHV(cid:17) 6RIWZDUH(cid:3)’HIHFWV(cid:3)/HG(cid:3)WR ,QDFFXUDWH(cid:3)DQG(cid:3)8QUHOLDEOH(cid:3)’DWD /RFNKHHG“V(cid:3) IDLOXUH(cid:3) WR(cid:3) IROORZ(cid:3) LWV(cid:3) SURSRVHG(cid:3) VWDQGDUG(cid:3) VRIWZDUH PHWKRGRORJLHV(cid:3)PD\(cid:3)KDYH(cid:3)FDXVHG(cid:3)PDMRU(cid:3)DQG(cid:3)FULWLFDO(cid:3)GHIHFWV(cid:3)LQ WKH(cid:3)6$&66(cid:3)VRIWZDUH(cid:17)(cid:3)(cid:3)7KHVH(cid:3)GHIHFWV(cid:3)XOWLPDWHO\(cid:3)OHG(cid:3)WR(cid:3)LQDFFXUDWH(cid:15) XQUHOLDEOH(cid:3) GDWD(cid:3) IRU(cid:3) V\VWHP(cid:3) XVHUV(cid:17)(cid:3) (cid:3) 8QUHOLDEOH(cid:3) GDWD(cid:3) KLQGHUV FRXQWLHV“(cid:3)GD\(cid:16)WR(cid:16)GD\(cid:3)RSHUDWLRQV(cid:15)(cid:3)VXFK(cid:3)DV(cid:3)ILQDQFLDO(cid:3)DQG(cid:3)UHSRUW SURFHVVLQJ(cid:3)DFWLYLWLHV(cid:17)(cid:3)(cid:3)’DWD(cid:3)SUREOHPV(cid:3)DOVR(cid:3)VLJQLILFDQWO\(cid:3)VORZ(cid:3)WKH SURGXFWLYLW\(cid:3)RI(cid:3)FDVHZRUNHUV(cid:15)(cid:3)ZKR(cid:3)PXVW(cid:3)XVH(cid:3)PDQXDO(cid:3)PHWKRGV(cid:3)WR ZRUN(cid:3)DURXQG(cid:3)WKH(cid:3)SUREOHPV(cid:17) 2QH(cid:3)H[DPSOH(cid:3)RI(cid:3)XQUHOLDEOH(cid:3)GDWD(cid:3)FDXVHG(cid:3)E\(cid:3)D(cid:3)V\VWHP(cid:3)GHIHFW(cid:3)LV §IO\LQJ(cid:3) GDWD(cid:15)¤(cid:3) D(cid:3) WHUP(cid:3) 6$&66(cid:3) VWDII(cid:3) FRLQHG(cid:3) WR(cid:3) GHVFULEH(cid:3) GDWD DVVRFLDWHG(cid:3) ZLWK(cid:3) RQH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) FDVH(cid:3) WKDW(cid:3) WKH(cid:3) V\VWHP 2QH(cid:3)V\VWHP(cid:3)GHIHFW LQDGYHUWHQWO\(cid:3) DVVRFLDWHG(cid:3) ZLWK(cid:3) D(cid:3) GLIIHUHQW(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) FDVH(cid:17) FDXVHG(cid:3)§IO\LQJ(cid:3)GDWD(cid:15)¤ $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) 6WDWH“V(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:15)(cid:3) WKH(cid:3) IO\LQJ(cid:3) GDWD ZKLFK(cid:3)UHVXOWHG(cid:3)IURP(cid:3)D SUREOHP(cid:3) UHVXOWHG(cid:3) IURP(cid:3) D(cid:3) VRIWZDUH(cid:3) FRGLQJ(cid:3) SUREOHP(cid:3) WKDW SUREOHP(cid:3)/RFNKHHG(cid:3)VKRXOG /RFNKHHG“V(cid:3)VRIWZDUH(cid:3)GHYHORSPHQW(cid:3)RU(cid:3)WHVWLQJ(cid:3)SURFHVVHV(cid:3)VKRXOG KDYH(cid:3)FDXJKW(cid:3)GXULQJ KDYH(cid:3) FDXJKW(cid:17)(cid:3) (cid:3) ,QVWHDG(cid:15)(cid:3) WKH(cid:3) FRXQWLHV(cid:3) GLVFRYHUHG(cid:3) WKH(cid:3) IO\LQJ GHYHORSPHQW(cid:3)RU(cid:3)WHVWLQJ GDWD(cid:3)GXULQJ(cid:3)LQVWDOODWLRQ(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3)$V(cid:3)RI(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)/RFNKHHG SURFHVVHV(cid:17) KDG(cid:3)FRUUHFWHG(cid:3)WKH(cid:3)IO\LQJ(cid:3)GDWD(cid:3)SUREOHP(cid:3)IRU(cid:3)RQO\(cid:3)(cid:21)(cid:24)(cid:3)RXW(cid:3)RI(cid:3)WKH (cid:22)(cid:27)(cid:19)(cid:3)FRPSXWHU(cid:3)VFUHHQV(cid:3)XVHG(cid:3)LQ(cid:3)WKH(cid:3)6$&66(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)/RFNKHHG FRQWHQGV(cid:15)(cid:3)KRZHYHU(cid:15)(cid:3)WKDW(cid:3)WKH(cid:3)VFUHHQV(cid:3)LW(cid:3)FRUUHFWHG(cid:3)DUH(cid:3)WKRVH(cid:3)XVHG E\(cid:3)FRXQWLHV(cid:3)(cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH(cid:3)WLPH(cid:17) $V(cid:3)HDUO\(cid:3)DV(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)LQIRUPHG(cid:3)/RFNKHHG(cid:3)DERXW LWV(cid:3)FRQFHUQV(cid:3)ZLWK(cid:3)WKH(cid:3)DFFXUDF\(cid:3)RI(cid:3)ILQDQFLDO(cid:3)UHSRUWV(cid:3)JHQHUDWHG(cid:3)E\ 6$&66(cid:17)(cid:3)(cid:3),Q(cid:3)LWV(cid:3)UHVSRQVH(cid:15)(cid:3)/RFNKHHG(cid:3)VWDWHG(cid:3)WKDW(cid:3)LW(cid:3)XQFRQGLWLRQDOO\ JXDUDQWHHG(cid:3)WKH(cid:3)DFFXUDF\(cid:3)RI(cid:3)DOO(cid:3)VWDWHZLGH(cid:3)DQG(cid:3)ILQDQFLDO(cid:3)UHSRUWV(cid:17) +RZHYHU(cid:15)(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW FRXQWLHV(cid:3)FRXOG(cid:3)QRW(cid:3)UHO\(cid:3)RQ(cid:3)WKH(cid:3)DFFXUDF\(cid:3)RI(cid:3)WKH(cid:3)ILQDQFLDO(cid:3)UHSRUWV FUHDWHG(cid:3)E\(cid:3)6$&66(cid:17)(cid:3)(cid:3))RU(cid:3)LQVWDQFH(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG WKDW(cid:3)FRXQWLHV(cid:3)PXVW(cid:3)§ZKLWH(cid:3)RXW¤(cid:3)DQG(cid:3)UHW\SH(cid:3)FRUUHFWLRQV(cid:3)WR(cid:3)UHSRUWV DQG(cid:3)IRUPV(cid:17)(cid:3)(cid:3)8OWLPDWHO\(cid:15)(cid:3)WKH(cid:3)V\VWHP(cid:3)GHIHFWV(cid:3)DQG(cid:3)XQUHOLDEOH(cid:3)GDWD LQ(cid:3)6$&66(cid:3)KDYH(cid:3)FDXVHG(cid:3)FRXQW\(cid:3)HPSOR\HHV(cid:3)WR(cid:3)PDQXDOO\(cid:3)SHUIRUP DFWLYLWLHV(cid:3)WKDW(cid:3)6$&66(cid:3)VKRXOG(cid:3)KDYH(cid:3)DXWRPDWHG(cid:17) (cid:20)(cid:24) &RPPXQLFDWLRQV(cid:3)%HWZHHQ(cid:3)&RXQWLHV DQG(cid:3)2WKHU(cid:3)*RYHUQPHQW(cid:3)$JHQFLHV ’LG(cid:3)1RW(cid:3):RUN(cid:3)3URSHUO\ /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)SURGXFH(cid:3)IRU(cid:3)6$&66(cid:3)IXQFWLRQLQJ(cid:3)LQWHUIDFHV(cid:15)(cid:3)RU FRPPXQLFDWLRQ(cid:3)FRPSRQHQWV(cid:15)(cid:3)WKDW(cid:3)KHOS(cid:3)FRXQWLHV(cid:3)ORFDWH(cid:3)DEVHQW SDUHQWV(cid:3) DQG(cid:3) LQWHUFHSW(cid:3) LQFRPH(cid:3) IRU(cid:3) GHOLQTXHQW(cid:3) FKLOG(cid:3) VXSSRUW SD\PHQWV(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) RULJLQDO(cid:3) V\VWHP(cid:3) GHVLJQ(cid:15)(cid:3) FRXQW\ XVHUV(cid:3)ZHUH(cid:3)WR(cid:3) UHO\(cid:3)RQ(cid:3)WKHVH(cid:3) LQWHUIDFHV(cid:3) WR(cid:3) FRPPXQLFDWH(cid:3) ZLWK RWKHU(cid:3) FRXQWLHV(cid:3) DQG(cid:3) JRYHUQPHQW(cid:3) DJHQFLHV(cid:15)(cid:3) VXFK(cid:3) DV(cid:3) WKH (PSOR\PHQW(cid:3)’HYHORSPHQW(cid:3)’HSDUWPHQW(cid:3)DQG(cid:3)WKH(cid:3))UDQFKLVH(cid:3)7D[ %RDUG(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)/RFNKHHG“V(cid:3)IDLOHG(cid:3)HIIRUWV(cid:3)WR(cid:3)GHYHORS(cid:3)WKHVH LQWHUIDFHV(cid:3)UHWXUQHG(cid:3)WKH(cid:3)FRXQWLHV(cid:3)WR(cid:3)WKHLU(cid:3)IRUPHU(cid:3)SURFHVVHV(cid:3)IRU ORFDWLQJ(cid:3)DEVHQW(cid:3)SDUHQWV(cid:17) 7UDGLWLRQDOO\(cid:15)(cid:3)ILQGLQJ(cid:3)SDUHQWV(cid:3)ZKR(cid:3)RZH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)DQG(cid:3)PRYH IURP(cid:3)FRXQW\(cid:3)WR(cid:3)FRXQW\(cid:3)KDV(cid:3)EHHQ(cid:3)D(cid:3)ODERULRXV(cid:3)HIIRUW(cid:3)IRU(cid:3)FRXQWLHV(cid:17) 7KH(cid:3)FUHDWLRQ(cid:3)RI(cid:3)LQWHUIDFHV(cid:3)ZDV(cid:3)VXSSRVHG(cid:3)WR(cid:3)KHOS(cid:3)FRXQWLHV(cid:3)VSHHG WKLV(cid:3)ORFDWLRQ(cid:3)SURFHVV(cid:17) 3UREOHPV(cid:3)ZLWK(cid:3)WKH(cid:3)LQWHUIDFHV(cid:3)EHJDQ(cid:3)WR(cid:3)VXUIDFH(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) 6WDWH“V(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW 7KH(cid:3)4$(cid:3)FRQWUDFWRU GRFXPHQWDWLRQ(cid:3) IRU(cid:3) WKH(cid:3) LQWHUIDFHV(cid:3) GLG(cid:3) QRW(cid:3) SURYLGH(cid:3) VXIILFLHQW UHSRUWHG(cid:3)RQ(cid:3)VHYHUDO GHWDLO(cid:17)(cid:3)(cid:3),Q(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)QRWHG(cid:3)WKDW(cid:15)(cid:3)GXULQJ RFFDVLRQV(cid:3)WKDW WHVWLQJ(cid:15)(cid:3)VRPH(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)LQWHUIDFHV(cid:3)GLG(cid:3)QRW(cid:3)ZRUN(cid:3)FRUUHFWO\(cid:3)DQG 6$&66(cid:3)LQWHUIDFHV(cid:15)(cid:3)RU KDG(cid:3) XQUHVROYHG(cid:3) GHIHFWV(cid:17)(cid:3) (cid:3) 0RUHRYHU(cid:15)(cid:3) /RFNKHHG(cid:3) KDG(cid:3) QRW(cid:3) \HW FRPPXQLFDWLRQ FRQVWUXFWHG(cid:3)RWKHU(cid:3)UHTXLUHG(cid:3)LQWHUIDFHV(cid:17)(cid:3)(cid:3)$JDLQ(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15) FRPSRQHQWV(cid:15)(cid:3)GLG(cid:3)QRW WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)VHYHUDO(cid:3)LQWHUIDFHV(cid:3)VWLOO(cid:3)GLG(cid:3)QRW ZRUN(cid:15)(cid:3)KDG(cid:3)XQUHVROYHG ZRUN(cid:3)SURSHUO\(cid:3)DQG(cid:3)ZHUH(cid:3)KDPSHULQJ(cid:3)GD\(cid:16)WR(cid:16)GD\(cid:3)RSHUDWLRQV(cid:3)IRU GHIHFWV(cid:15)(cid:3)RU(cid:3)KDG(cid:3)\HW(cid:3)WR(cid:3)EH FRXQWLHV(cid:3)XVLQJ(cid:3)6$&66(cid:17) GHYHORSHG(cid:17) )XUWKHUPRUH(cid:15)(cid:3)LQ(cid:3)LWV(cid:3)SURSRVDO(cid:3)IRU(cid:3)6$&66(cid:15)(cid:3)/RFNKHHG(cid:3)KDG(cid:3)DVVXUHG IXOO(cid:3) FRPSDWLELOLW\(cid:3) EHWZHHQ(cid:3) 6$&66(cid:3) DQG(cid:3) /RV(cid:3) $QJHOHV(cid:3) &RXQW\“V (cid:11)/RV(cid:3)$QJHOHV(cid:12)(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7R(cid:3)DFFRPSOLVK WKLV(cid:3)FRPSDWLELOLW\(cid:15)(cid:3)/RFNKHHG(cid:3)SURPLVHG(cid:3)WR(cid:3)HVWDEOLVK(cid:3)DQ(cid:3)LQWHUIDFH WKDW(cid:3)ZRXOG(cid:3)OLQN(cid:3)/RV(cid:3)$QJHOHV(cid:3)ZLWK(cid:3)6$&66(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)7KLV(cid:3)SURPLVH DSSHDUHG(cid:3) UHDVRQDEOH(cid:3) EHFDXVH(cid:3) /RFNKHHG(cid:3) GHYHORSHG(cid:3) WKH /RV(cid:3)$QJHOHV(cid:3)V\VWHP(cid:17) +RZHYHU(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)KDG(cid:3)UDLVHG(cid:3)TXHVWLRQV(cid:3)DV(cid:3)HDUO\(cid:3)DV (cid:20)(cid:28)(cid:28)(cid:22)(cid:3)DERXW(cid:3)WKH(cid:3)DELOLW\(cid:3)WR(cid:3)DFFHVV(cid:3)GDWD(cid:3)WKURXJK(cid:3)WKH(cid:3)/RV(cid:3)$QJHOHV LQWHUIDFH(cid:17)(cid:3) (cid:3) $W(cid:3) WKH(cid:3) WHUPLQDWLRQ(cid:3) RI(cid:3) WKH(cid:3) /RFNKHHG(cid:3) FRQWUDFW(cid:3) LQ 1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)/RV(cid:3)$QJHOHV(cid:3)LQWHUIDFH(cid:3)ZDV(cid:3)QRW(cid:3)FRPSOHWHG(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) LQWHUIDFH(cid:3) EHWZHHQ(cid:3) WKH(cid:3) FRXQWLHV(cid:3) DQG(cid:3) WKH /RV(cid:3) $QJHOHV(cid:3) V\VWHP(cid:3) VWLOO(cid:3) H[SHULHQFHG(cid:3) SUREOHPV(cid:15)(cid:3) LQFOXGLQJ GXSOLFDWH(cid:3) FDVHV(cid:3) DQG(cid:3) RYHUQLJKW(cid:3) EDWFK(cid:3) SURFHVVLQJ(cid:3) SUREOHPV(cid:17) ’XSOLFDWH(cid:3)FDVHV(cid:3)FDQ(cid:3)UHVXOW(cid:3)LQ(cid:3)XQUHOLDEOH(cid:3)GDWD(cid:3)IRU(cid:3)FRXQW\(cid:3)XVHUV(cid:15) ZKLOH(cid:3)QLJKWO\(cid:3)EDWFK(cid:3)SURFHVVLQJ(cid:3)SUREOHPV(cid:3)FDQ(cid:3)SUHYHQW(cid:3)FRXQW\ XVHUV(cid:3) IURP(cid:3) DFFHVVLQJ(cid:3) 6$&66(cid:3) XQWLO(cid:3) WKH(cid:3) EDWFK(cid:3) SURFHVVLQJ(cid:3) LV FRPSOHWH(cid:17) (cid:20)(cid:25) 6$&66nV(cid:3)3RRU(cid:3)3HUIRUPDQFH 5DLVHG(cid:3)4XHVWLRQV(cid:3)$ERXW(cid:3),WV 6FDODELOLW\(cid:3)LQ(cid:3)/DUJH(cid:3)&RXQWLHV &RXOG(cid:3) 6$&66(cid:3) RSHUDWH(cid:3) LQ(cid:3) &DOLIRUQLD“V(cid:3) ODUJHVW(cid:3) FRXQWLHV" 4XHVWLRQV(cid:3) UHJDUGLQJ(cid:3) WKH(cid:3) FRPSXWHU(cid:3) SURJUDP“V(cid:3) SRRU(cid:3) V\VWHP SHUIRUPDQFH(cid:3) DQG(cid:3) VFDODELOLW\(cid:3) OLQJHUHG(cid:3) XQWLO(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG /RFNKHHG(cid:3) WHUPLQDWHG(cid:3) WKHLU(cid:3) FRQWUDFW(cid:17)(cid:3) (cid:3) 7KH(cid:3) WHUP(cid:3) §V\VWHP SHUIRUPDQFH¤(cid:3) GHVFULEHV(cid:3) KRZ(cid:3) ZHOO(cid:3) 6$&66(cid:3) RSHUDWHG(cid:3) XQGHU(cid:3) D SUHGHWHUPLQHG(cid:3) VHW(cid:3) RI(cid:3) FULWHULD(cid:3) HVWDEOLVKHG(cid:3) E\(cid:3) WKH(cid:3) 6WDWH(cid:17)(cid:3) (cid:3) )RU H[DPSOH(cid:15)(cid:3)WKH(cid:3)V\VWHP(cid:3)KDG(cid:3)WR(cid:3)SURFHVV(cid:3)(cid:27)(cid:19)(cid:3)SHUFHQW(cid:3)RI(cid:3)WUDQVDFWLRQV LQ(cid:3) WZR(cid:3) VHFRQGV(cid:3) RU(cid:3) OHVV(cid:17)(cid:3) (cid:3) §6FDODELOLW\¤(cid:3) UHIHUV(cid:3) WR(cid:3) ZKHWKHU(cid:3) WKH V\VWHP(cid:3)LV(cid:3)ELJ(cid:3)HQRXJK(cid:3)WR(cid:3)RSHUDWH(cid:3)LQ(cid:3)&DOLIRUQLD“V(cid:3)ODUJHVW(cid:3)FRXQWLHV DV(cid:3) ZHOO(cid:3) DV(cid:3) VWDWHZLGH(cid:17)(cid:3) (cid:3) 6HYHUDO(cid:3) IDFWRUV(cid:3) PXVW(cid:3) EH(cid:3) DQDO\]HG(cid:3) WR GHWHUPLQH(cid:3)LI(cid:3)WKH(cid:3)VRIWZDUH(cid:3)ZLOO(cid:3)PHHW(cid:3)HVWDEOLVKHG(cid:3)SHUIRUPDQFH(cid:3)DQG VFDODELOLW\(cid:3)FULWHULD(cid:15)(cid:3)LQFOXGLQJ(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)WKH(cid:3)DPRXQW(cid:3)RI(cid:3)GDWD SURFHVVHG(cid:3) E\(cid:3) WKH(cid:3) V\VWHP(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) VL]H(cid:3) RU(cid:3) FDSDFLW\(cid:3) RI(cid:3) WKH FRPSXWHU(cid:3)HTXLSPHQW(cid:17) ,Q(cid:3) )HEUXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) WKH(cid:3) 6WDWH“V(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG SUREOHPV(cid:3)ZLWK(cid:3)V\VWHP(cid:3)SHUIRUPDQFH(cid:15)(cid:3)VXFK(cid:3)DV(cid:3)6$&66“V(cid:3)IDLOXUH(cid:3)WR SURFHVV(cid:3)GDWD(cid:3)LQ(cid:3)WKH(cid:3)UHTXLUHG(cid:3)DPRXQW(cid:3)RI(cid:3)WLPH(cid:17)(cid:3)(cid:3)6$&66(cid:3)FRXOG(cid:3)QRW FRPSOHWH(cid:3) EDWFK(cid:3) SURFHVVLQJ(cid:3) LQ(cid:3) 9HQWXUD(cid:3) &RXQW\(cid:3) ZLWKLQ(cid:3) WKH RYHUQLJKW(cid:3) WLPH(cid:3) IUDPHV(cid:17)(cid:3) (cid:3) $V(cid:3) D(cid:3) UHVXOW(cid:15)(cid:3) HPSOR\HHV(cid:3) LQ(cid:3) 9HQWXUD &RXQW\(cid:3)FRXOG(cid:3)QRW(cid:3)DFFHVV(cid:3)6$&66(cid:3)XQWLO(cid:3)LW(cid:3)FRPSOHWHG(cid:3)WKH(cid:3)EDWFK SURFHVVLQJ(cid:15)(cid:3) ZKLFK(cid:3) LV(cid:3) WKH(cid:3) XVH(cid:3) RI(cid:3) FRPSXWHU(cid:3) SURJUDPV(cid:3) WR DXWRPDWLFDOO\(cid:3) SHUIRUP(cid:3) DFWLYLWLHV(cid:3) WKDW(cid:3) GR(cid:3) QRW(cid:3) UHTXLUH(cid:3) XVHU LQWHUYHQWLRQ(cid:17)(cid:3)(cid:3))RU(cid:3)LQVWDQFH(cid:15)(cid:3)HDFK(cid:3)QLJKW(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP VXPPDUL]HV(cid:3)DOO(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)GLVEXUVHPHQWV(cid:3)DQG(cid:3)FROOHFWLRQV(cid:3)DQG WKHQ(cid:3)SRVWV(cid:3)WKHP(cid:3)WR(cid:3)WKH(cid:3)DFFRXQWLQJ(cid:3)UHFRUGV(cid:17)(cid:3)(cid:3)%\(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)QRWHG(cid:3)WKDW(cid:3)6$&66(cid:3)GLG(cid:3)VKRZ(cid:3)DQ(cid:3)LPSURYHPHQW(cid:3)LQ V\VWHP(cid:3) SHUIRUPDQFH(cid:3) EXW(cid:3) VWLOO(cid:3) UHPDLQHG(cid:3) XQDFFHSWDEO\(cid:3) VORZ LQ(cid:3)VHYHUDO(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)$W(cid:3)RQH(cid:3)SRLQW(cid:15)(cid:3)6$&66(cid:3)WRRN(cid:3)EHWZHHQ(cid:3)VL[(cid:3)DQG HLJKW(cid:3)KRXUV(cid:3)WR(cid:3)SULQW(cid:3)RQH(cid:3)IRUP(cid:17) 7KLV(cid:3)W\SH(cid:3)RI(cid:3)SHUIRUPDQFH(cid:3)SUREOHP(cid:3)UDLVHG(cid:3)D(cid:3)KRVW(cid:3)RI(cid:3)TXHVWLRQV DQG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)WKH(cid:3)IHDVLELOLW\(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)WKH ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:3) H[SUHVVHG(cid:3) WKH(cid:3) FRQFHUQ(cid:3) WKDW(cid:3) 6$&66(cid:3) PD\ QRW(cid:3) PHHW(cid:3) V\VWHP(cid:3) SHUIRUPDQFH(cid:3) UHTXLUHPHQWV(cid:3) VSHFLILHG(cid:3) LQ(cid:3) WKH 6WDWH“V(cid:3)UHTXHVW(cid:3)IRU(cid:3)SURSRVDOV(cid:17)(cid:3)(cid:3)2QH(cid:3)PHWKRG(cid:3)RI(cid:3)VROYLQJ(cid:3)V\VWHP SHUIRUPDQFH(cid:3)SUREOHPV(cid:3)LV(cid:3)WR(cid:3)EX\(cid:3)IDVWHU(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:3)DQG KRSH(cid:3)WKH(cid:3)LQFUHDVHG(cid:3)SURFHVVLQJ(cid:3)SRZHU(cid:3)HOLPLQDWHV(cid:3)WKH(cid:3)SUREOHP(cid:17) 7KH(cid:3)IDVWHVW(cid:3)FRPSXWHU 7KLV(cid:3) VWUDWHJ\(cid:3) ZRUNV(cid:3) IRU(cid:3) PDQ\(cid:3) SUREOHPV(cid:3) DQG(cid:3) FDQ(cid:3) EH(cid:3) PRUH HTXLSPHQW(cid:3)DYDLODEOH(cid:3)PD\ FRVW(cid:16)HIIHFWLYH(cid:3)WKDQ(cid:3)UHGHVLJQLQJ(cid:3)WKH(cid:3)V\VWHP“V(cid:3)VRIWZDUH(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH QRW(cid:3)KDYH(cid:3)EHHQ(cid:3)DEOH(cid:3)WR DQG(cid:3) /RFNKHHG(cid:3) HIIHFWLYHO\(cid:3) XVHG(cid:3) WKLV(cid:3) WHFKQLTXH(cid:3) LQ(cid:3) 6LVNL\RX RSHUDWH(cid:3)6$&66(cid:3)LQ &RXQW\(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) SRRU(cid:3) V\VWHP(cid:3) SHUIRUPDQFH(cid:3) FDQ(cid:3) EHFRPH &DOLIRUQLD“V(cid:3)ODUJHVW D(cid:3) VFDODELOLW\(cid:3) SUREOHP(cid:3) IRU(cid:3) FRXQWLHV(cid:3) PXFK(cid:3) ODUJHU(cid:3) WKDQ FRXQWLHV(cid:17) 6LVNL\RX(cid:17)(cid:3)(cid:3)7KH(cid:3)IDVWHVW(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:3)DYDLODEOH(cid:3)PD\(cid:3)QRW KDYH(cid:3) EHHQ(cid:3) HQRXJK(cid:3) WR(cid:3) RSHUDWH(cid:3) 6$&66(cid:3) LQ(cid:3) FRXQWLHV(cid:3) DV(cid:3) ODUJH DV(cid:3) 6DQ(cid:3) ’LHJR(cid:3) DQG(cid:3) 6DQ(cid:3) %HUQDUGLQR(cid:17)(cid:3) (cid:3) )RU(cid:3) LQVWDQFH(cid:15)(cid:3) 9HQWXUD (cid:20)(cid:26) &RXQW\(cid:15)(cid:3)ZLWK(cid:3)DSSUR[LPDWHO\(cid:3)(cid:22)(cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)FDVHV(cid:15)(cid:3)KDG SUREOHPV(cid:3)ZLWK(cid:3)EDWFK(cid:3)SURFHVVLQJ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6DQ(cid:3)’LHJR(cid:3)&RXQW\(cid:15) DV(cid:3)RI(cid:3)-XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)KDG(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:20)(cid:27)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)FKLOG(cid:3)VXSSRUW FDVHV(cid:15)(cid:3) RU(cid:3) DSSUR[LPDWHO\(cid:3) ILYH(cid:3) WLPHV(cid:3) WKH(cid:3) QXPEHU(cid:3) RI(cid:3) FDVHV(cid:3) LQ 9HQWXUD(cid:3)&RXQW\(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)/RFNKHHG(cid:3)KDV(cid:3)DVVHUWHG(cid:3)WKDW(cid:3)6$&66“V VRIWZDUH(cid:3) IHDWXUHV(cid:3)DUH(cid:3) ZLWKLQ(cid:3) WKH(cid:3) WHFKQLFDO(cid:3) FDSDELOLWLHV(cid:3) RI(cid:3) WKH 6$&66(cid:3)HTXLSPHQW(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)/RFNKHHG KDG(cid:3) QRW(cid:3) SURYLGHG(cid:3) DQ\(cid:3) GDWD(cid:3) WKDW(cid:3) VKRZHG(cid:3) WKH(cid:3) V\VWHP(cid:3) FRXOG IXQFWLRQ(cid:3)LQ(cid:3)D(cid:3)ODUJH(cid:3)FRXQW\(cid:3)OLNH(cid:3)6DQ(cid:3)’LHJR(cid:17) ’HILFLHQFLHV(cid:3)$SSHDUHG(cid:3)’XULQJ /RFNKHHGnV(cid:3)7HVWLQJ(cid:3)DQG ,QVWDOODWLRQ(cid:3)RI(cid:3)WKH(cid:3)6\VWHP /RFNKHHG“V(cid:3)IDLOXUH(cid:3)WR(cid:3)GHOLYHU(cid:3)RQ(cid:3)LWV(cid:3)SURPLVHV(cid:3)IRU(cid:3)D(cid:3)VWDWHZLGH DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:3)ZDV(cid:3)QRW(cid:3)OLPLWHG(cid:3)WR GHILFLHQFLHV(cid:3) LQ(cid:3) LWV(cid:3) SURMHFW(cid:3) WHDP(cid:3) DQG(cid:3) GHVLJQ(cid:3) RI(cid:3) WKH(cid:3) V\VWHP(cid:17) ’HILFLHQFLHV(cid:3) DSSHDUHG(cid:3) DJDLQ(cid:3) LQ(cid:3) WKH(cid:3) WHVWLQJ(cid:3) DQG(cid:3) LQVWDOODWLRQ SKDVHV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)DQG(cid:3)IXUWKHU(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI 6$&66(cid:3)DQG(cid:3)WKH(cid:3)ORVV(cid:3)RI(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:3)LQ(cid:3)WD[SD\HU(cid:3)PRQH\(cid:17) ’XULQJ(cid:3)WKH(cid:3)WHVWLQJ(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:15)(cid:3)/RFNKHHG(cid:3)DQG WKH(cid:3)6WDWH(cid:3)SXW(cid:3)WKH(cid:3)VRIWZDUH(cid:3)FUHDWHG(cid:3)LQ(cid:3)WKH(cid:3)GHVLJQ(cid:3)VWDJH(cid:3)WKURXJK(cid:3)D VHULHV(cid:3) RI(cid:3) WHVWV(cid:3) WR(cid:3) YHULI\(cid:3) ZKHWKHU(cid:3) WKH(cid:3) FRPSXWHU(cid:3) SURJUDP /RFNKHHG“V(cid:3)IDLOXUHV RSHUDWHG(cid:3)SURSHUO\(cid:17)(cid:3)(cid:3)7KHVH(cid:3)WHVWV(cid:3)DUH(cid:3)FDOOHG(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)DQG VXUIDFHG(cid:3)LQ(cid:3)WKH(cid:3)WHVWLQJ XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)6\VWHP(cid:3)WHVWLQJ(cid:3)HYDOXDWHV(cid:3)WKH(cid:3)FRPSXWHU DQG(cid:3)LQVWDOODWLRQ(cid:3)SKDVHV(cid:15) SURJUDP(cid:3) DQG(cid:3) YHULILHV(cid:3) WKDW(cid:3) LW(cid:3) LV(cid:3) RSHUDWLQJ(cid:3) DFFRUGLQJ(cid:3) WR(cid:3) LWV IXUWKHU(cid:3)FRQWULEXWLQJ LQWHQGHG(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)$IWHU(cid:3)SDVVLQJ(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:15)(cid:3)WKH(cid:3)FRPSXWHU WR(cid:3)WKH(cid:3)ORVV(cid:3)RI(cid:3)PLOOLRQV SURJUDP(cid:3)JRHV(cid:3)WKURXJK(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:15)(cid:3)ZKLFK(cid:3)FRQILUPV RI(cid:3)WD[SD\HU(cid:3)GROODUV(cid:17) WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)PHHWV(cid:3)WKH(cid:3)EXVLQHVV(cid:3)QHHGV(cid:3)RI(cid:3)WKH(cid:3)XVHUV(cid:17)(cid:3)(cid:3)7KXV(cid:15)(cid:3)IRU 6$&66(cid:15)(cid:3)LQVWDOODWLRQ(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:3)VKRXOG(cid:3)KDYH RFFXUUHG(cid:3) RQO\(cid:3) DIWHU(cid:3) WKH(cid:3) 6$&66(cid:3) VRIWZDUH(cid:3) KDG(cid:3) VXFFHVVIXOO\ FRPSOHWHG(cid:3)ERWK(cid:3)W\SHV(cid:3)RI(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)/RFNKHHG(cid:3)LQVWDOOHG 6$&66(cid:3)LQ(cid:3)(cid:21)(cid:22)(cid:3)FRXQWLHV(cid:3)GHVSLWH(cid:3)WKH(cid:3)IROORZLQJ(cid:3)ZDUQLQJV(cid:29) • 7KH(cid:3) 6WDWH“V(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) FULWLFL]HG(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:3) IRU 6$&66(cid:17) • 6$&66(cid:3)GLG(cid:3)QRW(cid:3)PHHW(cid:3)DOO(cid:3)IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)UHTXLUHPHQWV(cid:3)IRU(cid:3)DQ DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDP(cid:17) • 7KH(cid:3)V\VWHP(cid:3)IDLOHG(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) (cid:20)(cid:27) 7KH(cid:3)4XDOLW\(cid:3)$VVXUDQFH(cid:3)&RQWUDFWRU &ULWLFL]HG(cid:3)/RFNKHHGnV(cid:3)6\VWHP(cid:3)7HVWLQJ /RFNKHHG(cid:3) EHJDQ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:3) LQ(cid:3) 2FWREHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:17)(cid:3) (cid:3) ,Q 0DUFK(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) /RFNKHHG(cid:3) QRWLILHG(cid:3) WKH(cid:3) 6WDWH(cid:3) WKDW(cid:3) WKH(cid:3) 6$&66 FRPSXWHU(cid:3)SURJUDP(cid:3)ZDV(cid:3)UHDG\(cid:3)DQG(cid:3)DYDLODEOH(cid:3)IRU(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:17) +RZHYHU(cid:15)(cid:3)LQ(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)FULWLFL]HG ERWK(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)DQG(cid:3)WKH(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)SHUIRUPHG(cid:3)E\ /RFNKHHG(cid:17)(cid:3)(cid:3),Q(cid:3)VKRUW(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)6$&66(cid:3)ZDV QRW(cid:3)UHDG\(cid:3)IRU(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) YRLFHG(cid:3) VHULRXV(cid:3) FRQFHUQV DERXW(cid:3) WKH(cid:3) LQVWDELOLW\(cid:3) RI(cid:3) 6$&66(cid:3) DQG(cid:3) WKH(cid:3) LQVXIILFLHQW(cid:3) OHYHO(cid:3) RI WHVWLQJ(cid:3)DQG(cid:3)GRFXPHQWDWLRQ(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)KDG(cid:3)SURYLGHG(cid:17)(cid:3)(cid:3)7KH 4$(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) WHVWHG(cid:3) DQ(cid:3) LQFRPSOHWH DSSOLFDWLRQ(cid:3) WKDW(cid:3) SUHFOXGHG(cid:3) H[DPLQLQJ(cid:3) FHUWDLQ(cid:3) IXQFWLRQV ’HVSLWH(cid:3)WKH(cid:3)4$ RI(cid:3) WKH(cid:3) V\VWHP(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15)(cid:3) /RFNKHHG(cid:3) KDG(cid:3) QRW(cid:3) \HW(cid:3) IXOO\ FRQWUDFWRU“V(cid:3)ZDUQLQJV(cid:15) GHYHORSHG(cid:3)WKH(cid:3)LQWHUIDFHV(cid:15)(cid:3)RU(cid:3)FRPSRQHQWV(cid:3)WKDW(cid:3)DOORZ(cid:3)6$&66(cid:3)WR /RFNKHHG(cid:3)DQG(cid:3)WKH(cid:3)6WDWH FRPPXQLFDWH(cid:3) ZLWK(cid:3) RWKHU(cid:3) FRXQWLHV(cid:3) DQG(cid:3) VWDWH(cid:3) DJHQFLHV(cid:15) GLG(cid:3)QRW(cid:3)UHWHVW(cid:3)WKH(cid:3)V\VWHP DQG(cid:3)WKHUHIRUH(cid:3)/RFNKHHG(cid:3)FRXOG(cid:3)QRW(cid:3)WHVW(cid:3)WKHVH(cid:3)IXQFWLRQV(cid:17)(cid:3)(cid:3)7KH EHFDXVH(cid:3)WKH\(cid:3)ZHUH(cid:3)WU\LQJ 4$(cid:3) FRQWUDFWRU(cid:3) UHFRPPHQGHG(cid:3) UXQQLQJ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:3) DJDLQ WR(cid:3)PHHW(cid:3)WKH(cid:3)IHGHUDO EHIRUH(cid:3)PRYLQJ(cid:3)WR(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)ZKLFK(cid:3)ZDV(cid:3)XVHU GHDGOLQH(cid:17) DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)/RFNKHHG(cid:3)DQG(cid:3)WKH(cid:3)6WDWH(cid:3)GHFLGHG DJDLQVW(cid:3)UHUXQQLQJ(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)EHFDXVH(cid:3)WKH\(cid:3)ZHUH(cid:3)WU\LQJ(cid:3)WR PHHW(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:17) /RFNKHHGnV(cid:3)6\VWHP(cid:3)’LG(cid:3)1RW(cid:3)0HHW )HGHUDO(cid:3)DQG(cid:3)6WDWH(cid:3)5HTXLUHPHQWV %HFDXVH(cid:3)6$&66(cid:3)KDG(cid:3)SRRU(cid:3)UHVXOWV(cid:3)IURP(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:15)(cid:3)WKH(cid:3)6WDWH GLUHFWHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)SHUIRUP(cid:3)UHTXLUHPHQWV(cid:3)YDOLGDWLRQ(cid:3)WHVWLQJ(cid:3)WR GHPRQVWUDWH(cid:3)WKDW(cid:3)6$&66(cid:3)PHW(cid:3)DOO(cid:3)IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)UHTXLUHPHQWV(cid:17) 0HHWLQJ(cid:3) WKH(cid:3) IHGHUDO(cid:3) UHTXLUHPHQWV(cid:3) ZDV(cid:3) HVSHFLDOO\(cid:3) LPSRUWDQW EHFDXVH(cid:3)LI(cid:3)6$&66(cid:3)IDLOHG(cid:3)WR(cid:3)SDVV(cid:3)HYHQ(cid:3)RQH(cid:3)RI(cid:3)WKHVH(cid:3)UHTXLUHPHQWV(cid:15) WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3) ZRXOG(cid:3) QRW(cid:3) FHUWLI\(cid:3) 6$&66(cid:3) DQG(cid:3) ZRXOG FRQVLGHU(cid:3)WKH(cid:3)6WDWH(cid:3)QRQFRPSOLDQW(cid:17)(cid:3)(cid:3)7KLV(cid:3)ZRXOG(cid:3)VXEMHFW(cid:3)WKH(cid:3)6WDWH WR(cid:3)ORVV(cid:3)RI(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)IRU(cid:3)ERWK(cid:3)WKH(cid:3)ZHOIDUH(cid:3)DQG(cid:3)WKH(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDPV(cid:17) $FFRUGLQJ(cid:3) WR(cid:3) RXU(cid:3) UHYLHZ(cid:15)(cid:3) 6$&66(cid:3) IDLOHG(cid:3) /RFNKHHG“V(cid:3) RZQ UHTXLUHPHQWV(cid:3) YDOLGDWLRQ(cid:3) WHVWLQJ(cid:3) DQG(cid:3) GLG(cid:3) QRW(cid:3) PHHW(cid:3) DOO(cid:3) RI WKH(cid:3) SUHVFULEHG(cid:3) IHGHUDO(cid:3) DQG(cid:3) VWDWH(cid:3) UHTXLUHPHQWV(cid:17)(cid:3) (cid:3) )XUWKHU(cid:15)(cid:3) LQ 6HSWHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3) WKH(cid:3) IHGHUDO(cid:3) 2IILFH(cid:3) RI(cid:3) &KLOG(cid:3) 6XSSRUW (QIRUFHPHQW(cid:3) (cid:11)2&6((cid:12)(cid:3) FRQFOXGHG(cid:3) WKDW(cid:3) 6$&66(cid:3) GLG(cid:3) QRW(cid:3) PHHW VHYHUDO(cid:3)IXQFWLRQDO(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)7KHQ(cid:15)(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)VXUYH\HG(cid:3)QLQH(cid:3)FRXQWLHV(cid:3)DQG(cid:3)DOVR(cid:3)GHWHUPLQHG WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)GLG(cid:3)QRW(cid:3)PHHW(cid:3)DOO(cid:3)IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)UHTXLUHPHQWV(cid:17) (cid:20)(cid:28) 6$&66(cid:3))DLOHG(cid:3)8VHU $FFHSWDQFH(cid:3)7HVWLQJ ,Q(cid:3) DGGLWLRQ(cid:3) WR(cid:3) GHOLYHULQJ(cid:3) D(cid:3) V\VWHP(cid:3) WKDW(cid:3) H[KLELWHG(cid:3) PDMRU GHILFLHQFLHV(cid:3)GXULQJ(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)DQG(cid:3)WKDW(cid:3)IDLOHG(cid:3)UHTXLUHPHQWV YDOLGDWLRQ(cid:3) WHVWLQJ(cid:15)(cid:3) /RFNKHHG“V(cid:3) FRPSXWHU(cid:3) SURJUDP(cid:3) DOVR(cid:3) IDLOHG XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)6XFK(cid:3)WHVWLQJ(cid:3)FRQILUPV(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP PHHWV(cid:3) WKH(cid:3) UHTXLUHPHQWV(cid:3) RI(cid:3) WKH(cid:3) LQGLYLGXDOV(cid:3) ZKR(cid:3) ZLOO(cid:3) XVH(cid:3) WKH VRIWZDUH(cid:17) 7KH(cid:3)6WDWH(cid:3)FKDQJHG(cid:3)LWV(cid:3)SODQ(cid:3)IRU(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)EHFDXVH WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:3) ZDV(cid:3) EHKLQG(cid:3) VFKHGXOH(cid:3) DQG(cid:3) EHFDXVH(cid:3) WKH FRPSXWHU(cid:3) V\VWHP(cid:3) GLVSOD\HG(cid:3) SUREOHPV(cid:3) GXULQJ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:17) 7KH(cid:3) QHZ(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVW(cid:3) SODQ(cid:3) IRFXVHG(cid:3) RQ(cid:3) WHVWLQJ(cid:3) WKH V\VWHP“V(cid:3)UHTXLUHG(cid:3)EXVLQHVV(cid:3)IXQFWLRQV(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH(cid:3)SODQ“V VXFFHVVIXO(cid:3) FRPSOHWLRQ(cid:3) FULWHULD(cid:3) GLG(cid:3) QRW(cid:3) DOORZ(cid:3) DQ\(cid:3) XQUHVROYHG FULWLFDO(cid:3) GHIHFWV(cid:15)(cid:3) ZKLFK(cid:3) SUHYHQW(cid:3) WKH(cid:3) SURFHVVLQJ(cid:3) RU(cid:3) VWRUDJH(cid:3) RI LQIRUPDWLRQ(cid:15)(cid:3)RU(cid:3)UHVXOW(cid:3)LQ(cid:3)IDXOW\(cid:3)GDWD(cid:17) /RFNKHHG(cid:3) SURYLGHG(cid:3) WHVWLQJ(cid:3) VXSSRUW(cid:3) IRU(cid:3) WKH(cid:3) 6WDWH(cid:3) IURP(cid:3) $SULO WKURXJK(cid:3)6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)HYDOXDWHG(cid:3)WKH UHVXOWV(cid:3)RI(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)DQG(cid:3)UHSRUWHG(cid:3)(cid:23)(cid:23)(cid:3)XQUHVROYHG 7KH(cid:3)4$(cid:3)FRQWUDFWRU FULWLFDO(cid:3)GHIHFWV(cid:3)LQ(cid:3)6$&66(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DOVR(cid:3)UHSRUWHG(cid:3)WKDW UHSRUWHG(cid:3)(cid:23)(cid:23)(cid:3)XQUHVROYHG PDQ\(cid:3) GHIHFWV(cid:3) HQFRXQWHUHG(cid:3) GXULQJ(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ FULWLFDO(cid:3)GHIHFWV(cid:3)GXULQJ UHVXOWHG(cid:3) IURP(cid:3) GHIHFWV(cid:3) LQ(cid:3) WKH(cid:3) V\VWHP(cid:3) WKDW(cid:3) VKRXOG(cid:3) KDYH(cid:3) EHHQ XVHU(cid:3)DFFHSWDQFH XQFRYHUHG(cid:3)GXULQJ(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU WHVWLQJ(cid:17) FRPPHQWHG(cid:3) WKDW(cid:3) WKH(cid:3) ODUJH(cid:3) QXPEHU(cid:3) RI(cid:3) GHIHFWV(cid:3) HQFRXQWHUHG GXULQJ(cid:3)WHVWLQJ(cid:3)QHJDWLYHO\(cid:3)DIIHFWHG(cid:3)WHVWLQJ(cid:3)SURJUHVV(cid:15)(cid:3)WKH(cid:3)UHOLDELOLW\ RI(cid:3)WHVW(cid:3)UHVXOWV(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)DELOLW\(cid:3)RI(cid:3)WKH(cid:3)WHVW(cid:3)WHDP(cid:3)WR(cid:3)VDWLVIDFWRULO\ HYDOXDWH(cid:3) WKH(cid:3) LQWHJULW\(cid:3) RI(cid:3) 6$&66(cid:3) DV(cid:3) D(cid:3) XVDEOH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)WRRO(cid:17) /RFNKHHG(cid:3),QVWDOOHG(cid:3)D ’HIHFWLYH(cid:3)&RPSXWHU(cid:3)6\VWHP /RFNKHHG(cid:3)LQVWDOOHG(cid:3)6$&66(cid:3)LQ(cid:3)WKH(cid:3)ILUVW(cid:3)JURXS(cid:3)RI(cid:3)VHYHQ(cid:3)FRXQWLHV GHVSLWH(cid:3)WKH(cid:3)VRIWZDUH“V(cid:3)SRRU(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)UHVXOWV(cid:15)(cid:3)XQPHW(cid:3)IHGHUDO DQG(cid:3) VWDWH(cid:3) UHTXLUHPHQWV(cid:15)(cid:3) IDLOHG(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ(cid:15)(cid:3) DQG QXPHURXV(cid:3)FULWLFDO(cid:3)HUURUV(cid:3)LQ(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15) WKH(cid:3) FRXQWLHV(cid:3) UHFHLYHG(cid:3) D(cid:3) GHIHFWLYH(cid:3) V\VWHP(cid:3) WKDW(cid:3) GLG(cid:3) QRW VDWLVIDFWRULO\(cid:3)PHHW(cid:3)WKHLU(cid:3)EXVLQHVV(cid:3)QHHGV(cid:17) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) /RFNKHHG GHFLGHG(cid:3) MRLQWO\(cid:3) WR(cid:3) PRYH(cid:3) WKH(cid:3) SURMHFW(cid:3) IRUZDUG(cid:3) DQG(cid:3) EHJLQ LQVWDOODWLRQ(cid:3) RI(cid:3) 6$&66(cid:3) LQ(cid:3) WKH(cid:3) SLORW(cid:3) FRXQWLHV(cid:3) HYHQ(cid:3) WKRXJK XQUHVROYHG(cid:3)GHIHFWV(cid:3)VWLOO(cid:3)H[LVWHG(cid:17)(cid:3)(cid:3)7KH(cid:3)UDWLRQDOH(cid:3)IRU(cid:3)WKLV(cid:3)GHFLVLRQ IRFXVHG(cid:3) SULPDULO\(cid:3) RQ(cid:3) WKH(cid:3) IDVW(cid:16)DSSURDFKLQJ(cid:3) IHGHUDO(cid:3) GHDGOLQH DQG(cid:3) WKH(cid:3) EHOLHI(cid:3) WKDW(cid:3) 6$&66“V(cid:3) H[LVWLQJ(cid:3) GHIHFWV(cid:3) ZRXOG(cid:3) QRW (cid:21)(cid:19) VXEVWDQWLDOO\(cid:3) DIIHFW(cid:3) WKH(cid:3) RSHUDWLRQV(cid:3) RI(cid:3) WKH(cid:3) SLORW(cid:3) FRXQWLHV(cid:17) $GGLWLRQDOO\(cid:15)(cid:3) /RFNKHHG(cid:3) DQG(cid:3) WKH(cid:3) 6WDWH(cid:3) DJUHHG(cid:3) WR(cid:3) SURYLGH(cid:3) D §WLJHU(cid:3) WHDP¤(cid:3) RI(cid:3) KLJKO\(cid:3) WUDLQHG(cid:3) /RFNKHHG(cid:3) SHUVRQQHO(cid:3) WR(cid:3) DVVLVW WKH(cid:3) FRXQWLHV(cid:3) GXULQJ(cid:3) WKH(cid:3) ILUVW(cid:3) WZR(cid:3) ZHHNV(cid:3) RI(cid:3) RSHUDWLRQV(cid:17) 0RUHRYHU(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3) DQG(cid:3) /RFNKHHG(cid:3) EHOLHYHG(cid:3)LW(cid:3) ZDV(cid:3)EHWWHU(cid:3)WR LQVWDOO(cid:3)6$&66(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:3)DQG(cid:3)NHHS(cid:3)SUREOHPV(cid:3)XQGHU(cid:3)FRQWURO RQ(cid:16)VLWH(cid:3)UDWKHU(cid:3)WKDQ(cid:3)WR(cid:3)ZDLW(cid:3)DQG(cid:3)IL[(cid:3)DGGLWLRQDO(cid:3)GHIHFWV(cid:17) 8QIRUWXQDWHO\(cid:15)(cid:3)WKLV(cid:3)GHFLVLRQ(cid:3)SODFHG(cid:3)D(cid:3)VLJQLILFDQW(cid:3)EXUGHQ(cid:3)RQ(cid:3)WKH XVHUV(cid:3)DQG(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SUREDELOLW\(cid:3)RI(cid:3)V\VWHP(cid:3)IDLOXUH(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH PD\(cid:3)KDYH(cid:3)SUHYHQWHG(cid:3)IXWXUH(cid:3)SUREOHPV(cid:3)E\(cid:3)LQVLVWLQJ(cid:3)WKDW(cid:3)/RFNKHHG FRUUHFW(cid:3)WKH(cid:3)QXPHURXV(cid:3)GHILFLHQFLHV(cid:3)GRFXPHQWHG(cid:3)GXULQJ(cid:3)V\VWHP DQG(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)EHIRUH(cid:3)WKH(cid:3)ILUVW(cid:3)FRXQW\(cid:3)EHJDQ(cid:3)WR(cid:3)XVH 6$&66(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:17) %HFDXVH(cid:3)RI(cid:3)WKH(cid:3)GHIHFWV(cid:3)LQ(cid:3)6$&66(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)WZLFH(cid:3)VXVSHQGHG LQVWDOODWLRQ(cid:3) RI(cid:3) WKH(cid:3) FRPSXWHU(cid:3) SURJUDP(cid:3) LQ(cid:3) WKH(cid:3) FRXQWLHV(cid:17) ,PPHGLDWHO\(cid:3)DIWHU(cid:3)WKH(cid:3)ILUVW(cid:3)JURXS(cid:3)RI(cid:3)VHYHQ(cid:3)VPDOO(cid:3)FRXQWLHV(cid:3)KDG 6$&66(cid:3)LQVWDOOHG(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)FRXQWLHV(cid:3)GHFLGHG(cid:3)WR(cid:3)VWRS(cid:3)IXUWKHU LQVWDOODWLRQ(cid:3) DQG(cid:3) XQGHUJR(cid:3) DQ(cid:3) DVVHVVPHQW(cid:3) SHULRG(cid:17)(cid:3) (cid:3) 3UREOHPV FDXVLQJ(cid:3)WKH(cid:3)DVVHVVPHQW(cid:3)LQFOXGHG(cid:3)LQFRPSOHWH(cid:3)RU(cid:3)QRQIXQFWLRQDO IRUPV(cid:3) DQG(cid:3) XQUHOLDEOH(cid:3) GDWD(cid:17)(cid:3) (cid:3) ’XULQJ(cid:3) WKLV(cid:3) DVVHVVPHQW(cid:3) SHULRG(cid:15) /RFNKHHG(cid:3)GHYHORSHG(cid:3)LWV(cid:3)ILUVW(cid:3)FRUUHFWLYH(cid:3)DFWLRQ(cid:3)SODQ(cid:17)(cid:3)(cid:3)7KLV(cid:3)SODQ ZDV(cid:3)/RFNKHHG“V(cid:3)DWWHPSW(cid:3)WR(cid:3)FRUUHFW(cid:3)WKH(cid:3)GHIHFWV(cid:3)DQG(cid:3)SUREOHPV %HFDXVH(cid:3)RI(cid:3)QXPHURXV FXUUHQWO\(cid:3) H[LVWLQJ(cid:3) LQ(cid:3) WKH(cid:3) 6$&66(cid:3) VRIWZDUH(cid:3) XVHG(cid:3) E\(cid:3) WKH(cid:3) SLORW GHIHFWV(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)WZLFH FRXQWLHV(cid:17)(cid:3)(cid:3):LWK(cid:3)DVVXUDQFH(cid:3)IURP(cid:3)/RFNKHHG(cid:3)WKDW(cid:3)LW(cid:3)ZRXOG(cid:3)FRUUHFW VXVSHQGHG(cid:3)LQVWDOODWLRQ DOO(cid:3)RI(cid:3)WKH(cid:3)XQUHVROYHG(cid:3)SUREOHPV(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)GHFLGHG(cid:3)WR(cid:3)FRQWLQXH RI(cid:3)6$&66(cid:3)LQ(cid:3)WKH LQVWDOODWLRQ(cid:3)LQ(cid:3)RWKHU(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)$QRWKHU(cid:3)(cid:20)(cid:25)(cid:3)FRXQWLHV(cid:3)EHJDQ(cid:3)XVLQJ FRXQWLHVƒXOWLPDWHO\(cid:15) 6$&66(cid:3)EHIRUH(cid:3)WKH(cid:3)6WDWH(cid:3)VXVSHQGHG(cid:3)LQVWDOODWLRQ(cid:3)DJDLQ(cid:17)(cid:3)(cid:3)’XULQJ (cid:24)(cid:3)RI(cid:3)WKH(cid:3)(cid:21)(cid:22)(cid:3)FRXQWLHV WKLV(cid:3)VHFRQG(cid:3)DVVHVVPHQW(cid:3)SHULRG(cid:15)(cid:3)/RFNKHHG(cid:3)GHYHORSHG(cid:3)D(cid:3)VHFRQG XVLQJ(cid:3)6$&66(cid:3)WXUQHG(cid:3)LW(cid:3)RII(cid:17) FRUUHFWLYH(cid:3)DFWLRQ(cid:3)SODQ(cid:3)WR(cid:3)DGGUHVV(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)NQRZQ(cid:3)GHILFLHQFLHV(cid:17) +RZHYHU(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) UHMHFWHG(cid:3) WKLV(cid:3) SODQ(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) FRPSXWHU SURJUDP(cid:3)KDV(cid:3)QRW(cid:3)EHHQ(cid:3)LQVWDOOHG(cid:3)LQ(cid:3)WKH(cid:3)UHPDLQLQJ(cid:3)FRXQWLHV(cid:17) 7KH(cid:3) ILQDO(cid:3) LQGLFDWLRQ(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) IDLOHG(cid:3) WR(cid:3) LQVWDOO(cid:3) 6$&66 VXFFHVVIXOO\(cid:3)ZDV(cid:3)WKDW(cid:3)(cid:24)(cid:3)RI(cid:3)(cid:21)(cid:22)(cid:13)(cid:3)FRXQWLHV(cid:3)WKDW(cid:3)DFWXDOO\(cid:3)XVHG(cid:3)WKH V\VWHP(cid:3) FKRVH(cid:3) WR(cid:3) WXUQ(cid:3) LW(cid:3) RII(cid:3) DQG(cid:3) VWRS(cid:3) XVLQJ(cid:3) LW(cid:3) DV(cid:3) WKHLU(cid:3) FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)WRRO(cid:17)(cid:3)(cid:3)$(cid:3)PHHWLQJ(cid:3)KHOG(cid:3)E\(cid:3)WKHVH(cid:3)FRXQWLHV LQGLFDWHG(cid:3) WKDW(cid:3) WKH(cid:3) FULWLFDO(cid:3) SUREOHPV(cid:3) LQ(cid:3) 6$&66(cid:3) KDYH(cid:3) KDG(cid:3) D VLJQLILFDQW(cid:15)(cid:3)QHJDWLYH(cid:3)LPSDFW(cid:3)RQ(cid:3)WKH(cid:3)FRXQWLHV“(cid:3)SHUIRUPDQFH(cid:3)LQ(cid:3)WKH FKLOG(cid:3)VXSSRUW(cid:3)DUHD(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKHVH(cid:3)FRXQWLHV(cid:3)FRQFOXGHG(cid:3)WKDW WKH(cid:3) LQFRQVLVWHQW(cid:3) SHUIRUPDQFH(cid:3) RI(cid:3) 6$&66(cid:3) VHULRXVO\(cid:3) HURGHG(cid:3) WKH FRQILGHQFH(cid:3) RI(cid:3) WKHLU(cid:3) HPSOR\HHV(cid:15)(cid:3) ZKR(cid:3) FDQQRW(cid:3) UHO\(cid:3) RQ WKH(cid:3)V\VWHP“V(cid:3)DFFXUDF\(cid:17) (cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3)(cid:3) (cid:13) 7KH(cid:3)(cid:21)(cid:22)(cid:3)FRXQWLHV(cid:3)WKDW(cid:3)KDG(cid:3)6$&66(cid:3)LQVWDOOHG(cid:3)ZHUH(cid:29)(cid:3)(cid:3)$OSLQH(cid:15)(cid:3)$PDGRU(cid:15)(cid:3)&ROXVD(cid:15)(cid:3)’HO(cid:3)1RUWH(cid:15) *OHQQ(cid:15)(cid:3),Q\R(cid:15)(cid:3)/DNH(cid:15)(cid:3)/DVVHQ(cid:15)(cid:3)0DULSRVD(cid:15)(cid:3)0HQGRFLQR(cid:15)(cid:3)0RGRF(cid:15)(cid:3)0RQR(cid:15)(cid:3)1DSD(cid:15)(cid:3)3ODFHU(cid:15)(cid:3)3OXPDV(cid:15) 6DQ(cid:3)%HQLWR(cid:15)(cid:3)6DQ(cid:3))UDQFLVFR(cid:15)(cid:3)6DQ(cid:3)/XLV(cid:3)2ELVSR(cid:15)(cid:3)6KDVWD(cid:15)(cid:3)6LHUUD(cid:15)(cid:3)6LVNL\RX(cid:15)(cid:3)7ULQLW\(cid:15)(cid:3)DQG(cid:3)9HQWXUD(cid:17) (cid:21)(cid:20) 0RUHRYHU(cid:15)(cid:3) 6$&66“V(cid:3) IDLOXUH(cid:3) KDV(cid:3) FDXVHG(cid:3) QHJDWLYH(cid:3) ILQDQFLDO LPSOLFDWLRQV(cid:3)IRU(cid:3)PDQ\(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)&RXQWLHV(cid:3)KDYH(cid:3)LQFXUUHG(cid:3)FRVWV DVVRFLDWHG(cid:3) ZLWK(cid:3) WUDLQLQJ(cid:3) H[SHQVHV(cid:3) IRU(cid:3) 6$&66(cid:15)(cid:3) GHIHUUHG LPSURYHPHQWV(cid:3)WR(cid:3)WKH(cid:3)V\VWHP(cid:15)(cid:3)GDWD(cid:3)FRQYHUVLRQ(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)ORVV(cid:3)RI FKLOG(cid:3)VXSSRUW(cid:3)FROOHFWLRQV(cid:17)(cid:3)(cid:3)0DQ\(cid:3)FRXQWLHV(cid:3)VSHQW(cid:3)VHYHUDO(cid:3)PLOOLRQ GROODUV(cid:3)HDFK(cid:3)WR(cid:3)SUHSDUH(cid:3)IRU(cid:3)D(cid:3)V\VWHP(cid:3)WKDW(cid:3)WKH\(cid:3)QHYHU(cid:3)UHFHLYHG(cid:3)RU WKDW(cid:3)GRHV(cid:3)QRW(cid:3)ZRUN(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15)(cid:3)RQH(cid:3)FRXQW\(cid:3)WKDW(cid:3)GLG(cid:3)QRW(cid:3)HYHQ LPSOHPHQW(cid:3)6$&66(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)LW(cid:3)VSHQW(cid:3)DERXW(cid:3)(cid:7)(cid:26)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)WR UHQRYDWH(cid:3)LWV(cid:3)EXLOGLQJ(cid:3)WR(cid:3)SUHSDUH(cid:3)IRU(cid:3)LQVWDOODWLRQ(cid:3)RI(cid:3)WKH(cid:3)SURJUDP(cid:17) $QRWKHU(cid:3) FRXQW\(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) LQRSHUDEOH(cid:3) FRPSRQHQWV(cid:3) LQ(cid:3) WKH V\VWHP(cid:3)SUHYHQWHG(cid:3)FDVHZRUNHUV(cid:3)IURP(cid:3)HIIHFWLYHO\(cid:3)SHUIRUPLQJ(cid:3)WKHLU FKLOG(cid:3) VXSSRUW(cid:3) DFWLYLWLHV(cid:15)(cid:3) FRVWLQJ(cid:3) WKH(cid:3) FRXQW\(cid:3) DQ(cid:3) HVWLPDWHG (cid:7)(cid:21)(cid:3) PLOOLRQ(cid:3) LQ(cid:3) XQFROOHFWHG(cid:3) FKLOG(cid:3) VXSSRUW(cid:17)(cid:3) (cid:3) 2QH(cid:3) FRXQW\(cid:3) DOVR LQGLFDWHG(cid:3)LW(cid:3)VSHQW(cid:3)DERXW(cid:3)(cid:7)(cid:25)(cid:24)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)WKDW(cid:3)LW(cid:3)QHYHU(cid:3)XVHG(cid:17) )LQDOO\(cid:15)(cid:3)WKH(cid:3)LPSDFW(cid:3)RQ(cid:3)WKH(cid:3)FRXQWLHV(cid:3)RI(cid:3)6$&66“V(cid:3)IDLOXUH(cid:3)LQYROYHG PRUH(cid:3)WKDQ(cid:3)ILQDQFLDO(cid:3)FRVWV(cid:3)DQG(cid:3)ORVVHV(cid:17)(cid:3)(cid:3)2QH(cid:3)FRXQW\(cid:3)WKDW(cid:3)XVHG 6$&66(cid:3)DQG(cid:3)WKHQ(cid:3)WXUQHG(cid:3)LW(cid:3)RII(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)GHIHFWV FRUUXSWHG(cid:3) GDWD(cid:3)VR(cid:3)EDGO\(cid:3) WKDW(cid:3) HPSOR\HHV(cid:3) DUH(cid:3) VWLOO(cid:3) GLVFRYHULQJ WKH(cid:3)HUURUV(cid:3)WRGD\(cid:17)(cid:3)(cid:3)7KLV(cid:3)VDPH(cid:3)FRXQW\(cid:3)ZHQW(cid:3)RQ(cid:3)WR(cid:3)LQGLFDWH(cid:3)WKDW(cid:3)WKH SUREOHPV(cid:3)ZLWK(cid:3)6$&66(cid:3)KDG(cid:3)D(cid:3) GHYDVWDWLQJ(cid:3) HIIHFW(cid:3) RQ(cid:3) HPSOR\HH PRUDOH(cid:3)DQG(cid:3)DQJHUHG(cid:3)WKH(cid:3)SXEOLF(cid:17) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)3URYLGH ’HOLYHUDEOHV(cid:3)3URPLVHG ,Q(cid:3) DGGLWLRQ(cid:3) WR(cid:3) GHYHORSLQJ(cid:3) D(cid:3) FRPSXWHU(cid:3) V\VWHP(cid:3) WKDW(cid:3) H[KLELWHG IODZV(cid:3)GXULQJ(cid:3)WHVWLQJ(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)IXUQLVK(cid:3)WKH(cid:3)6WDWH(cid:3)ZLWK(cid:3)WKH TXDOLW\(cid:3)RI(cid:3)GHOLYHUDEOHV(cid:3)UHTXLUHG(cid:3)E\(cid:3)LWV(cid:3)FRQWUDFWXDO(cid:3)REOLJDWLRQV(cid:17) /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)D(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)WKDW(cid:3)XVHUV(cid:3)FRXOG HDVLO\(cid:3)XQGHUVWDQG(cid:15)(cid:3)QRU(cid:3)GLG(cid:3)LW(cid:3)VXSSO\(cid:3)XVHIXO(cid:15)(cid:3)HIIHFWLYH(cid:3)WUDLQLQJ(cid:17)(cid:3)(cid:3),Q DGGLWLRQ(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)GHOLYHU(cid:3)FRPSOHWH(cid:15)(cid:3)WLPHO\(cid:3)SURJUHVV UHSRUWV(cid:15)(cid:3) ULVN(cid:3) DQDO\VLV(cid:3) SURFHGXUHV(cid:15)(cid:3) DQG(cid:3) GLVDVWHU(cid:3) UHFRYHU\ SURFHGXUHV(cid:17) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)’HOLYHU D(cid:3)8VHU(cid:16))ULHQGO\(cid:3)6\VWHP &RXQWLHV(cid:3)VXUYH\HG 7KH(cid:3)6WDWH“V(cid:3)UHTXHVW(cid:3)IRU(cid:3)SURSRVDOV(cid:3)(cid:11)5)3(cid:12)(cid:3)VWDWHV(cid:3)WKDW(cid:3)WKH(cid:3)FRPSXWHU LQGLFDWHG(cid:3)WKDW(cid:3)6$&66 V\VWHP(cid:3)PXVW(cid:3)EH(cid:3)HDV\(cid:3)WR(cid:3)XVH(cid:15)(cid:3)LQWXLWLYH(cid:15)(cid:3)DQG(cid:3)FRQVLVWHQW(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU GHFUHDVHG(cid:3)SURGXFWLYLW\(cid:3)XS ZRUGV(cid:15)(cid:3)6$&66(cid:3)PXVW(cid:3)EH(cid:3)§XVHU(cid:16)IULHQGO\(cid:17)¤(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR WR(cid:3)(cid:24)(cid:19)(cid:3)SHUFHQW(cid:3)LQ(cid:3)VRPH WKH(cid:3)6WDWH(cid:3)DQG(cid:3) LWV(cid:3) ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:15)(cid:3) /RFNKHHG(cid:3) GLG(cid:3)QRW(cid:3) VXSSO\ DUHDV(cid:3)ZKLOH(cid:3)SURGXFLQJ VXFK(cid:3)D(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7KH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)6$&66(cid:3)LV(cid:3)QRW IHZ(cid:3)LPSURYHPHQWV(cid:3)LQ HDV\(cid:3) WR(cid:3) XVH(cid:3) DQG(cid:3) WKDW(cid:3) WKH(cid:3) QXPEHU(cid:3) DQG(cid:3) FRPSOH[LW\(cid:3) RI RWKHUV(cid:17) VFUHHQV(cid:3) LV(cid:3) GDXQWLQJ(cid:3) WR(cid:3) QHZ(cid:3) XVHUV(cid:17)(cid:3) (cid:3) $GGLWLRQDOO\(cid:15)(cid:3) WKH(cid:3) ,9(cid:9)9 FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)LV(cid:3)QRW(cid:3)LQWXLWLYH(cid:15)(cid:3)DQG(cid:3)XVHU GRFXPHQWDWLRQ(cid:3)DQG(cid:3)WUDLQLQJ(cid:3)KDYH(cid:3)SURYHQ(cid:3)LQDGHTXDWH(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15) (cid:21)(cid:21) FRXQWLHV(cid:3)VXUYH\HG(cid:3)E\(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)WKH(cid:3)XVH RI(cid:3)6$&66(cid:3)UHVXOWHG(cid:3)LQ(cid:3)GHFUHDVHG(cid:3)SURGXFWLYLW\ƒXS(cid:3)WR(cid:3)(cid:24)(cid:19)(cid:3)SHUFHQW LQ(cid:3)VRPH(cid:3) DUHDVƒZKLOH(cid:3) SURGXFLQJ(cid:3) IHZ(cid:3) LPSURYHPHQWV(cid:3) LQ(cid:3) RWKHU DUHDV(cid:17)(cid:3)(cid:3)7KH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)FRQFOXGHG(cid:3)WKDW(cid:3)WKH(cid:3)GLIILFXOW\(cid:3)RI XVLQJ(cid:3)6$&66(cid:3)KDV(cid:3)EHHQ(cid:3)WKH(cid:3)PDMRU(cid:3)KXUGOH(cid:3)WR(cid:3)FRXQWLHV“(cid:3)DFFHSWDQFH RI(cid:3)WKH(cid:3)V\VWHP(cid:17) 7KH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)XVHUV(cid:3)DFFHVV(cid:3)WKH(cid:3)V\VWHP(cid:3)IURP GHVNWRS(cid:3) SHUVRQDO(cid:3) FRPSXWHUV(cid:3) XVLQJ(cid:3) D(cid:3) VFUHHQ(cid:3) WKDW(cid:3) LV(cid:3) QRW(cid:3) D JUDSKLFDOO\(cid:3)ULFK(cid:3)RU(cid:3)LQWXLWLYH(cid:3)VFUHHQ(cid:3)WKDW(cid:3)W\SLILHV(cid:3)PRGHUQ(cid:3)GHVNWRS VRIWZDUH(cid:17)(cid:3) (cid:3) $GGLWLRQDOO\(cid:15)(cid:3) DFFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRU(cid:15) 6$&66(cid:3)UHTXLUHV(cid:3)XVHUV(cid:3)WR(cid:3)QDYLJDWH(cid:3)WKURXJK(cid:3)D(cid:3)FRPSOH[(cid:3)VHULHV(cid:3)RI VFUHHQV(cid:3)DQG(cid:3)WR(cid:3)FRQVWDQWO\(cid:3)VZLWFK(cid:3)WR(cid:3) GLIIHUHQW(cid:3) VFUHHQV(cid:3) WR(cid:3) ILQG URXWLQH(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)EDVHG(cid:3)RQ(cid:3)LWV(cid:3)VXUYH\(cid:3)RI(cid:3)6$&66 XVHUV(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)KHOS(cid:3)LQIRUPDWLRQ(cid:3)LV(cid:3)QRW RULHQWHG(cid:3)WR(cid:3)WKH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURFHVV(cid:17)(cid:3)(cid:3)7KH(cid:3),9(cid:9)9 FRQWUDFWRU(cid:3) FRQFOXGHG(cid:3) WKDW(cid:3) WKH(cid:3) V\VWHP“V(cid:3) FRPSOH[LW\(cid:3) DGYHUVHO\ DIIHFWV(cid:3)XVHU(cid:3)SURGXFWLYLW\(cid:3)EHFDXVH(cid:3)WKH(cid:3)V\VWHP(cid:3)UHOLHV(cid:3)RQ(cid:3)D(cid:3)FRPSOH[ VHW(cid:3)RI(cid:3)UXOHV(cid:15)(cid:3)FRPPDQGV(cid:15)(cid:3)DQG(cid:3)VFUHHQ(cid:3)QDPHV(cid:3)WKDW(cid:3)WKH(cid:3)XVHU(cid:3)PXVW FRPPLW(cid:3)WR(cid:3)PHPRU\(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:15)(cid:3)/RFNKHHG“V LQFRQVLVWHQW(cid:3) XVH(cid:3) RI(cid:3) IXQFWLRQ(cid:3) NH\V(cid:3) DOVR(cid:3) FRQWULEXWHG(cid:3) WR(cid:3) WKH FRPSOH[LW\(cid:3) RI(cid:3) WKH(cid:3) V\VWHP(cid:3) DQG(cid:3) DGYHUVHO\(cid:3) DIIHFWHG(cid:3) XVHU SURGXFWLYLW\(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:15)(cid:3)WKLV(cid:3)FRPSOH[LW\ KDV(cid:3)UHVXOWHG(cid:3)LQ(cid:3)ORZ(cid:3)SURGXFWLYLW\(cid:15)(cid:3)KLJK(cid:3)WUDLQLQJ(cid:3)GHPDQGV(cid:15)(cid:3)DQG VWDII(cid:3)IUXVWUDWLRQ(cid:3)DQG(cid:3)WXUQRYHU(cid:17) /RFNKHHG(cid:3)DVVHUWV(cid:3)WKDW(cid:3)WKH(cid:3)ZD\(cid:3)LQ(cid:3)ZKLFK(cid:3)WKH(cid:3)XVHU(cid:3)LQWHUDFWV(cid:3)ZLWK WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)DQG(cid:3)LWV(cid:3)VFUHHQV(cid:3)FRPSOLHV(cid:3)ZLWK(cid:3)WKH(cid:3)5)3“V IXQFWLRQDO(cid:3)UHTXLUHPHQWV(cid:15)(cid:3)DV(cid:3)HYLGHQFHG(cid:3)E\(cid:3)WKH(cid:3)6WDWH“V(cid:3)DSSURYDO RI(cid:3) WKH(cid:3) JHQHUDO(cid:3) DQG(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQV(cid:3) DQG(cid:3) XVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)/RFNKHHG(cid:3)FRQWHQGV(cid:3)WKDW(cid:3)LWV XVH(cid:3) RI(cid:3) WKH(cid:3) WUDQVIHU(cid:3) V\VWHP(cid:3) DV(cid:3) D(cid:3) VWDUWLQJ(cid:3) EDVHOLQH(cid:3) VDWLVILHG WKH(cid:3) LQWHQW(cid:3) RI(cid:3) WKH(cid:3) 5)3“V(cid:3) UHTXLUHPHQWV(cid:15)(cid:3) DQG(cid:3) WKDW(cid:3) PRVW RI(cid:3)WKH(cid:3)SURGXFWLYLW\(cid:3)LPSURYHPHQWV(cid:3)QHHGHG(cid:3)E\(cid:3)WKH(cid:3)FRXQWLHV(cid:3)DUH 6$&66(cid:3)HQKDQFHPHQWV(cid:17) +RZHYHU(cid:15)(cid:3) /RFNKHHG“V(cid:3) SRVLWLRQ(cid:3) GRHV(cid:3) QRW(cid:3) FRLQFLGH(cid:3) ZLWK(cid:3) WKH 6WDWH“V(cid:3) DQG(cid:3) FRXQWLHV“(cid:3) LQWHUSUHWDWLRQ(cid:3) RI(cid:3) WKH(cid:3) 5)3“V(cid:3) IXQFWLRQDO UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)7KH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FRQWULEXWHG(cid:3)WR WKLV(cid:3)GLVDJUHHPHQW(cid:3)E\(cid:3)QRW(cid:3)FOHDUO\(cid:3)GHILQLQJ(cid:3)LQ(cid:3)PHDVXUDEOH(cid:3)WHUPV(cid:15) D(cid:3)XVHU(cid:16)IULHQGO\(cid:15)(cid:3)LQWXLWLYH(cid:3)V\VWHP(cid:3)LQ(cid:3)WKH(cid:3)5)3(cid:17)(cid:3)(cid:3)5HJDUGOHVV(cid:15)(cid:3)EDVHG XSRQ(cid:3)WKH(cid:3)QXPEHU(cid:3)RI(cid:3)VFUHHQV(cid:3)DQG(cid:3)LQFRQVLVWHQW(cid:3)XVH(cid:3)RI(cid:3)IXQFWLRQ NH\V(cid:3)LQ(cid:3)WKH(cid:3)6$&66(cid:3)V\VWHP(cid:3)DV(cid:3)ZHOO(cid:3)DV(cid:3)WKH(cid:3)FRPPHQWV(cid:3)E\(cid:3)WKH(cid:3),9(cid:9)9 FRQWUDFWRU(cid:3)DQG(cid:3)WKH(cid:3)FRXQWLHV(cid:15)(cid:3)LW(cid:3)LV(cid:3)FOHDU(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW SURYLGH(cid:3)D(cid:3)XVHU(cid:16)IULHQGO\(cid:15)(cid:3)LQWXLWLYH(cid:3)V\VWHP(cid:17) (cid:21)(cid:22) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)3URYLGH $GHTXDWH(cid:3)6$&66(cid:3)7UDLQLQJ 7KH(cid:3)6WDWH(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:21)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)WR(cid:3)WUDLQ 6$&66(cid:3)XVHUV(cid:15)(cid:3)EXW(cid:3)/RFNKHHG(cid:3)VXSSOLHG(cid:3)LQFRPSOHWH(cid:3)WUDLQLQJ(cid:15)(cid:3)DQ /RFNKHHG(cid:3)ZDV(cid:3)SDLG XQVWDEOH(cid:3)WUDLQLQJ(cid:3)HQYLURQPHQW(cid:3)GXH(cid:3)WR(cid:3)V\VWHP(cid:3)IXQFWLRQV(cid:3)WKDW(cid:3)GLG QRW(cid:3)ZRUN(cid:15)(cid:3)DQG(cid:3)LQDGHTXDWH(cid:3)WUDLQLQJ(cid:3)PDWHULDOV(cid:17)(cid:3)(cid:3)6$&66(cid:3)XVHUV(cid:3)DUH (cid:7)(cid:21)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)SURYLGLQJ WKH(cid:3)FRXQW\(cid:3)DQG(cid:3)VWDWH(cid:3)VWDII(cid:3)ZKR(cid:3)DFFHVV(cid:3)WKH(cid:3)V\VWHP(cid:3)WR(cid:3)SHUIRUP LQFRPSOHWH(cid:3)WUDLQLQJ(cid:3)DQG FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DFWLYLWLHV(cid:17)(cid:3)(cid:3)/RFNKHHG(cid:3)SURYLGHG(cid:3)SLORW SRRU(cid:3)WUDLQLQJ(cid:3)PDWHULDOV(cid:17) DQG(cid:3) LPSOHPHQWDWLRQ(cid:3) WUDLQLQJ(cid:3) FRXUVHV(cid:3) SHULRGLFDOO\(cid:3) IURP 2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:3)WKURXJK(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:30)(cid:3)KRZHYHU(cid:15)(cid:3)WKLV(cid:3)WUDLQLQJ(cid:3)GLG QRW(cid:3)SUHSDUH(cid:3)XVHUV(cid:3)WR(cid:3)RSHUDWH(cid:3)6$&66(cid:3)HIIHFWLYHO\(cid:17) $FFRUGLQJ(cid:3) WR(cid:3) RXU(cid:3) UHYLHZ(cid:15)(cid:3) WKHVH(cid:3) SUREOHPV(cid:3) RFFXUUHG(cid:3) EHFDXVH /RFNKHHG(cid:3) EHJDQ(cid:3) WUDLQLQJ(cid:3) EHIRUH(cid:3) LW(cid:3) FRPSOHWHG(cid:3) V\VWHP GHYHORSPHQW(cid:17)(cid:3) (cid:3)7KHUHIRUH(cid:15)(cid:3) /RFNKHHG“V(cid:3) WUDLQLQJ(cid:3) PDWHULDOV(cid:3) ZHUH LQFRPSOHWH(cid:3)DQG(cid:3)RXWGDWHG(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)V\VWHP(cid:3)XVHUV(cid:3)GLG(cid:3)QRW UHFHLYH(cid:3)DGHTXDWH(cid:3)SUHSDUDWLRQ(cid:3)IRU(cid:3)XVLQJ(cid:3)6$&66(cid:3)HIIHFWLYHO\(cid:15)(cid:3)DQG WKH\(cid:3)LQYHVWHG(cid:3)VWDII(cid:3)WLPH(cid:3)DQG(cid:3)UHVRXUFHV(cid:3)WR(cid:3)DWWHQG(cid:3)WUDLQLQJ(cid:3)WKDW(cid:3)KDG OLWWOH(cid:3)RU(cid:3)QR(cid:3)YDOXH(cid:17) (YHQ(cid:3) WKRXJK(cid:3) WKH(cid:3) JHQHUDO(cid:3) DQG(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQV(cid:3) KDG VLJQLILFDQW(cid:3)XQUHVROYHG(cid:3)LVVXHV(cid:15)(cid:3)/RFNKHHG(cid:3)VWDUWHG(cid:3)LWV(cid:3)SLORW(cid:3)WUDLQLQJ FRXUVHV(cid:3)LQ(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:3)DQG(cid:3)EHJDQ(cid:3)WUDLQLQJ(cid:3)XVHUV(cid:3)LQ(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17) /RFNKHHG(cid:3)KDG(cid:3)SURPLVHG(cid:3)WR(cid:3)GHYHORS(cid:3)WUDLQLQJ(cid:3)SODQV(cid:3)EDVHG(cid:3)RQ(cid:3)D JRRG(cid:3)XQGHUVWDQGLQJ(cid:3)RI(cid:3)KRZ(cid:3)6$&66(cid:3)ZRUNHG(cid:3)E\(cid:3)XVLQJ(cid:3)WKH(cid:3)JHQHUDO DQG(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV(cid:17)(cid:3)(cid:3),W(cid:3)LV(cid:3)XQFOHDU(cid:3)KRZ(cid:3)/RFNKHHG(cid:3)FRXOG KDYH(cid:3) GHYHORSHG(cid:3) FRPSOHWH(cid:3) WUDLQLQJ(cid:3) SODQV(cid:3) ZKHQ(cid:3) WKH(cid:3) GHVLJQV ZHUH(cid:3)LQFRPSOHWH(cid:17)(cid:3)(cid:3):KHQ(cid:3)ZH(cid:3)DVNHG(cid:3)KRZ(cid:3)LW(cid:3)PLJKW(cid:3)KDYH(cid:3)GRQH(cid:3)VR(cid:15) /RFNKHHG(cid:3) UHSOLHG(cid:3) WKDW(cid:3) WKH(cid:3) WUDLQLQJ(cid:3) WHDP(cid:3) XVHG(cid:3) WKH(cid:3) GUDIW GRFXPHQWV(cid:3)DYDLODEOH(cid:17) $FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:15)(cid:3)/RFNKHHG“V(cid:3)WUDLQLQJ(cid:3)FRXUVHV FRYHUHG(cid:3) OLPLWHG(cid:3) YHUVLRQV(cid:3) RI(cid:3) WKH(cid:3) V\VWHP“V(cid:3) DXWRPDWHG(cid:3) KHOS IXQFWLRQ(cid:3) DQG(cid:3) H[FOXGHG(cid:3) LPSRUWDQW(cid:3) IHDWXUHV(cid:3) WKDW(cid:3) DVVLVW(cid:3) 6$&66 XVHUV(cid:3) LQ(cid:3) SHUIRUPLQJ(cid:3) WKHLU(cid:3) GDLO\(cid:3) ZRUNORDG(cid:17)(cid:3) (cid:3) 7KHVH(cid:3) RPLWWHG IHDWXUHV(cid:3)LQFOXGHG(cid:3)EDWFK(cid:3)SURFHVVLQJ(cid:15)(cid:3)DFFHVVLQJ(cid:3)GDWD(cid:3)IURP(cid:3)RWKHU FRXQWLHV(cid:15)(cid:3)DQG(cid:3)SUHSDULQJ(cid:3)DQG(cid:3)SULQWLQJ(cid:3)DXWRPDWHG(cid:3)IRUPV(cid:17)(cid:3)(cid:3)$V(cid:3)D UHVXOW(cid:15)(cid:3)XVHUV(cid:3)ZHUH(cid:3)QRW(cid:3)WUDLQHG(cid:3)LQ(cid:3)DOO(cid:3)IXQFWLRQV(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17) 7KH(cid:3)WUDLQLQJ(cid:3)HQYLURQPHQW )XUWKHU(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)SURYLGHG ZDV(cid:3)XQVWDEOH(cid:3)EHFDXVH DQ(cid:3)XQVWDEOH(cid:3)WUDLQLQJ(cid:3)HQYLURQPHQW(cid:15)(cid:3)DQG(cid:3)WKLV(cid:3)OLPLWHG(cid:3)WKH(cid:3)WUDLQLQJ“V PDQ\(cid:3)RI(cid:3)WKH(cid:3)V\VWHP“V HIIHFWLYHQHVV(cid:17)(cid:3) (cid:3) 7UDLQLQJ(cid:3) SDUWLFLSDQWV(cid:3) VWDWHG(cid:3) WKDW(cid:3) PDQ\(cid:3) RI(cid:3) WKH IXQFWLRQV(cid:3)GLG(cid:3)QRW(cid:3)ZRUN V\VWHP“V(cid:3)IXQFWLRQV(cid:3)GLG(cid:3)QRW(cid:3)ZRUN(cid:15)(cid:3)VR(cid:3)WKH(cid:3)WUDLQHUV(cid:15)(cid:3)ZKR(cid:3)LQVWUXFWHG SURSHUO\(cid:17) SDUWLFLSDQWV(cid:3)RQ(cid:3)KRZ(cid:3)WKH(cid:3)V\VWHP(cid:3)VKRXOG(cid:3)ZRUN(cid:15)(cid:3)FRXOG(cid:3)QRW(cid:3)DOZD\V IRFXV(cid:3)RQ(cid:3)WKH(cid:3)FRUUHFW(cid:3)ZD\(cid:3)WR(cid:3)SURFHVV(cid:3)FDVHV(cid:3)DQG(cid:3)QDYLJDWH(cid:3)WKURXJK WKH(cid:3)V\VWHP(cid:17) (cid:21)(cid:23) $V(cid:3)HDUO\(cid:3)DV(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)ZDUQHG(cid:3)WKDW(cid:3)WUDLQLQJ VKRXOG(cid:3)QRW(cid:3)EHJLQ(cid:3)XQWLO(cid:3)/RFNKHHG(cid:3)HQVXUHG(cid:3)WKDW(cid:3)6$&66(cid:3)IXQFWLRQHG DFFXUDWHO\(cid:17)(cid:3)(cid:3),Q(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG WKDW(cid:3)VRPH(cid:3)V\VWHP(cid:3)IXQFWLRQV(cid:3)ZHUH(cid:3)VWLOO(cid:3)QRW(cid:3)ZRUNLQJ(cid:3)SURSHUO\(cid:17)(cid:3)(cid:3)7KH WUDLQLQJ(cid:3) SDUWLFLSDQWV(cid:3) UHSRUWHG(cid:3) VLPLODU(cid:3) FRQFHUQV(cid:3) LQ(cid:3) WKH(cid:3) FRXUVH HYDOXDWLRQV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)EDVHG(cid:3)RQ(cid:3)RXU(cid:3)VXUYH\(cid:3)RI(cid:3)FRXQWLHV(cid:3)WKDW(cid:3)KDG 6$&66(cid:3) LQVWDOOHG(cid:15)(cid:3) PDQ\(cid:3) DJDLQ(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) VRPH(cid:3) IXQFWLRQV ZHUH(cid:3) QRW(cid:3) RSHUDEOH(cid:3) DQG(cid:3) QHJDWLYHO\(cid:3) LPSDFWHG(cid:3) WKH(cid:3) TXDOLW\(cid:3) RI /RFNKHHG“V(cid:3)WUDLQLQJ(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15)(cid:3)RQH(cid:3)RI(cid:3)WKH(cid:3)FRXQWLHV(cid:3)UHVSRQGHG(cid:3)WKDW GHILFLHQFLHV(cid:3)LQ(cid:3)WUDLQLQJ(cid:3)ZHUH(cid:3)GXH(cid:3)WR(cid:3)PDOIXQFWLRQV(cid:3)LQ(cid:3)PDQ\(cid:3)DUHDV RI(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:17) )LQDOO\(cid:15)(cid:3) FRXQWLHV(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) WKH(cid:3) WUDLQLQJ(cid:3) PDQXDOV(cid:3) LJQRUHG PDQ\(cid:3)RI(cid:3)WKH(cid:3)V\VWHP“V(cid:3) VFUHHQV(cid:3) DQG(cid:3) SURFHGXUHV(cid:15)(cid:3) DQG(cid:3) WKXV(cid:3) WKH WUDLQLQJ(cid:3)PDWHULDOV(cid:3)ZHUH(cid:3)LQFRPSOHWH(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)UDSLGO\ FKDQJLQJ(cid:3)6$&66(cid:3)HQYLURQPHQW(cid:3)UHVXOWHG(cid:3)LQ(cid:3)XVHUV(cid:3)EHLQJ(cid:3)WUDLQHG(cid:3)RQ DQ(cid:3) ROGHU(cid:3) YHUVLRQ(cid:3) RI(cid:3) 6$&66(cid:17)(cid:3) (cid:3) /RFNKHHG(cid:3) GLG(cid:3) QRW(cid:3) LQFRUSRUDWH V\VWHP(cid:3)FKDQJHV(cid:3)LQWR(cid:3)WKH(cid:3)WUDLQLQJ(cid:3)PDWHULDOV(cid:3)XQWLO(cid:3)LW(cid:3)UHOHDVHG(cid:3)D PDMRU(cid:3)XSGDWH(cid:3)RI(cid:3)WKH(cid:3)FRPSXWHU(cid:3)DSSOLFDWLRQ(cid:17)(cid:3)(cid:3)7KHUHIRUH(cid:15)(cid:3)6$&66 WUDLQLQJ(cid:3)PDWHULDOV(cid:3)FRYHUHG(cid:3)WKH(cid:3)SUHYLRXV(cid:3)UDWKHU(cid:3)WKDQ(cid:3)WKH(cid:3)FXUUHQW UHOHDVH(cid:17) 7KH(cid:3)6WDWH(cid:3)’LG(cid:3)1RW(cid:3)5HFHLYH &RPSOHWH(cid:3)DQG(cid:3)7LPHO\(cid:3)3URJUHVV 5HSRUWV(cid:3))URP(cid:3)/RFNKHHG ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)SURYLGLQJ(cid:3)LQDGHTXDWH(cid:3)WUDLQLQJ(cid:15)(cid:3)/RFNKHHG(cid:3)IDLOHG(cid:3)WR GHOLYHU(cid:3)ELZHHNO\(cid:3)UHSRUWV(cid:3)DV(cid:3)UHTXLUHG(cid:17)(cid:3)(cid:3)6WDWH(cid:3)SURMHFW(cid:3)PDQDJHPHQW DOVR(cid:3) GLG(cid:3) QRW(cid:3) KDYH(cid:3) WKH(cid:3) WLPHO\(cid:3) SURMHFW(cid:3) VWDWXV(cid:3) LQIRUPDWLRQ(cid:3) LW 0DQDJHPHQW(cid:3)GLG(cid:3)QRW(cid:3)KDYH QHHGHG(cid:3) WR(cid:3) SUHYHQW(cid:3) SRWHQWLDO(cid:3) SUREOHPV(cid:3) DQG(cid:3) PLWLJDWH(cid:3) ORVVHV(cid:17) WKH(cid:3)WLPHO\(cid:3)SURMHFW(cid:3)VWDWXV 5DWKHU(cid:15)(cid:3)/RFNKHHG(cid:3)GHOLYHUHG(cid:3)PRQWKO\(cid:3)ZULWWHQ(cid:3)UHSRUWV(cid:3)WKDW(cid:3)GLG(cid:3)QRW LQIRUPDWLRQ(cid:3)LW(cid:3)QHHGHG(cid:3)WR LQFOXGH(cid:3)DOO(cid:3)UHTXLUHG(cid:3)LQIRUPDWLRQ(cid:3)DQG(cid:3)ZHUH(cid:3)FRQWLQXRXVO\(cid:3)ODWH(cid:17)(cid:3)(cid:3),Q SUHYHQW(cid:3)SRWHQWLDO LWV(cid:3) SURSRVDO(cid:15)(cid:3) /RFNKHHG(cid:3) VWDWHG(cid:3) WKDW(cid:3) ELZHHNO\(cid:3) SURJUHVV(cid:3) UHSRUWV SUREOHPV(cid:3)DQG(cid:3)PLWLJDWH ZRXOG(cid:3) LQFOXGH(cid:3) FXUUHQW(cid:3) DQG(cid:3) SODQQHG(cid:3) SURMHFW(cid:3) VFKHGXOHV(cid:15)(cid:3) VWDII DVVLJQHG(cid:3)WR(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)KRXUV(cid:3)VSHQW(cid:3)RQ(cid:3)HDFK(cid:3)WDVN(cid:15)(cid:3)DQG(cid:3)SURMHFW ORVVHV(cid:17) LVVXHV(cid:3)VWLOO(cid:3)RXWVWDQGLQJ(cid:17)(cid:3)(cid:3))RU(cid:3)DQ\(cid:3)PDMRU(cid:3)SURMHFW(cid:15)(cid:3) SURPSW(cid:3) DQG FRPSOHWH(cid:3) VWDWXV(cid:3) UHSRUWV(cid:3) DUH(cid:3) FULWLFDO(cid:3) IRU(cid:3) HIIHFWLYH(cid:3) SURMHFW PDQDJHPHQW(cid:17) ’HVSLWH(cid:3) /RFNKHHG“V(cid:3) SURPLVH(cid:15)(cid:3) LWV(cid:3) SURJUHVV(cid:3) UHSRUWV(cid:3) GLG(cid:3) QRW LQFOXGH(cid:3)VWDII(cid:3)LQIRUPDWLRQ(cid:15)(cid:3)KRXUV(cid:3)VSHQW(cid:3)E\(cid:3)VWDII(cid:3)RQ(cid:3)HDFK(cid:3)WDVN(cid:15)(cid:3)RU WKH(cid:3) VWDWXV(cid:3) RI(cid:3) SURMHFW(cid:3) DQG(cid:3) SROLF\(cid:3) LVVXHV(cid:3) RXWVWDQGLQJ(cid:15) VXFK(cid:3)DV(cid:3)LVVXHV(cid:3)UDLVHG(cid:3)E\(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3),QVWHDG(cid:15)(cid:3)WKH UHSRUWV(cid:3)SURYLGHG(cid:3)/RFNKHHG“V(cid:3)DFFRPSOLVKPHQWV(cid:3)IRU(cid:3)WKH(cid:3)FXUUHQW PRQWK(cid:3)DQG(cid:3)LWV(cid:3)SODQV(cid:3)IRU(cid:3)WKH(cid:3)IROORZLQJ(cid:3)PRQWK(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)(cid:22)(cid:19)(cid:3)RI(cid:3)WKH (cid:22)(cid:24)(cid:3)PRQWKO\(cid:3)UHSRUWV(cid:3)ZH(cid:3)UHYLHZHG(cid:3)ZHUH(cid:3)GHOLYHUHG(cid:3)DW(cid:3)OHDVW(cid:3)(cid:20)(cid:24)(cid:3)GD\V DIWHU(cid:3)WKH(cid:3)UHSRUWLQJ(cid:3)SHULRG(cid:17)(cid:3)(cid:3),Q(cid:3)RQH(cid:3)LQVWDQFH(cid:15)(cid:3)/RFNKHHG(cid:3)VXEPLWWHG LWV(cid:3) ’HFHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:3) UHSRUW(cid:3) (cid:20)(cid:19)(cid:26)(cid:3) GD\V(cid:3) DIWHU(cid:3) WKH(cid:3) HQG(cid:3) RI(cid:3) WKH UHSRUWLQJ(cid:3)SHULRG(cid:17) (cid:21)(cid:24) 7KH(cid:3)FRQWUDFW(cid:3)SURYLGHG(cid:3)(cid:7)(cid:20)(cid:21)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)/RFNKHHG(cid:3)WR(cid:3)SHUIRUP PDQDJHPHQW(cid:3) DQG(cid:3) DGPLQLVWUDWLYH(cid:3) VXSSRUW(cid:3) IXQFWLRQV(cid:15)(cid:3) SURYLGH FXVWRPHU(cid:3)FHQWHU(cid:3)VXSSRUW(cid:15)(cid:3)DQG(cid:3)SURYLGH(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:17)(cid:3)(cid:3)7KH FRQWUDFW(cid:3) GRHV(cid:3) QRW(cid:3) DOORFDWH(cid:3) D(cid:3) VSHFLILF(cid:3) DPRXQW(cid:3) RI(cid:3) PRQH\(cid:3) IRU SURJUHVV(cid:3) UHSRUWV(cid:30)(cid:3) WKHUHIRUH(cid:15)(cid:3) ZH(cid:3) FDQQRW(cid:3) GHWHUPLQH(cid:3) KRZ(cid:3) PXFK /RFNKHHG(cid:3)ZDV(cid:3)SDLG(cid:3)IRU(cid:3)WKHVH(cid:3)LQDGHTXDWH(cid:3)UHSRUWV(cid:17)(cid:3)(cid:3)1HYHUWKHOHVV(cid:15) LWV(cid:3)LQDELOLW\(cid:3)WR(cid:3)SURYLGH(cid:3)FRPSOHWH(cid:3)DQG(cid:3)SURPSW(cid:3)UHSRUWV(cid:3)LV(cid:3)LQGLFDWLYH RI(cid:3) /RFNKHHG“V(cid:3) SRRU(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) WHFKQLTXHV(cid:3) DQG DGPLQLVWUDWLRQ(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:17) /RFNKHHG(cid:3)’LG(cid:3)1RW(cid:3)*LYH(cid:3)WKH(cid:3)6WDWH 6XIILFLHQW(cid:3)5LVN(cid:3)$QDO\VLV(cid:3)DQG ’LVDVWHU(cid:3)5HFRYHU\(cid:3)3URFHGXUHV /RFNKHHG(cid:3) GLG(cid:3) QRW(cid:3) GHOLYHU(cid:3) ILQDO(cid:3) ULVN(cid:3) DQDO\VLV(cid:3) SURFHGXUHV(cid:3) DQG D(cid:3) XVHIXO(cid:3) DXWRPDWHG(cid:3) SURJUDP(cid:3) IRU(cid:3) GHYHORSLQJ(cid:3) GLVDVWHU UHFRYHU\(cid:3) SURFHGXUHV(cid:17)(cid:3) (cid:3) 5LVN(cid:3) DQDO\VLV(cid:3) SURFHGXUHV(cid:3) DVVHVV(cid:3) DQG PHDVXUH(cid:3)WKH(cid:3)V\VWHP“V(cid:3)YXOQHUDELOLW\(cid:3)WR(cid:3)ULVNV(cid:3)VXFK(cid:3)DV(cid:3)IUDXG(cid:15)(cid:3)WKHIW(cid:15) ORVV(cid:3)RI(cid:3)GDWD(cid:15)(cid:3)DQG(cid:3)KDUP(cid:3)WR(cid:3)DJHQF\(cid:3)DFWLYLWLHV(cid:17)(cid:3)(cid:3)’LVDVWHU(cid:3)UHFRYHU\ SURFHGXUHV(cid:3)SURYLGH(cid:3)D(cid:3)EDFN(cid:16)XS(cid:3)SODQ(cid:3)IRU(cid:3)UHFRYHULQJ(cid:3)V\VWHP(cid:3)GDWD DQG(cid:3) FRQWLQXLQJ(cid:3) RSHUDWLRQV(cid:3) LQ(cid:3) FDVH(cid:3) RI(cid:3) D(cid:3) GLVDVWHU(cid:17)(cid:3) (cid:3) 3URMHFW PDQDJHPHQW(cid:3)QHHGV(cid:3)WKHVH(cid:3)SURFHGXUHV(cid:3)WR(cid:3)SODQ(cid:3)IRU(cid:3)SRWHQWLDO(cid:3)ULVNV(cid:15) PLWLJDWH(cid:3)GDPDJHV(cid:15)(cid:3)DQG(cid:3)SUHSDUH(cid:3)IRU(cid:3)GLVDVWHUV(cid:3)WKDW(cid:3)FDQ(cid:3)DIIHFW(cid:3)GDLO\ RSHUDWLRQV(cid:17) ,Q(cid:3)LWV(cid:3)RULJLQDO(cid:3)SURSRVDO(cid:15)(cid:3)/RFNKHHG(cid:3)DVVXPHG(cid:3)IXOO(cid:3)UHVSRQVLELOLW\(cid:3)IRU GHYHORSLQJ(cid:3)WKH(cid:3)ULVN(cid:3)DQDO\VLV(cid:3)SURFHGXUHV(cid:3)IRU(cid:3)6$&66(cid:15)(cid:3)LQFOXGLQJ DQDO\]LQJ(cid:3) WKH(cid:3) V\VWHP“V(cid:3) GHVLJQ(cid:15)(cid:3) LGHQWLI\LQJ(cid:3) DUHDV(cid:3) WKDW(cid:3) UHTXLUH RQJRLQJ(cid:3)HYDOXDWLRQ(cid:15)(cid:3)DQG(cid:3)GHILQLQJ(cid:3)HYDOXDWLRQ(cid:3)FULWHULD(cid:17)(cid:3)(cid:3)/RFNKHHG DOVR(cid:3) SURPLVHG(cid:3) WR(cid:3) SUHSDUH(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:3) IRU DOO(cid:3) 6$&66(cid:3) IXQFWLRQV(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKH(cid:3) FHQWUDO(cid:3) VLWH(cid:15)(cid:3) FRXQW\ HTXLSPHQW(cid:15)(cid:3) FRPPXQLFDWLRQ(cid:3) QHWZRUNV(cid:15)(cid:3) GDWD(cid:15)(cid:3) DQG(cid:3) VRIWZDUH(cid:17) )XUWKHU(cid:15)(cid:3)/RFNKHHG(cid:3)SURPLVHG(cid:3)WR(cid:3)HVWDEOLVK(cid:3)FULWHULD(cid:3)IRU(cid:3)LGHQWLI\LQJ LQGLYLGXDOV(cid:3)RU(cid:3)WHDPV(cid:3)ZLWKLQ(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)FRXQW\(cid:3)RIILFHV(cid:3)ZKR ZRXOG(cid:3) EH(cid:3) UHVSRQVLEOH(cid:3) IRU(cid:3) PDQDJLQJ(cid:3) DQG(cid:3) LPSOHPHQWLQJ(cid:3) WKH GLVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:17) 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)VWDWHG /RFNKHHG(cid:3)GUDIWHG(cid:3)ULVN(cid:3)DQDO\VLV(cid:3)DQG(cid:3)GLVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:30) WKDW(cid:3)WKH(cid:3)ULVN(cid:3)DQDO\VLV KRZHYHU(cid:15)(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$(cid:3)FRQWUDFWRU“V(cid:3)DVVHVVPHQW(cid:3)UHSRUWHG(cid:3)WKDW SURFHGXUHV(cid:3)ZHUH(cid:3)QRW WKH(cid:3)ULVN(cid:3)DQDO\VLV(cid:3)SURFHGXUHV(cid:3)ZHUH(cid:3) WRR(cid:3) JHQHUDO(cid:3)DQG(cid:3) ZHUH(cid:3) QRW VSHFLILF(cid:3)WR(cid:3)6$&66(cid:3)DQG VSHFLILF(cid:3) WR(cid:3) 6$&66(cid:17)(cid:3) (cid:3) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) DOVR(cid:3) VWDWHG(cid:3) WKDW(cid:3) WKH GLVDVWHU(cid:3)UHFRYHU\ GLVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:3)DV(cid:3)GUDIWHG(cid:3)E\(cid:3)/RFNKHHG(cid:3)ZHUH(cid:3)QRW SURFHGXUHV(cid:3)ZHUH SURFHGXUHV(cid:3) IRU(cid:3) §GLVDVWHU(cid:3) UHFRYHU\(cid:15)(cid:3) EXW(cid:3) D(cid:3) PHWKRGRORJ\(cid:3) IRU FUHDWLQJ(cid:3) DQG(cid:3) PDLQWDLQLQJ(cid:3) VXFK(cid:3) D(cid:3) SODQ(cid:17)¤(cid:3) (cid:3) $V(cid:3) D(cid:3) UHVXOW(cid:15)(cid:3) WKH XQDFFHSWDEOH(cid:17) 4$(cid:3) FRQWUDFWRU(cid:3) FRQFOXGHG(cid:3) WKDW(cid:3) ERWK(cid:3) WKH(cid:3) GUDIWV(cid:3) ZHUH XQDFFHSWDEOH(cid:17) (cid:21)(cid:25) $GGLWLRQDOO\(cid:15)(cid:3)/RFNKHHG(cid:3)GLG(cid:3) QRW(cid:3) GHOLYHU(cid:3) XSGDWHG(cid:3) ULVN(cid:3) DQDO\VLV DQG(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:3) IRU(cid:3) 6$&66(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) LW SURSRVHG(cid:3)WR(cid:3)GHOLYHU(cid:3) DQ(cid:3) DXWRPDWHG(cid:3) SURJUDP(cid:3) DQG(cid:3) WR(cid:3) WUDLQ(cid:3) WKH FRXQWLHV(cid:3) IRU(cid:3) GHYHORSLQJ(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:3) XVLQJ WKH(cid:3) DXWRPDWHG(cid:3) SURJUDP(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH“V(cid:3) +HDOWK(cid:3) DQG(cid:3) :HOIDUH $JHQF\(cid:3)’DWD(cid:3)&HQWHU(cid:3)DFFHSWHG(cid:3)WKLV(cid:3)SURSRVDO(cid:15)(cid:3)DQG(cid:3)/RFNKHHG(cid:3)ODWHU GHOLYHUHG(cid:3) DQ(cid:3) DXWRPDWHG(cid:3) SURJUDP(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WKH(cid:3) SURJUDP UHTXLUHG(cid:3)D(cid:3)GLIIHUHQW(cid:3)YHUVLRQ(cid:3)RI(cid:3)VRIWZDUH(cid:3)WKDQ(cid:3)WKDW(cid:3)XVHG(cid:3)E\(cid:3)WKH FRXQWLHV(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)DOPRVW(cid:3)DOO(cid:3)FXUUHQW(cid:3)6$&66(cid:3)FRXQWLHV(cid:3)GR(cid:3)QRW KDYH(cid:3)GLVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:17) (cid:21)(cid:26) %ODQN(cid:3)SDJH(cid:3)LQVHUWHG(cid:3)IRU(cid:3)UHSURGXFWLRQ(cid:3)SXUSRVHV(cid:3)RQO\(cid:17) (cid:21)(cid:27) Chapter 2 7KH(cid:3)6WDWH(cid:3)’LG(cid:3)1RW(cid:3)+HHG(cid:3)WKH(cid:3):DUQLQJ(cid:3)6LJQV &KDSWHU(cid:3)6XPPDU\ 7 KH(cid:3) 6WDWH(cid:3) SDLG(cid:3) TXDOLW\(cid:3) DVVXUDQFH(cid:3) (cid:11)4$(cid:12)(cid:3) FRQWUDFWRUV (cid:7)(cid:22)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)LQGHSHQGHQW(cid:15)(cid:3)LPSDUWLDO(cid:3)DVVHVVPHQWV(cid:3)RI(cid:3)WKH PHWKRGV(cid:15)(cid:3)WHFKQLTXHV(cid:15)(cid:3)GHOLYHUDEOHV(cid:15)(cid:3) DQG(cid:3)SURMHFW(cid:3)SURJUHVV WKURXJKRXW(cid:3) WKH(cid:3) GHVLJQ(cid:15)(cid:3) GHYHORSPHQW(cid:15)(cid:3) DQG(cid:3) WHVW(cid:3) SKDVHV(cid:3) RI(cid:3) WKH 6WDWHZLGH(cid:3) $XWRPDWHG(cid:3) &KLOG(cid:3) 6XSSRUW(cid:3) 6\VWHP(cid:3) (cid:11)6$&66(cid:12)(cid:17) 1RQHWKHOHVV(cid:15)(cid:3) GHVSLWH(cid:3) WKH(cid:3) FRQWUDFWRUV“ UHSHDWHG(cid:3) ZDUQLQJV(cid:3) DERXW(cid:3) GHILFLHQFLHV(cid:3) LQ 1XPHURXV(cid:3)ZDUQLQJV(cid:3)E\(cid:3)WKH(cid:3)TXDOLW\(cid:3)DVVXUDQFH WKH(cid:3) VWDIILQJ(cid:3) VXSSOLHG(cid:3) E\(cid:3) /RFNKHHG FRQWUDFWRUV(cid:3)ZHQW(cid:3)XQKHHGHG(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:29) 0DUWLQ(cid:3) ,QIRUPDWLRQ(cid:3) 0DQDJHPHQW(cid:3) 6\VWHPV (cid:11)/RFNKHHG(cid:12)(cid:15)(cid:3)WKH(cid:3)WZR(cid:3)DJHQFLHV(cid:3)UHVSRQVLEOH (cid:230) $FFHSWHG(cid:3)/RFNKHHG“V(cid:3)VWDIILQJ(cid:3)FKDQJHV IRU(cid:3) WKH(cid:3) SURMHFW(cid:3) IDLOHG(cid:3) WR(cid:3) FRUUHFW(cid:3) WKH GHVSLWH(cid:3)VHYHUDO(cid:3)ZDUQLQJV(cid:3)DERXW(cid:3)WKH(cid:3)QXPEHU SUREOHPV(cid:3) DQG(cid:3) FRQWLQXHG(cid:3) WKHLU(cid:3) HIIRUWV(cid:3) WR DQG(cid:3)TXDOLW\(cid:3)RI(cid:3)VWDII(cid:17) LQVWDOO(cid:3)6$&66(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)’HSDUWPHQW RI(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) (cid:11)6RFLDO(cid:3) 6HUYLFHV(cid:12)(cid:15) (cid:230) &RQWLQXHG(cid:3)ZLWK(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ WKH(cid:3) DJHQF\(cid:3) LQLWLDOO\(cid:3) UHVSRQVLEOH(cid:3) IRU(cid:3) WKH HYHQ(cid:3)WKRXJK(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)ZDV SURMHFW(cid:15)(cid:3) SURFHHGHG(cid:3) WR(cid:3) WKH(cid:3) GHVLJQ(cid:3) SKDVHV IODZHG(cid:17) HYHQ(cid:3)WKRXJK(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRUV(cid:3)LGHQWLILHG VLJQLILFDQW(cid:3) XQUHVROYHG(cid:3) VKRUWFRPLQJV(cid:17) (cid:230) 3URFHHGHG(cid:3)WR(cid:3)WKH(cid:3)WHVWLQJ(cid:3)SKDVH(cid:3)HYHQ(cid:3)WKRXJK )XUWKHU(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) EHJDQ(cid:3) WHVWLQJ WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)ZDV(cid:3)LQFRPSOHWH(cid:17) 6$&66(cid:3) GHVSLWH(cid:3) ZDUQLQJV(cid:3) IURP(cid:3) LWV(cid:3) 4$ FRQWUDFWRU(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)ZDV(cid:3)QRW(cid:3)UHDG\ (cid:230) 3URFHHGHG(cid:3)ZLWK(cid:3)LQVWDOOLQJ(cid:3)WKH(cid:3)V\VWHP(cid:3)LQ IRU(cid:3)VXFK(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG FRXQWLHV(cid:3)HYHQ(cid:3)WKRXJK(cid:3)LW(cid:3)IDLOHG(cid:3)XVHU :HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU(cid:3)(cid:11)GDWD(cid:3)FHQWHU(cid:12)(cid:15) DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) WKH(cid:3) DJHQF\(cid:3) WKDW(cid:3) EHJDQ(cid:3) WR(cid:3) RYHUVHH(cid:3) WKH SURMHFW(cid:3) LQ(cid:3) 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) GHFLGHG(cid:3) WR(cid:3) LQVWDOO 6$&66(cid:3) GHVSLWH(cid:3) WKH(cid:3) IDLOXUH(cid:3) RI(cid:3) XVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)6WDWH(cid:3)ZDV(cid:3)WU\LQJ(cid:3)WR(cid:3)PHHW(cid:3)WKH IHGHUDO(cid:3) GHDGOLQH(cid:3) IRU(cid:3) LQVWDOODWLRQ(cid:3) RI(cid:3) DQ(cid:3) DXWRPDWHG(cid:3) V\VWHP(cid:3) IRU FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:15)(cid:3) WKH(cid:3) DJHQFLHV(cid:3) FRQWLQXHG(cid:3) WR(cid:3) PRYH WKH(cid:3)SURMHFW(cid:3)IRUZDUG(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH“V(cid:3)GHFLVLRQ(cid:3)WR(cid:3)SURFHHG(cid:3)GHVSLWH QXPHURXV(cid:3)ZDUQLQJV(cid:3)FRVW(cid:3)&DOLIRUQLDQV(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:3)IRU(cid:3)D FRPSXWHU(cid:3)V\VWHP(cid:3)WKDW(cid:3)IDLOHG(cid:17)(cid:3)(cid:3))LJXUH(cid:3)(cid:21)(cid:3)RQ(cid:3)WKH(cid:3)IROORZLQJ(cid:3)SDJHV GLVSOD\V(cid:3)VRPH(cid:3)RI(cid:3)WKH(cid:3)PRUH(cid:3)VLJQLILFDQW(cid:3)ZDUQLQJ(cid:3)VLJQV(cid:3)FRPSDUHG WR(cid:3)WKH(cid:3)DPRXQW(cid:3)RI(cid:3)PRQH\(cid:3)LQYHVWHG(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)WKH 6WDWH(cid:3)EHFDPH(cid:3)DZDUH(cid:3)RI(cid:3)WKH(cid:3)SUREOHPV(cid:17) (cid:21)(cid:28) (cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz (cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{| (cid:22)(cid:19) (cid:1)A(cid:129)`(cid:1)z(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)(cid:1)@A(cid:128)(cid:129)(cid:192)`(cid:0)(cid:1)yz(cid:0)@(cid:128)(cid:192)(cid:0)y (cid:1)(cid:3)AC(cid:129)(cid:131)`ˆ(cid:1)(cid:3)z|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:2)@B(cid:128)(cid:130)(cid:192)´(cid:0)(cid:2)y{ (cid:1)(cid:3)AC(cid:129)(cid:131)`ˆ(cid:1)(cid:3)z|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:2)@B(cid:128)(cid:130)(cid:192)´(cid:0)(cid:2)y{ (cid:1)(cid:3)AC(cid:129)(cid:131)`ˆ(cid:1)(cid:3)z|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:1)(cid:2)(cid:3)@ABC(cid:128)(cid:129)(cid:130)(cid:131)(cid:192)`´ˆ(cid:0)(cid:1)(cid:2)(cid:3)yz{|(cid:0)(cid:2)@B(cid:128)(cid:130)(cid:192)´(cid:0)(cid:2)y{ (cid:3)C(cid:131)ˆ(cid:3)|(cid:2)(cid:3)BC(cid:130)(cid:131)´ˆ(cid:2)(cid:3){|(cid:2)(cid:3)BC(cid:130)(cid:131)´ˆ(cid:2)(cid:3){|(cid:2)(cid:3)BC(cid:130)(cid:131)´ˆ(cid:2)(cid:3){|(cid:2)(cid:3)BC(cid:130)(cid:131)´ˆ(cid:2)(cid:3){|(cid:2)B(cid:130)´(cid:2){ (cid:22)(cid:20) 6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)’DWD(cid:3)&HQWHU ’LG(cid:3)1RW(cid:3)5HVROYH(cid:3)6WDIILQJ(cid:3)&RQFHUQV ,Q(cid:3) )HEUXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) UDLVHG(cid:3) D(cid:3) FRQFHUQ(cid:3) RYHU /RFNKHHG“V(cid:3)LQWHQW(cid:3)WR(cid:3)UHSODFH(cid:3)LWV(cid:3)SURSRVHG(cid:3)SURMHFW(cid:3)PDQDJHU(cid:3)IRU 6$&66(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)H[SUHVVHG(cid:3)LWV(cid:3)FRQFHUQ(cid:3)WKDW WKH(cid:3)H[SHULHQFH(cid:3)OHYHO(cid:3)RI(cid:3)WKH(cid:3)QHZ(cid:3)SURMHFW(cid:3)PDQDJHU(cid:3)ZDV(cid:3)OHVV(cid:3)WKDQ WKDW(cid:3)RI(cid:3)WKH(cid:3)RULJLQDO(cid:3)SURMHFW(cid:3)PDQDJHU(cid:17)(cid:3)+RZHYHU(cid:15)(cid:3)LQ(cid:3)VSLWH(cid:3)RI(cid:3)LWV UHVHUYDWLRQV(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) DSSURYHG(cid:3) WKH(cid:3) FKDQJH(cid:3) WR(cid:3) D(cid:3) QHZ SURMHFW(cid:3) PDQDJHU(cid:3) EDVHG(cid:3) RQ(cid:3) /RFNKHHG“V(cid:3) FRQILGHQFH(cid:3) LQ(cid:3) LWV SURSRVHG(cid:3)PDQDJHU“V(cid:3)DELOLWLHV(cid:17) 0RUHRYHU(cid:15)(cid:3)DV(cid:3)GLVFXVVHG(cid:3)LQ(cid:3)WKH(cid:3)SUHYLRXV(cid:3)FKDSWHU(cid:3)RI(cid:3)WKLV(cid:3)UHSRUW(cid:15) WKURXJKRXW(cid:3) SURMHFW(cid:3) GHYHORSPHQW(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRUV(cid:3) UDLVHG FRQFHUQV(cid:3) VHYHUDO(cid:3) WLPHV(cid:3) DERXW(cid:3) WKH(cid:3) LQDGHTXDWH(cid:3) QXPEHU(cid:3) DQG WKH(cid:3)TXDOLW\(cid:3)RI(cid:3)/RFNKHHG“V(cid:3)SURMHFW(cid:3)WHDP(cid:3)PHPEHUV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15) LQ(cid:3) $XJXVW(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3) GXULQJ(cid:3) WKH(cid:3) HDUO\(cid:3) GHVLJQ(cid:3) SKDVH(cid:15)(cid:3) RQH(cid:3) 4$ FRQWUDFWRU(cid:3) TXHVWLRQHG(cid:3) WKH(cid:3) SURMHFW(cid:3) GHVLJQHUV“(cid:3) TXDOLILFDWLRQV EHFDXVH(cid:3)WKH(cid:3)GHVLJQHUV(cid:3)GLG(cid:3)QRW(cid:3)GHPRQVWUDWH(cid:3)D(cid:3)IXOO(cid:3)XQGHUVWDQGLQJ RI(cid:3)WKH(cid:3)LVVXHV(cid:3)LQWURGXFHG(cid:3)ZKHQ(cid:3)GDWD(cid:3)LV(cid:3)GHFHQWUDOL]HG(cid:15)(cid:3)RU(cid:3)ZKHQ GDWD(cid:3)LV(cid:3)VWRUHG(cid:3)DQG(cid:3)PDLQWDLQHG(cid:3)DW(cid:3)WKH(cid:3)FRXQW\(cid:3)OHYHO(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)LQ ’HFHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3) DQRWKHU(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) TXHVWLRQHG(cid:3) WKH VWDIILQJ(cid:3)OHYHOV(cid:3)SODQQHG(cid:3)IRU(cid:3)WKH(cid:3)FRGLQJ(cid:15)(cid:3)XQLW(cid:15)(cid:3)V\VWHP(cid:15)(cid:3)DQG(cid:3)XVHU DFFHSWDQFH(cid:3) WHVW(cid:3) SKDVHV(cid:3) RI(cid:3) 6$&66“V(cid:3) GHYHORSPHQW(cid:17)(cid:3) (cid:3) 7KLV(cid:3) 4$ FRQWUDFWRU(cid:3)DOVR(cid:3)UDLVHG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)WKH(cid:3)H[SHULHQFH(cid:3)DQG(cid:3)VNLOO OHYHO(cid:3)RI(cid:3)WKH(cid:3)SURJUDPPLQJ(cid:3)DQG(cid:3)GHVLJQ(cid:3)WHDP(cid:17) ,Q(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DJDLQ(cid:3)TXHVWLRQHG(cid:3)WKH(cid:3)TXDOLW\(cid:3)RI /RFNKHHG“V(cid:3)GHVLJQ(cid:3)DQG(cid:3)GHYHORSPHQW(cid:3)VWDII(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)4$ FRQWUDFWRU(cid:3)GHWHUPLQHG(cid:3)WKH(cid:3)DYHUDJH(cid:3)VNLOO(cid:3)OHYHO(cid:3)RU(cid:3)H[SHULHQFH(cid:3)RI WKH(cid:3) DQDO\VWV(cid:3) DQG(cid:3) SURJUDPPHUV(cid:3) ZDV(cid:3) ORZHU(cid:3) WKDQ(cid:3) RULJLQDOO\ DQWLFLSDWHG(cid:17)(cid:3)(cid:3)7KLV(cid:3)ZDV(cid:3)PRVW(cid:3)OLNHO\(cid:3)FDXVHG(cid:3)E\(cid:3)WKH(cid:3)UHODWLYHO\(cid:3)KLJK VWDII(cid:3) WXUQRYHU(cid:3) RQ(cid:3) WKH(cid:3) SURMHFW(cid:3) DQG(cid:3) VXEVHTXHQW(cid:3) QHHG(cid:3) WR(cid:3) EULQJ RQ(cid:3)ERDUG(cid:3)OHVV(cid:3)H[SHULHQFHG(cid:3)VWDII(cid:17) ,Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)H[SUHVVHG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)WKH :KHQ(cid:3)DVNHG(cid:3)IRU(cid:3)D(cid:3)OLVW(cid:3)RI QXPEHU(cid:3)RI(cid:3)VWDII(cid:3)/RFNKHHG(cid:3)SODQQHG(cid:3)WR(cid:3)DVVLJQ(cid:3)WR(cid:3)6$&66(cid:17)(cid:3)(cid:3)%DVHG 6$&66(cid:3)VWDII(cid:15)(cid:3)/RFNKHHG RQ(cid:3)LWV(cid:3)FRQFHUQV(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)DWWHPSWHG(cid:3)WR(cid:3)YHULI\(cid:3)WKH(cid:3)VWDII UHIXVHG(cid:3)WR(cid:3)SURYLGH(cid:3)WKLV OHYHOV(cid:3)UHSRUWHG(cid:3)E\(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU LQIRUPDWLRQ(cid:17) DVNHG(cid:3)/RFNKHHG(cid:3)IRU(cid:3)D(cid:3)OLVW(cid:3)RI(cid:3)VWDII(cid:3)DVVLJQHG(cid:3)WR(cid:3)WKH(cid:3)SURMHFW(cid:3)E\ QDPH(cid:15)(cid:3)VNLOO(cid:15)(cid:3)DQG(cid:3)GDWHV(cid:3)HPSOR\HG(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)/RFNKHHG(cid:3)UHIXVHG WR(cid:3)SURYLGH(cid:3)WKLV(cid:3)LQIRUPDWLRQ(cid:17) (YHQ(cid:3) WKRXJK(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRUV(cid:3) UDLVHG(cid:3) VHYHUDO(cid:3) TXHVWLRQV DERXW(cid:3)/RFNKHHG“V(cid:3)VWDIILQJ(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) FRXOG(cid:3) QRW(cid:3) SURYLGH DQ\(cid:3) GRFXPHQWDWLRQ(cid:3) GHPRQVWUDWLQJ(cid:3) LWV(cid:3) HIIRUWV(cid:3) WR(cid:3) UHVROYH FRQFHUQV(cid:3) RYHU(cid:3) WKH(cid:3) VNLOO(cid:3) DQG(cid:3) H[SHULHQFH(cid:3) OHYHOV(cid:3) RI(cid:3) /RFNKHHG“V GHVLJQ(cid:3)DQG(cid:3)GHYHORSPHQW(cid:3)VWDII(cid:17)(cid:3)(cid:3)7KRVH(cid:3)FRQFHUQV(cid:3)GLG(cid:3)QRW(cid:3)SURPSW 6RFLDO(cid:3)6HUYLFHV(cid:3)WR(cid:3)UHTXHVW(cid:3)DQ\(cid:3)VWDII(cid:3)UHSODFHPHQWV(cid:17)(cid:3)(cid:3)6LPLODUO\(cid:15)(cid:3)WKH GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)HQIRUFH(cid:3)D(cid:3)UHTXLUHPHQW(cid:3)DGGHG(cid:3)LQ(cid:3)WKH(cid:3)VL[WK (cid:22)(cid:21) DPHQGPHQW(cid:3)WR(cid:3)WKH(cid:3)FRQWUDFW(cid:3)EHWZHHQ(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG WKDW(cid:3)GLUHFWHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)QRWLI\(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)RI(cid:3)VWDII(cid:3)FKDQJHV(cid:17) :H(cid:3)EHOLHYH(cid:3)WKH(cid:3)6WDWH(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)E\ QHJOHFWLQJ(cid:3) WR(cid:3) HQVXUH(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) SURYLGHG(cid:3) WKH(cid:3) KLJKO\ H[SHULHQFHG(cid:15)(cid:3)VNLOOHG(cid:3)SURMHFW(cid:3)VWDII(cid:3)LW(cid:3)KDG(cid:3)SURPLVHG(cid:3)LQ(cid:3)LWV(cid:3)SURSRVDO(cid:17) 6RFLDO(cid:3)6HUYLFHV(cid:3)3URFHHGHG(cid:3):LWK(cid:3)WKH(cid:3)3URMHFW :LWKRXW(cid:3)5HVROYLQJ(cid:3)6LJQLILFDQW(cid:3)’HILFLHQFLHV 5HSRUWHG(cid:3)’XULQJ(cid:3)’HVLJQ(cid:3)3KDVHV ’XULQJ(cid:3) WKH(cid:3) HDUO\(cid:3) SKDVHV(cid:3) RI(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:15)(cid:3) WKH(cid:3) 4$ FRQWUDFWRUV(cid:3) LGHQWLILHG(cid:3) SUREOHPV(cid:3) ZLWK(cid:3) ERWK(cid:3) WKH(cid:3) JHQHUDO(cid:3) DQG GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV(cid:3)GHYHORSHG(cid:3)E\(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3)7KH(cid:3)JHQHUDO V\VWHP(cid:3)GHVLJQ(cid:3)LV(cid:3)WKH(cid:3)RIILFLDO(cid:3)EDVHOLQH(cid:3)GRFXPHQW(cid:3)WKDW(cid:3)SUHVHQWV(cid:3)D FRKHVLYH(cid:3)SLFWXUH(cid:3)RI(cid:3)KRZ(cid:3)WKH(cid:3)V\VWHP(cid:3)ZLOO(cid:3)ZRUN(cid:3)DQG(cid:3)VHUYHV(cid:3)DV(cid:3)WKH IRXQGDWLRQ(cid:3)IRU(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)7KH(cid:3)GHWDLOHG(cid:3)V\VWHP GHVLJQ(cid:3)EHFRPHV(cid:3)WKH(cid:3)PRGHO(cid:3)IRU(cid:3)WKH(cid:3)V\VWHP“V(cid:3)SK\VLFDO(cid:3)VWUXFWXUH(cid:17) 7RJHWKHU(cid:15)(cid:3) WKH(cid:3) JHQHUDO(cid:3) DQG(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQV(cid:3) DUH(cid:3) WKH EOXHSULQWV(cid:3)IRU(cid:3)WKH(cid:3)HQWLUH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)GLG QRW(cid:3)HQVXUH(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)IL[HG(cid:3)ZHDNQHVVHV(cid:3)LQ(cid:3)WKH(cid:3)JHQHUDO(cid:3)DQG GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQV(cid:3)EHIRUH(cid:3)SURFHHGLQJ(cid:3)WR(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:17) $V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)V\VWHP(cid:3)ZDV(cid:3)SODJXHG(cid:3)ZLWK(cid:3)QXPHURXV(cid:3)VLJQLILFDQW %HFDXVH(cid:3)6RFLDO(cid:3)6HUYLFHV SUREOHPV(cid:3) WKURXJKRXW(cid:3) WHVWLQJ(cid:3) DQG(cid:3) LQVWDOODWLRQ(cid:3) WKDW(cid:3) XOWLPDWHO\ GLG(cid:3)QRW(cid:3)HQVXUH(cid:3)GHVLJQ SUHYHQWHG(cid:3)FRXQWLHV(cid:3)IURP(cid:3)XVLQJ(cid:3)6$&66(cid:3)WR(cid:3)VDWLVIDFWRULO\(cid:3)IXOILOO(cid:3)WKHLU IODZV(cid:3)ZHUH(cid:3)IL[HG(cid:15)(cid:3)6$&66 FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)UHVSRQVLELOLWLHV(cid:17) ZDV(cid:3)SODJXHG(cid:3)ZLWK QXPHURXV(cid:3)VLJQLILFDQW ’XULQJ(cid:3)/RFNKHHG“V(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15) SUREOHPV(cid:17) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) LGHQWLILHG(cid:3) VHYHUDO(cid:3) VLJQLILFDQW(cid:3) FRQFHUQV(cid:15) LQFOXGLQJ(cid:3) WKH(cid:3) DGHTXDF\(cid:3) RI(cid:3) WKH(cid:3) GHVLJQ(cid:17)(cid:3) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU IRFXVHG(cid:3)RQ(cid:3)WKH(cid:3)LQFRPSOHWHQHVV(cid:3)RI(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ LQ(cid:3)WKUHH(cid:3)DUHDV(cid:29)(cid:3)(cid:3)GDWD(cid:3)FRQVLVWHQF\(cid:3)DQG(cid:3)LQWHJULW\(cid:15)(cid:3)VHFXULW\(cid:15)(cid:3)DQG(cid:3)WKH DFFHVVLELOLW\(cid:3) RI(cid:3) GDWD(cid:3) IURP(cid:3) PXOWLSOH(cid:3) ORFDWLRQV(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) H[SUHVVHG(cid:3) IUXVWUDWLRQ(cid:3) DW(cid:3) WKH(cid:3) IDFW(cid:3) WKDW /RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)PDNH(cid:3)FKDQJHV(cid:3)LQ(cid:3)VXEVHTXHQW(cid:3)YHUVLRQV(cid:3)RI(cid:3)WKH JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)VWDWHG(cid:15) §:H(cid:3)ZHUH(cid:3)WROG(cid:3)WKDW(cid:3)D(cid:3)QXPEHU(cid:3)RI(cid:3)FRQFHUQV(cid:3)UDLVHG(cid:3)KDG(cid:3)DOUHDG\ EHHQ(cid:3) DGGUHVVHG(cid:3) DQG(cid:3) WKDW(cid:3) WKH(cid:3) QH[W(cid:3) YHUVLRQ(cid:3) RI(cid:3) WKH(cid:3) GRFXPHQW ZRXOG(cid:3)EH(cid:3)XSGDWHG(cid:3)WR(cid:3)UHIOHFW(cid:3)WKH(cid:3)FXUUHQW(cid:3)VWDWH(cid:3)RI(cid:3)WKH(cid:3)GHVLJQ(cid:15) LQFOXGLQJ(cid:3)VHYHUDO(cid:3)LVVXHV(cid:3)UDLVHG(cid:3)GXULQJ(cid:3)UHYLHZ(cid:3)PHHWLQJV(cid:17)¤(cid:3)(cid:3)$IWHU QRWLFLQJ(cid:3)WKH(cid:3)DEVHQFH(cid:3)RI(cid:3)FKDQJHV(cid:3)LQ(cid:3)ODWHU(cid:3)VRIWZDUH(cid:3)YHUVLRQV(cid:15)(cid:3)WKH 4$(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) LW(cid:3) HLWKHU(cid:3) UHFHLYHG(cid:3) WKH(cid:3) ZURQJ YHUVLRQ(cid:15)(cid:3) WKH(cid:3) GHVLJQ(cid:3) WHDP(cid:3) UHYHUWHG(cid:3) WR(cid:3) DQ(cid:3) HDUOLHU(cid:3) YHUVLRQ(cid:15)(cid:3) RU /RFNKHHG(cid:3)PLVOHG(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)GXULQJ(cid:3)WKH(cid:3)UHYLHZ(cid:3)PHHWLQJV(cid:17) &RQVHTXHQWO\(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)HQFRXUDJHG(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)WR UDLVH(cid:3)WKLV(cid:3)LVVXH(cid:3)ZLWK(cid:3)/RFNKHHG“V(cid:3)GHVLJQ(cid:3)WHDP(cid:17) (cid:22)(cid:22) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) DOVR(cid:3) UHSRUWHG(cid:3) /RFNKHHG(cid:3) HLWKHU(cid:3) GLG(cid:3) QRW WKRURXJKO\(cid:3)UHYLHZ(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)RU(cid:3)LW(cid:3)FRPSOHWHG WKH(cid:3)SURGXFW(cid:3)MXVW(cid:3)EHIRUH(cid:3)GHOLYHU\(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)/RFNKHHG“V(cid:3)GHVLJQ PDQDJHU(cid:3) DQG(cid:3) UHSUHVHQWDWLYHV(cid:3) DWWHQGHG(cid:3) OHVV(cid:3) WKDQ(cid:3) KDOI(cid:3) RI(cid:3) D VLJQLILFDQW(cid:3) UHYLHZ(cid:3) PHHWLQJ(cid:3) DW(cid:3) ZKLFK(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU GLVFXVVHG(cid:3) FULWLFDO(cid:3) LVVXHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) UHLQIRUFHG(cid:3) WKH LPSRUWDQFH(cid:3) RI(cid:3) LWV(cid:3) UHYLHZV(cid:3) DQG(cid:3) UHFRPPHQGHG(cid:3) WKDW(cid:3) WKH(cid:3) 6WDWH VXSSRUW(cid:3) LWV(cid:3) FRQFOXVLRQV(cid:3) DERXW(cid:3) /RFNKHHG“V(cid:3) GHOLYHUDEOHV(cid:17) 1RQHWKHOHVV(cid:15)(cid:3)6RFLDO(cid:3) 6HUYLFHV(cid:3) DOORZHG(cid:3) WKH(cid:3) SURMHFW(cid:3) WR(cid:3) SURJUHVV ZLWKRXW(cid:3) DGHTXDWHO\(cid:3) UHVROYLQJ(cid:3) SUREOHPV(cid:3) DQG(cid:3) UHOLHG(cid:3) RQ /RFNKHHG“V(cid:3)SURPLVHV(cid:3)WKDW(cid:3)LW(cid:3)ZRXOG(cid:3)IL[(cid:3)WKHP(cid:17) ,Q(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3) FRPPHQWHG(cid:3) RQ(cid:3) WKH(cid:3) RYHUO\ FORVH(cid:3)UHODWLRQVKLS(cid:3) EHWZHHQ(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) /RFNKHHG(cid:15)(cid:3) ZDUQLQJ WKDW(cid:3)§WKH(cid:3)FRQVHTXHQFH(cid:3)RI(cid:3)D(cid:3)FRRSHUDWLYH(cid:3)(cid:11)UDWKHU(cid:3)WKDQ(cid:3)DGYHUVDULDO(cid:12) UHODWLRQVKLS(cid:3)EHWZHHQ(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)YHQGRU(cid:3)PD\(cid:3)EH(cid:3)>WKH@(cid:3)IDLOXUH RI(cid:3)WKH(cid:3)SURMHFW(cid:17)¤ 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)QRWHG WKDW(cid:3)§WKH(cid:3)FRQVHTXHQFH(cid:3)RI 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UDLVHG(cid:3)WKHVH(cid:3)VSHFLILF(cid:3)FRQFHUQV(cid:29) D(cid:3)FRRSHUDWLYH(cid:3)(cid:11)UDWKHU(cid:3)WKDQ DGYHUVDULDO(cid:12)(cid:3)UHODWLRQVKLS • 7KH(cid:3) VLJQLILFDQW(cid:3) LQFRQVLVWHQFLHV(cid:3) ZLWK(cid:3) WKH(cid:3) JHQHUDO(cid:3) V\VWHP EHWZHHQ(cid:3)WKH(cid:3)6WDWH(cid:3)DQG GHVLJQ(cid:3)§VXJJHVW(cid:3)FRQIXVLRQ(cid:3)UHJDUGLQJ(cid:3)WKH(cid:3)UHTXLUHPHQWV(cid:3)RI(cid:3)WKH YHQGRU(cid:3)PD\(cid:3)EH(cid:3)>WKH@ 6WDWH(cid:15)(cid:3)WKH(cid:3)VROXWLRQV(cid:3)GHVFULEHG(cid:3)LQ(cid:3)WKH(cid:3)YHQGRU“V(cid:3)SURSRVDO(cid:15)(cid:3)DQG IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17)¤ WKH(cid:3)VROXWLRQ(cid:3)GHVFULEHG(cid:3)LQ(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)LWVHOI(cid:17)¤ • 7KH(cid:3)FRQWHQWV(cid:3)RI(cid:3)WKH(cid:3)GHVLJQ(cid:3)GR(cid:3)QRW(cid:3)LQGLFDWH(cid:3)§WKDW(cid:3)WKH(cid:3)DXWKRUV DUH(cid:3)IXOO\(cid:3)DZDUH(cid:3)RI(cid:3)WKH(cid:3)VFRSH(cid:3)DQG(cid:3)WKH(cid:3)QDWXUH(cid:3)RI(cid:3)WKH(cid:3)LVVXHV WKDW(cid:3)DUH(cid:3)LQWURGXFHG(cid:3)ZKHQ(cid:3)WKH(cid:3)GDWD(cid:3)LV(cid:3)GHFHQWUDOL]HG(cid:17)¤ • §,Q(cid:3)D(cid:3)QXPEHU(cid:3)RI(cid:3)FDVHV(cid:15)(cid:3)WKH(cid:3)VSHFLILF(cid:3)GHWDLOV(cid:3)TXHVWLRQHG(cid:3)DV FRQIXVLQJ(cid:3)GXULQJ(cid:3)WKH(cid:3)UHYLHZ(cid:3)PHHWLQJ(cid:3)VHHP(cid:3)WR(cid:3)KDYH(cid:3)EHHQ UHIUDPHG(cid:3)LQ(cid:3)OHVV(cid:3)SUHFLVH(cid:3)ODQJXDJH(cid:3)RU(cid:3)HOLPLQDWHG(cid:3)UDWKHU(cid:3)WKDQ FODULILHG(cid:17)¤ 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)FRQFOXGHG(cid:3)WKDW(cid:3)§WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ UDLVHV(cid:3) DW(cid:3) OHDVW(cid:3) DV(cid:3) PDQ\(cid:3) TXHVWLRQV(cid:3) DERXW(cid:3) WKH(cid:3) DSSOLFDWLRQ DUFKLWHFWXUH(cid:3)DV(cid:3)LW(cid:3)UHVROYHV(cid:17)¤ $GGLWLRQDOO\(cid:15)(cid:3) WKH(cid:3) 4$(cid:3) DQG(cid:3) LQGHSHQGHQW(cid:3) YHULILFDWLRQ(cid:3) DQG YDOLGDWLRQ(cid:3) (cid:11),9(cid:9)9(cid:12)(cid:3) FRQWUDFWRUV(cid:3) QRWHG(cid:3) GLIILFXOWLHV(cid:3) ZLWK(cid:3) RWKHU DVSHFWV(cid:3) RI(cid:3) WKH(cid:3) GHVLJQ(cid:3) SKDVHV(cid:15)(cid:3) LQFOXGLQJ(cid:3) LQFRPSOHWH(cid:3) V\VWHP GRFXPHQWDWLRQ(cid:30)(cid:3) LQFRQVLVWHQFLHV(cid:3) EHWZHHQ(cid:3) 6$&66“V(cid:3) VFUHHQV(cid:15) IRUPV(cid:15)(cid:3)DQG(cid:3)UHSRUWV(cid:30)(cid:3)DQG(cid:3)/RFNKHHG“V(cid:3)XVH(cid:3)RI(cid:3)WKH(cid:3)FRPSXWHU(cid:16)DLGHG VRIWZDUH(cid:3)HQJLQHHULQJ(cid:3)(cid:11)&$6((cid:12)(cid:3)WRRO(cid:17)(cid:3)(cid:3),Q(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKH(cid:3)4$ FRQWUDFWRU(cid:3)DOVR(cid:3)UHSRUWHG(cid:3)FRQFHUQV(cid:3)DERXW(cid:3)/RFNKHHG“V(cid:3)SURJUHVV(cid:3)RQ WKH(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)FRPSRQHQWV(cid:3)IRU(cid:3)DOORZLQJ(cid:3)FRXQWLHV(cid:3)DQG(cid:3)RWKHU VWDWH(cid:3)DJHQFLHV(cid:3)WR(cid:3)FRPPXQLFDWH(cid:3)DQG(cid:3)VKDUH(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3)7KHVH IXQFWLRQV(cid:3) OHW(cid:3) D(cid:3) FRXQW\(cid:3) DFFHVV(cid:3) HOHFWURQLF(cid:3) GDWDEDVHV(cid:3) LQ (cid:22)(cid:23) RWKHU(cid:3)FRXQWLHV(cid:3)DQG(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)WR(cid:3)KHOS(cid:3)WKH(cid:3)FRXQW\(cid:3)SHUIRUP FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DFWLYLWLHV(cid:15)(cid:3)VXFK(cid:3)DV(cid:3)ORFDWLQJ(cid:3)DEVHQW SDUHQWV(cid:3)ZKR(cid:3)RZH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)DQG(cid:3)VHL]LQJ(cid:3)DVVHWV(cid:17) ’HVSLWH(cid:3)DOO(cid:3)WKH(cid:3)FULWLFDO(cid:3)TXHVWLRQV(cid:3)WKDW(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UDLVHG GXULQJ(cid:3) WKH(cid:3) JHQHUDO(cid:3) GHVLJQ(cid:3) SKDVH(cid:3) RI(cid:3) 6$&66(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV DSSURYHG(cid:3) WKH(cid:3) JHQHUDO(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) LQ(cid:3) 1RYHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:17) ’HVSLWH(cid:3)FULWLFDO(cid:3)TXHVWLRQV 6RFLDO(cid:3) 6HUYLFHV(cid:3) GRFXPHQWHG(cid:3) WKH(cid:3) XQUHVROYHG(cid:3) SUREOHPV(cid:3) DQG DQG(cid:3)XQUHVROYHG(cid:3)SUREOHPV(cid:15) H[SHFWHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)UHVROYH(cid:3)WKHVH(cid:3)GXULQJ(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP 6RFLDO(cid:3)6HUYLFHV(cid:3)DSSURYHG GHVLJQ(cid:3)SKDVH(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)D(cid:3)IRUPHU(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)SURMHFW PDQDJHU(cid:15)(cid:3) §7KH(cid:3) DSSURYDO(cid:3) RI(cid:3) WKH(cid:3) JHQHUDO(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) ZDV WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17) FULWLFDO(cid:3)WR(cid:3)NHHSLQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)PRYLQJ(cid:3)IRUZDUG(cid:3)LQ(cid:3)RUGHU(cid:3)WR(cid:3)HQVXUH FRQWLQXHG(cid:3)HQKDQFHG(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)DQG(cid:3)WR(cid:3)SXVK(cid:3)WRZDUG(cid:3)WKH SHQGLQJ(cid:3) LPSOHPHQWDWLRQ(cid:3) GDWH(cid:3) UHTXLUHG(cid:3) E\(cid:3) WKH(cid:3) IHGHUDO JRYHUQPHQW(cid:17)¤ ,Q(cid:3) 2FWREHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) HQWHUHG(cid:3) LQWR(cid:3) D(cid:3) IRUPDO DJUHHPHQW(cid:3) ZLWK(cid:3) /RFNKHHG(cid:3) WR(cid:3) UHVROYH(cid:3) WKH(cid:3) RXWVWDQGLQJ(cid:3) LVVXHV ZLWK(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV H[SUHVVHG(cid:3) LWV(cid:3) ODFN(cid:3) RI(cid:3) FRQILGHQFH(cid:3) ZLWK(cid:3) WKH(cid:3) ILQDQFLDO(cid:3) UHSRUWV JHQHUDWHG(cid:3)E\(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DOVR(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)WKH GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)WKH(cid:3)FDSDELOLW\(cid:3)WR(cid:3)UHVWULFW DFFHVV(cid:3)WR(cid:3)VHQVLWLYH(cid:3)UHFRUGV(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW HQVXUH(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) UHVROYHG(cid:3) DOO(cid:3) RI(cid:3) WKH(cid:3) SUREOHPV(cid:3) DQG(cid:3) GLG QRW(cid:3) IRUPDOO\(cid:3) DSSURYH(cid:3) WKH(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQ(cid:15)(cid:3) LW(cid:3) LVVXHG SD\PHQW(cid:3)WR(cid:3)/RFNKHHG(cid:3)LQ(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:17) 7KHQ(cid:15)(cid:3)LQ(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)UHVSRQVLELOLW\(cid:3)IRU(cid:3)6$&66(cid:3)WUDQVIHUUHG(cid:3)IURP 6RFLDO(cid:3)6HUYLFHV(cid:3)WR(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:17)(cid:3)(cid:3)6LPLODU(cid:3)WR(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:15) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) DOVR(cid:3) GLG(cid:3) QRW(cid:3) FRQILUP(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) KDG IL[HG(cid:3)DOO(cid:3)RXWVWDQGLQJ(cid:3)SUREOHPV(cid:3)LQ(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) IRUPDOO\(cid:3) DSSURYHG(cid:3) WKH(cid:3) GHWDLOHG V\VWHP(cid:3)GHVLJQ(cid:3)LQ(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)ZLWKRXW(cid:3)UHVROYLQJ(cid:3)DOO(cid:3)RXWVWDQGLQJ SUREOHPV(cid:17) %HFDXVH(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) GLG(cid:3) QRW(cid:3) HQVXUH(cid:3) WKDW(cid:3) LGHQWLILHG GHILFLHQFLHV(cid:3)ZHUH(cid:3)UHVROYHG(cid:3)GXULQJ(cid:3)WKH(cid:3)GHVLJQ(cid:3)SKDVHV(cid:15)(cid:3)SUREOHPV ZLWK(cid:3) V\VWHP(cid:3) VHFXULW\(cid:15)(cid:3) V\VWHP(cid:3) GRFXPHQWDWLRQ(cid:3) HUURUV(cid:15)(cid:3) DQG XQUHOLDEOH(cid:3)GDWD(cid:3)UHVXOWHG(cid:15)(cid:3)MXVW(cid:3)DV(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)KDG(cid:3)ZDUQHG(cid:17) 5HOLDEOH(cid:3)GDWD(cid:3)LV(cid:3)HVVHQWLDO(cid:3)IRU(cid:3)WKH(cid:3)FRXQWLHV(cid:3)WR(cid:3)HIIHFWLYHO\(cid:3)SHUIRUP GD\(cid:16)WR(cid:16)GD\(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)UHVSRQVLELOLWLHV(cid:3)VXFK(cid:3)DV FROOHFWLQJ(cid:3)DQG(cid:3)GLVWULEXWLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)SD\PHQWV(cid:17)(cid:3)(cid:3)8QUHOLDEOH GDWD(cid:3)JHQHUDWHG(cid:3)IURP(cid:3)6$&66(cid:3)KLQGHUHG(cid:3)WKH(cid:3)FRXQWLHV“(cid:3) DELOLW\(cid:3)WR FRPSOHWH(cid:3)ILQDQFLDO(cid:3)DQG(cid:3)UHSRUWLQJ(cid:3)UHTXLUHPHQWV(cid:3)HIILFLHQWO\(cid:17)(cid:3)(cid:3))RU H[DPSOH(cid:15)(cid:3)WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)LQ(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:3)WKDW FRXQWLHV(cid:3) ZHUH(cid:3) PDQXDOO\(cid:3) FRUUHFWLQJ(cid:3) UHSRUWV(cid:3) DQG(cid:3) IRUPV JHQHUDWHG(cid:3)E\(cid:3)6$&66(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKLV(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW WKH(cid:3)FRXQWLHV(cid:3)KDG(cid:3)SUREOHPV(cid:3)FRPPXQLFDWLQJ(cid:3)ZLWK(cid:3)RWKHU(cid:3)FRXQWLHV DQG(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)WKURXJK(cid:3)WKH(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)EHFDXVH(cid:3)WKHVH IXQFWLRQV(cid:3)GLG(cid:3)QRW(cid:3)ZRUN(cid:3)SURSHUO\(cid:17) (cid:22)(cid:24) 6RFLDO(cid:3)6HUYLFHV(cid:3)3URFHHGHG(cid:3):LWK WKH(cid:3)3URMHFW(cid:3)’HVSLWH(cid:3)3UREOHPV :LWK(cid:3)6\VWHP(cid:3)7HVWLQJ ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)LGHQWLI\LQJ(cid:3)IODZV(cid:3)LQ(cid:3)WKH(cid:3)GHVLJQ(cid:3)SKDVHV(cid:15)(cid:3)WKH(cid:3)4$ FRQWUDFWRU(cid:3)LGHQWLILHG(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:15)(cid:3)D(cid:3)VWDQGDUG SURFHVV(cid:3)WKDW(cid:3)KHOSV(cid:3)HQVXUH(cid:3)WKDW(cid:3)D(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)IXQFWLRQV DFFRUGLQJ(cid:3) WR(cid:3) LWV(cid:3) GHVLJQ(cid:3) EHIRUH(cid:3) WKH(cid:3) GHYHORSHU(cid:3) UHOHDVHV(cid:3) WKH SURJUDP(cid:3)IRU(cid:3)WHVWLQJ(cid:3)E\(cid:3)IXWXUH(cid:3)XVHUV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV GLG(cid:3)QRW(cid:3)UHTXLUH(cid:3)/RFNKHHG(cid:3)WR(cid:3)UHUXQ(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:15)(cid:3)FLWLQJ(cid:3)DJDLQ ,Q(cid:3)DQ(cid:3)HIIRUW(cid:3)WR(cid:3)PHHW WKH(cid:3)6WDWH“V(cid:3)QHHG(cid:3)WR(cid:3)PHHW(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:3)IRU(cid:3)FRPSOHWLRQ(cid:3)RI WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:15) DQ(cid:3)DXWRPDWHG(cid:3)V\VWHP(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:17) 6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW UHTXLUH(cid:3)/RFNKHHG(cid:3)WR(cid:3)UHUXQ ,Q(cid:3) 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) HYDOXDWHG(cid:3) WKH(cid:3) V\VWHP V\VWHP(cid:3)WHVWLQJ(cid:17) WHVWLQJ(cid:3) SHUIRUPHG(cid:3) E\(cid:3) /RFNKHHG(cid:3) DQG(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) 6$&66 ZDV(cid:3)QRW(cid:3)UHDG\(cid:3)IRU(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU ZDV(cid:3) SDUWLFXODUO\(cid:3) FRQFHUQHG(cid:3) DERXW(cid:3) WKH(cid:3) FRPSXWHU(cid:3) SURJUDP“V LQVWDELOLW\(cid:15)(cid:3)WKH(cid:3)IDFW(cid:3)WKDW(cid:3)WKH(cid:3)SURJUDP(cid:3)KDG(cid:3)XQGHUJRQH(cid:3)LQVXIILFLHQW WHVWLQJ(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)ODFN(cid:3)RI(cid:3)GRFXPHQWDWLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)4$(cid:3)FRQWUDFWRU ZDV(cid:3)DOVR(cid:3)FRQFHUQHG(cid:3)ZLWK(cid:3)/RFNKHHG“V(cid:3)WHVWLQJ(cid:3)RI(cid:3)DQ(cid:3)LQFRPSOHWH DSSOLFDWLRQ(cid:3)WKDW(cid:3)GLG(cid:3)QRW(cid:3)\HW(cid:3)SRVVHVV(cid:3)VRPH(cid:3)HVVHQWLDO(cid:3)IXQFWLRQV DQG(cid:3) WKH(cid:3) DELOLW\(cid:3) RI(cid:3) WKH(cid:3) FRPSXWHU(cid:3) DSSOLFDWLRQ(cid:3) WR(cid:3) SHUIRUP ZLWKLQ(cid:3) HVWDEOLVKHG(cid:3) SDUDPHWHUV(cid:17)(cid:3) (cid:3) )LQDOO\(cid:15)(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU UHFRPPHQGHG(cid:3)UXQQLQJ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:3) DJDLQ(cid:3) EHIRUH(cid:3) /RFNKHHG PRYHG(cid:3)WR(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)SURMHFW(cid:3)WHVWLQJ(cid:17) ,QVWHDG(cid:3)RI(cid:3)IROORZLQJ(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU“V(cid:3)DGYLFH(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV GLUHFWHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)FRPSOHWH(cid:3)UHTXLUHPHQWV(cid:3)YHULILFDWLRQ(cid:3)GXULQJ XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)PHW(cid:3)DOO(cid:3)IHGHUDO DQG(cid:3)VWDWH(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKLV(cid:3)DSSURDFK(cid:3)GLG(cid:3)QRW(cid:3)HQVXUH WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)ZRXOG(cid:3)IXQFWLRQ(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)LWV(cid:3)GHVLJQ(cid:17) 6$&66(cid:3))DLOHG(cid:3)8VHU(cid:3)$FFHSWDQFH(cid:3)7HVWLQJ ,Q(cid:3) LWV(cid:3) HIIRUWV(cid:3) WR(cid:3) PHHW(cid:3) WKH(cid:3) IHGHUDO(cid:3) GHDGOLQH(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV SURFHHGHG(cid:3) ZLWK(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ(cid:3) HYHQ(cid:3) WKRXJK(cid:3) WKH 4$(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)ZDV(cid:3)QRW(cid:3)UHDG\(cid:17)(cid:3)(cid:3))RU(cid:3)XVHU DFFHSWDQFH(cid:3) WHVWLQJ(cid:15)(cid:3) WKH(cid:3) V\VWHP“V(cid:3) GHYHORSHU(cid:3) VKRXOG(cid:3) KDYH SURYLGHG(cid:3)D(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)WKDW(cid:3)ZDV(cid:3)IUHH(cid:3)IURP(cid:3)FULWLFDO(cid:3)HUURUV VR(cid:3)WKDW(cid:3)XVHUV(cid:3)FRXOG(cid:3)YHULI\(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)RSHUDWHG(cid:3)SURSHUO\(cid:3)DQG PHW(cid:3)WKHLU(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)8VHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)VKRXOG(cid:3)DOVR DVVLVW(cid:3)WKH(cid:3)XVHU(cid:3)LQ(cid:3)GHFLGLQJ(cid:3)ZKHWKHU(cid:3) WKH(cid:3) DXWRPDWHG(cid:3) V\VWHP(cid:3) LV UHDG\(cid:3)IRU(cid:3)LQVWDOODWLRQ(cid:17) 6RFLDO(cid:3) 6HUYLFHV(cid:3) DOVR(cid:3) PRGLILHG(cid:3) LWV(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ DSSURDFK(cid:3)WR(cid:3)FRPSHQVDWH(cid:3)IRU(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)7KH QHZ(cid:3) DSSURDFK(cid:3) IRFXVHG(cid:3) RQ(cid:3) WHVWLQJ(cid:3) WKH(cid:3) LQWHJULW\(cid:3) RI(cid:3) 6$&66 E\(cid:3) YDOLGDWLQJ(cid:3) WKDW(cid:3) GD\(cid:16)WR(cid:16)GD\(cid:3) EXVLQHVV(cid:3) IXQFWLRQV(cid:3) ZRUNHG(cid:3) E\ (cid:22)(cid:25) HYDOXDWLQJ(cid:3) WKH(cid:3) V\VWHP(cid:3) DV(cid:3) D(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) WRRO(cid:17) +RZHYHU(cid:15)(cid:3) XQGLVFRYHUHG(cid:3) SUREOHPV(cid:3) GXULQJ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:3) RI 6$&66(cid:3)OHG(cid:3)WR(cid:3)XQVXFFHVVIXO(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) 7KH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) SUREOHPV(cid:3) GXULQJ(cid:3) XVHU DFFHSWDQFH(cid:3) WHVWLQJ(cid:3) SUHFOXGHG(cid:3) WKH(cid:3) XVH(cid:3) RI(cid:3) WKH(cid:3) WHVW(cid:3) UHVXOWV(cid:3) WR YDOLGDWH(cid:3)WKH(cid:3)LQWHJULW\(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:3)DV(cid:3)D(cid:3)YLDEOH(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3) WRRO(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) QXPEHU(cid:3) DQG(cid:3) W\SHV(cid:3) RI SUREOHPV(cid:3)HQFRXQWHUHG(cid:3)E\(cid:3)WKH(cid:3)WHVWLQJ(cid:3)WHDP(cid:3)LQFOXGHG(cid:3)GHIHFWV(cid:3)QRW GLVFRYHUHG(cid:3) GXULQJ(cid:3) V\VWHP(cid:3) WHVWLQJ(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) VRPH(cid:3) RI(cid:3) WKH V\VWHP“V(cid:3)H[WHUQDO(cid:3)LQWHUIDFHV(cid:15)(cid:3)RU(cid:3)IXQFWLRQV(cid:3)WKDW(cid:3)DOORZ(cid:3)WKH(cid:3)V\VWHP WR(cid:3)FRPPXQLFDWH(cid:3)ZLWK(cid:3)RWKHU(cid:3)DJHQFLHV(cid:15)(cid:3)GLG(cid:3)QRW(cid:3)ZRUN(cid:3)FRUUHFWO\(cid:3)RU GLG(cid:3)QRW(cid:3)H[LVW(cid:17)(cid:3)(cid:3)7KLV(cid:3)VLWXDWLRQ(cid:3)UHTXLUHG(cid:3)WKDW(cid:3)WKH(cid:3)XVHU(cid:3)DFFHSWDQFH WHVWLQJ(cid:3)WHDP(cid:3)E\SDVV(cid:3)DOO(cid:3)RU(cid:3)SDUW(cid:3)RI(cid:3)WKH(cid:3)FDVHV(cid:3)LQWHQGHG(cid:3)IRU(cid:3)WHVWLQJ WKH(cid:3)FRPPXQLFDWLRQ(cid:3)IXQFWLRQV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH(cid:3)WHVW(cid:3)WHDP(cid:3)FRXOG(cid:3)QRW ILQLVK(cid:3) VRPH(cid:3) W\SHV(cid:3) RI(cid:3) WHVWLQJ(cid:3) EHFDXVH(cid:3) WKH(cid:3) FRPSXWHU(cid:3) SURJUDP UHTXLUHG(cid:3)IRU(cid:3)WKH(cid:3)WHVWV(cid:3)ZDV(cid:3)LQFRPSOHWH(cid:17) $W(cid:3) WKH(cid:3) HQG(cid:3) RI(cid:3) WKH(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ(cid:3) SHULRG(cid:15)(cid:3) WKH(cid:3) 4$ FRQWUDFWRU(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) WKH(cid:3) UHVXOWV(cid:3) GLG(cid:3) QRW(cid:3) PHHW(cid:3) WKH(cid:3) IRUPDO FULWHULD(cid:3) HVWDEOLVKHG(cid:3) E\(cid:3) WKH(cid:3) 6WDWH(cid:3) IRU(cid:3) VDWLVIDFWRU\(cid:3) FRPSOHWLRQ(cid:15) ZKLFK(cid:3) GLG(cid:3) QRW(cid:3) DOORZ(cid:3) DQ\(cid:3) XQUHVROYHG(cid:3) GHIHFWV(cid:3) FODVVLILHG(cid:3) DV FULWLFDO(cid:17)(cid:3)(cid:3)&ULWLFDO(cid:3)GHIHFWV(cid:3)SUHYHQW(cid:3)SURFHVVLQJ(cid:15)(cid:3)RU(cid:3)WKH\(cid:3)VWRUH(cid:3)RU GHOLYHU(cid:3)IDXOW\(cid:3)GDWD(cid:17) $OWKRXJK(cid:3) WKH(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ(cid:3) UHVXOWV(cid:3) LQFOXGHG (cid:23)(cid:23)(cid:3)XQUHVROYHG(cid:3) FULWLFDO(cid:3) GHIHFWV(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) SURFHHGHG(cid:3) WR WKH(cid:3) QH[W(cid:3) SKDVH(cid:3) RI(cid:3) WKH(cid:3) SURMHFW(cid:15)(cid:3) ZKLFK(cid:3) ZDV(cid:3) LQVWDOOLQJ(cid:3) WKH DXWRPDWHG(cid:3)V\VWHP(cid:3)LQ(cid:3)D(cid:3)SLORW(cid:3)FRXQW\(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)GDWD $OWKRXJK(cid:3)WKH(cid:3)XVHU FHQWHU(cid:15)(cid:3)PRYLQJ(cid:3)IRUZDUG(cid:3)ZLWK(cid:3)6$&66(cid:3)ZDV(cid:3)DSSURSULDWH(cid:3)EHFDXVH DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)UHVXOWV QRQH(cid:3)RI(cid:3)WKH(cid:3)GHIHFWV(cid:3)FODVVLILHG(cid:3)DV(cid:3)FULWLFDO(cid:3)DIIHFWHG(cid:3)WKH(cid:3)IXQFWLRQV LQFOXGHG(cid:3)(cid:23)(cid:23)(cid:3)XQUHVROYHG WKDW(cid:3)WKH(cid:3)LQLWLDO(cid:3)SLORW(cid:3)FRXQW\(cid:3)ZRXOG(cid:3)XVH(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DOVR FULWLFDO(cid:3)GHIHFWV(cid:15)(cid:3)WKH(cid:3)GDWD LQWHQGHG(cid:3)WR(cid:3)LQVWDOO(cid:3)WKH(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)LQ(cid:3)VPDOO(cid:3)FRXQWLHV(cid:15)(cid:3)IL[ FHQWHU(cid:3)SURFHHGHG(cid:3)WR(cid:3)WKH WKH(cid:3)SUREOHPV(cid:15)(cid:3)DQG(cid:3)WKHQ(cid:3)SURFHHG(cid:3)WR(cid:3)ELJJHU(cid:3)FRXQWLHV(cid:17)(cid:3)+RZHYHU(cid:15) QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17) LQ(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)DIWHU(cid:3)LQVWDOOLQJ(cid:3)WKH(cid:3)V\VWHP(cid:3)LQ(cid:3)VHYHQ(cid:3)FRXQWLHV(cid:15) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) VXVSHQGHG(cid:3) IXUWKHU(cid:3) LQVWDOODWLRQ(cid:3) EHFDXVH(cid:3) RI VLJQLILFDQW(cid:3) SUREOHPV(cid:3) ZLWK(cid:3) WKH(cid:3) ZD\(cid:3) WKH(cid:3) FRPSXWHU(cid:3) DSSOLFDWLRQ IXQFWLRQHG(cid:17) $OWKRXJK(cid:3)WKH(cid:3)6WDWH(cid:3)DWWHPSWHG(cid:3)WR(cid:3)WDNH(cid:3)VRPH(cid:3)FRUUHFWLYH(cid:3)DFWLRQ(cid:3)WR UHVROYH(cid:3)SUREOHPV(cid:3)GXULQJ(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)LWV(cid:3)HIIRUWV(cid:3)ZHUH(cid:3)LQVXIILFLHQW(cid:17) 6SHFLILFDOO\(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) HQWHUHG(cid:3) LQWR(cid:3) DQ(cid:3) DJUHHPHQW(cid:3) ZLWK /RFNKHHG(cid:3) WR(cid:3) UHVROYH(cid:3) WKH(cid:3) SUREOHPV(cid:3) ZLWK(cid:3) WKH(cid:3) GHWDLOHG(cid:3) V\VWHP GHVLJQ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)RQH(cid:3)PRQWK ODWHU(cid:3)IRU(cid:3)DQ(cid:3)LQFRPSOHWH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV DOVR(cid:3)UHTXLUHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)GHPRQVWUDWH(cid:3)WKDW(cid:3)LWV(cid:3)V\VWHP(cid:3)PHW(cid:3)DOO IHGHUDO(cid:3) DQG(cid:3) VWDWH(cid:3) UHTXLUHPHQWV(cid:3) EHFDXVH(cid:3) RI(cid:3) SRRU(cid:3) V\VWHP WHVWLQJ(cid:3)GRFXPHQWDWLRQ(cid:3)DQG(cid:3)UHVXOWV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV SURFHHGHG(cid:3)ZLWK(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WHVWLQJ(cid:3)DQG(cid:3)IDLOHG(cid:3)WR(cid:3)HQVXUH WKDW(cid:3)/RFNKHHG“V(cid:3)V\VWHP(cid:3)PHW(cid:3)DOO(cid:3)IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)UHTXLUHPHQWV(cid:17) (cid:22)(cid:26) 7KH(cid:3) GDWD(cid:3) FHQWHU“V(cid:3) FRUUHFWLYH(cid:3) DFWLRQV(cid:3) LQFOXGHG(cid:3) VXVSHQGLQJ LQVWDOODWLRQ(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:3)LQ(cid:3)DGGLWLRQDO(cid:3)FRXQWLHV(cid:3)WZLFH(cid:3)GXULQJ(cid:3)WKH SURMHFW(cid:3)DV(cid:3)D(cid:3)UHVXOW(cid:3)RI(cid:3)VLJQLILFDQW(cid:3)SUREOHPV(cid:17)(cid:3)(cid:3)7KH(cid:3)V\VWHP(cid:3)ZDV LQVWDOOHG(cid:3)LQ(cid:3)(cid:21)(cid:22)(cid:3)FRXQWLHV(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)RI(cid:3)WKH(cid:3)VHFRQG(cid:3)VXVSHQVLRQ(cid:17) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) UHTXLUHG(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) FRPSOHWH(cid:3) FRUUHFWLYH DFWLRQ(cid:3)SODQV(cid:3)GXULQJ(cid:3)WKH(cid:3)VXVSHQVLRQV(cid:15)(cid:3)EXW(cid:3)LW(cid:3)UHMHFWHG(cid:3)/RFNKHHG“V VHFRQG(cid:3)FRUUHFWLYH(cid:3)DFWLRQ(cid:3)SODQ(cid:3)DQG(cid:3)QHYHU(cid:3)UHVXPHG(cid:3)LQVWDOODWLRQ(cid:3)RI WKH(cid:3)V\VWHP(cid:3)LQ(cid:3)DGGLWLRQDO(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU DOVR(cid:3) VWRSSHG(cid:3) SD\PHQWV(cid:3) WR(cid:3) /RFNKHHG(cid:3) LQ(cid:3) )HEUXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) DV D(cid:3)UHVXOW(cid:3)RI(cid:3)WKH(cid:3)FRQWLQXLQJ(cid:3)SUREOHPV(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)QRWLILHG /RFNKHHG(cid:3)DQG(cid:3)WKH(cid:3)6WDWH /RFNKHHG(cid:3) LQ(cid:3) $XJXVW(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) WKDW(cid:3) LW(cid:3) KDG(cid:3) (cid:23)(cid:24)(cid:3) GD\V(cid:3) WR(cid:3) FRUUHFW WHUPLQDWHG(cid:3)WKHLU(cid:3)FRQWUDFW GHILFLHQFLHV(cid:17)(cid:3)(cid:3)$V(cid:3)RI(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)/RFNKHHG“V(cid:3)UHFRUGV(cid:3)LQGLFDWH LQ(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) WKDW(cid:3)(cid:25)(cid:20)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH(cid:3)PRVW(cid:3)LPSRUWDQW(cid:3)FRPSRQHQWV(cid:3)RI(cid:3)6$&66 EHFDXVH(cid:3)RI(cid:3)XQUHVROYHG FRQWDLQHG(cid:3)PDMRU(cid:3)RU(cid:3)FULWLFDO(cid:3)GHIHFWV(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG LVVXHV(cid:17) HQWHUHG(cid:3) QHJRWLDWLRQV(cid:3) LQ(cid:3) $XJXVW(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:3) WR(cid:3) UHVROYH(cid:3) GLIIHUHQFHV(cid:30) KRZHYHU(cid:15)(cid:3)WKHVH(cid:3)QHJRWLDWLRQV(cid:3)ZHUH(cid:3)XQVXFFHVVIXO(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH\ ZHUH(cid:3)XQDEOH(cid:3)WR(cid:3)UHDFK(cid:3)DQ(cid:3)DJUHHPHQW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG WHUPLQDWHG(cid:3)WKHLU(cid:3)FRQWUDFW(cid:3)LQ(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17) (cid:22)(cid:27) Chapter 3 7KH(cid:3)6WDWH(cid:3)0LVPDQDJHG(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)3URMHFW(cid:3)DQG(cid:3):DVWHG (cid:3)0LOOLRQV(cid:3)RI(cid:3)7D[SD\HU(cid:3)’ROODUV &KDSWHU(cid:3)6XPPDU\ $ V(cid:3) DGPLQLVWUDWRUV(cid:3) RI(cid:3) WKH(cid:3) 6WDWHZLGH(cid:3) $XWRPDWHG(cid:3) &KLOG 6XSSRUW(cid:3)6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:3)SURMHFW(cid:15)(cid:3)ERWK(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI 6RFLDO(cid:3) 6HUYLFHV(cid:3) (cid:11)6RFLDO(cid:3) 6HUYLFHV(cid:12)(cid:3) DQG(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG :HOIDUH(cid:3) $JHQF\(cid:3) ’DWD(cid:3) &HQWHU(cid:3) (cid:11)GDWD(cid:3) FHQWHU(cid:12)(cid:3) PDGH(cid:3) QXPHURXV PDQDJHPHQW(cid:3)GHFLVLRQV(cid:3)WKDW(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66 DQG(cid:3) FRVW(cid:3) WKH(cid:3) WD[SD\HUV(cid:3) PLOOLRQV(cid:3) RI(cid:3) GROODUV(cid:17)(cid:3) (cid:3) )URP(cid:3) SODQQLQJ WKURXJK(cid:3) LQVWDOODWLRQ(cid:3) RI(cid:3) WKH(cid:3) 6$&66(cid:3) FRPSXWHU(cid:3) SURJUDP(cid:3) LQ FRXQWLHV(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)PDQDJHG(cid:3)WKH(cid:3)SURMHFW(cid:3)SRRUO\(cid:17) 6SHFLILFDOO\(cid:15)(cid:3)ZH(cid:3)IRXQG(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW(cid:3)DGHTXDWHO\(cid:3)IXOILOO WKH(cid:3)IROORZLQJ(cid:3)PDQDJHPHQW(cid:3)UHVSRQVLELOLWLHV(cid:29) • ’HYHORSLQJ(cid:3)PHDVXUDEOH(cid:3)JRDOV(cid:3)DQG(cid:3)REMHFWLYHV(cid:3)IRU(cid:3)WKH(cid:3)6$&66 SURMHFW(cid:17) • 0DLQWDLQLQJ(cid:3)SURMHFW(cid:3)LQIRUPDWLRQ(cid:17) • (VWDEOLVKLQJ(cid:3) VDWLVIDFWRU\(cid:3) FRQWUDFW(cid:3) SHQDOW\(cid:3) DQG(cid:3) ULVN(cid:16)VKDULQJ SURYLVLRQV(cid:3) IRU(cid:3) /RFNKHHG(cid:3) 0DUWLQ(cid:3) ,QIRUPDWLRQ(cid:3) 0DQDJHPHQW 6\VWHPV(cid:3)(cid:11)/RFNKHHG(cid:12)(cid:17) • 0RQLWRULQJ(cid:3)WRWDO(cid:3)FRVWV(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:17) • (QVXULQJ(cid:3)(cid:7)(cid:20)(cid:22)(cid:3)PLOOLRQ(cid:3)VSHQW(cid:3)E\(cid:3)FRXQWLHV(cid:3)QRW(cid:3)XVLQJ(cid:3)6$&66(cid:3)IRU SHUVRQDO(cid:3)FRPSXWHUV(cid:3)DQG(cid:3)SULQWHUV(cid:3)ZDV(cid:3)DSSURSULDWH(cid:17) • 3HUIRUPLQJ(cid:3)D(cid:3)FRPSOHWH(cid:3)DQDO\VLV(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:3)ZKHQ WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)WRRN(cid:3)RYHU(cid:3)WKH(cid:3)SURMHFW(cid:3)IURP(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:17) • 3D\LQJ(cid:3)/RFNKHHG(cid:3)RQO\(cid:3)IRU(cid:3)FRPSOHWH(cid:3)FRQWUDFW(cid:3)GHOLYHUDEOHV(cid:17) • 1HJRWLDWLQJ(cid:3)FRQWUDFW(cid:3)DPHQGPHQWV(cid:3)SURSHUO\(cid:17) • (VWDEOLVKLQJ(cid:3) DGHTXDWH(cid:3) LQWHUQDO(cid:3) FRQWUROV(cid:3) RYHU(cid:3) DFFRXQWLQJ SURFHVVHV(cid:17) (cid:22)(cid:28) 7KH(cid:3)IROORZLQJ(cid:3)WDEOH(cid:3)TXDQWLILHV(cid:3)PDQ\(cid:3)RI(cid:3)WKH(cid:3)LQVWDQFHV(cid:3)LQ(cid:3)ZKLFK WKH(cid:3)6WDWH(cid:3)ZDVWHG(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)EHFDXVH(cid:3)RI(cid:3)SRRU(cid:3)PDQDJHPHQW GHFLVLRQV(cid:3)IRU(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:17) 7DEOH 6HOHFWHG(cid:3)([DPSOHV(cid:3)RI(cid:3),QDSSURSULDWH $FWLRQV(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:20) ,QDSSURSULDWH &RQWUDFW ,QDSSURSULDWH 3ULFH(cid:3),QFUHDVHV 3D\PHQWV /RFNKHHG“V(cid:3)DGPLQLVWUDWLRQ(cid:3)FRVWV (cid:7) (cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:7) (cid:21)(cid:15)(cid:27)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) &RQYHUVLRQ(cid:3)RI(cid:3)FRXQW\(cid:3)GDWD (cid:21)(cid:15)(cid:24)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:20)(cid:15)(cid:28)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) 8VHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)VXSSRUW (cid:23)(cid:15)(cid:21)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:22)(cid:15)(cid:27)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) 7UDLQLQJ (cid:20)(cid:15)(cid:20)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:21)(cid:15)(cid:24)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) 6RIWZDUH(cid:3)PDLQWHQDQFH (cid:21)(cid:15)(cid:24)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:23)(cid:21)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19) &RPSXWHU(cid:3)HTXLSPHQW(cid:21) (cid:20)(cid:22)(cid:15)(cid:19)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) 3URMHFW(cid:3)SODQV(cid:21) (cid:22)(cid:19)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19) *HQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:21) (cid:20)(cid:15)(cid:21)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) ’HWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:21) (cid:20)(cid:15)(cid:27)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) ’XSOLFDWH(cid:3)SD\PHQWV(cid:21) (cid:20)(cid:19)(cid:28)(cid:15)(cid:19)(cid:19)(cid:19) 7RWDO(cid:3)$PRXQWV (cid:7)(cid:20)(cid:23)(cid:15)(cid:22)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) (cid:7)(cid:21)(cid:26)(cid:15)(cid:27)(cid:22)(cid:25)(cid:15)(cid:19)(cid:19)(cid:19) (cid:20) 7KLV(cid:3)WDEOH(cid:3)SURYLGHV(cid:3)H[DPSOHV(cid:3)IURP(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:22)(cid:3)PLOOLRQ(cid:3)VSHQW(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:3)IRU(cid:3)6$&66(cid:17) (cid:21)1R(cid:3)FRQWUDFW(cid:3)SULFH(cid:3)LQFUHDVHV(cid:3)FRUUHVSRQG(cid:3)WR(cid:3)WKHVH(cid:3)H[DPSOHV(cid:17) 6RFLDO(cid:3)6HUYLFHV(cid:3)’LG(cid:3)1RW (VWDEOLVK(cid:3)0HDVXUDEOH(cid:3)*RDOV DQG(cid:3)2EMHFWLYHV(cid:3)IRU(cid:3)6$&66 ,Q(cid:3) LWV(cid:3) UXVK(cid:3) WR(cid:3) GHYHORS(cid:3) D(cid:3) VLQJOH(cid:15)(cid:3) VWDWHZLGH(cid:3) DXWRPDWHG(cid:3) FKLOG VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) V\VWHP(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) EHJDQ(cid:3) ZRUNLQJ RQ(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:3) ZLWKRXW(cid:3) HVWDEOLVKLQJ(cid:3) PHDVXUDEOH JRDOV(cid:3)DQG(cid:3)REMHFWLYHV(cid:17)(cid:3)(cid:3)7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)PDQGDWHG(cid:3)WKDW VWDWHV(cid:3) GHYHORS(cid:3) D(cid:3) VLQJOH(cid:3) VWDWHZLGH(cid:3) DXWRPDWHG(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3) V\VWHP(cid:3) LQ(cid:3) WKH(cid:3) )DPLO\(cid:3) 6XSSRUW(cid:3) $FW(cid:3) RI(cid:3) (cid:20)(cid:28)(cid:27)(cid:27)(cid:17) %HFDXVH(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)FUHDWH(cid:3)PHDVXUDEOH(cid:3)JRDOV(cid:3)VXFK(cid:3)DV(cid:3)LQFUHDVLQJ FROOHFWLRQV(cid:3) IURP(cid:3) DEVHQW(cid:3) SDUHQWV(cid:15)(cid:3) RU(cid:3) UHGXFLQJ(cid:3) ODERU(cid:3) FRVWV(cid:3) IRU FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)EHFDPH(cid:3)LQYROYHG(cid:3)LQ DXWRPDWLQJ(cid:3)SULPDULO\(cid:3)WR(cid:3)FRPSO\(cid:3)ZLWK(cid:3)IHGHUDO(cid:3)UHJXODWLRQV(cid:17) 7KH(cid:3) 8(cid:17)6(cid:17)(cid:3) *HQHUDO(cid:3) $FFRXQWLQJ(cid:3) 2IILFH(cid:3) (cid:11)*$2(cid:12)(cid:3) LVVXHG(cid:3) D(cid:3) UHSRUW GDWHG(cid:3) 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:3) WKDW(cid:3) LGHQWLILHG(cid:3) LQIRUPDWLRQ(cid:3) PDQDJHPHQW SUDFWLFHV(cid:3)RI(cid:3)OHDGLQJ(cid:3)RUJDQL]DWLRQV(cid:3)NQRZQ(cid:3)IRU(cid:3)WKHLU(cid:3)VXFFHVV(cid:3)LQ LPSOHPHQWLQJ(cid:3) LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3) SURMHFWV(cid:17)(cid:3) (cid:3) $GGLWLRQDOO\(cid:15) LQ(cid:3)6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)*$2(cid:3)LVVXHG(cid:3)DQ(cid:3)H[SRVXUH(cid:3)GUDIW(cid:3)UHSRUW (cid:23)(cid:19) UHODWHG(cid:3)WR(cid:3)PHDVXULQJ(cid:3)WKH(cid:3)SHUIRUPDQFH(cid:3)RI(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\ LQYHVWPHQWV(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKLV(cid:3)UHSRUW(cid:15)(cid:3)DQ\(cid:3)HIIRUW(cid:3)WR(cid:3)PHDVXUH LQIRUPDWLRQ(cid:3) WHFKQRORJ\(cid:3) SHUIRUPDQFH(cid:3) PXVW(cid:3) EHJLQ(cid:3) ZLWK(cid:3) FOHDUO\ GHILQHG(cid:3) JRDOV(cid:3) DQG(cid:3) REMHFWLYHV(cid:3) IRU(cid:3) ERWK(cid:3) WKH(cid:3) RUJDQL]DWLRQ(cid:3) DQG WKH(cid:3)VSHFLILF(cid:3)SURJUDP(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU(cid:3)ZRUGV(cid:15)(cid:3)DQ(cid:3)RUJDQL]DWLRQ(cid:3)FDQQRW SURSHUO\(cid:3)GHILQH(cid:3)LWV(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)JRDOV(cid:3)DQG(cid:3)REMHFWLYHV (cid:11)PXFK(cid:3)OHVV(cid:3)GHWHUPLQH(cid:3)WKH(cid:3)GHJUHH(cid:3)RI(cid:3)VXFFHVV(cid:3)LQ(cid:3)PHHWLQJ(cid:3)WKHP(cid:12) XQOHVV(cid:3) LW(cid:3) KDV(cid:3) FOHDUO\(cid:3) GHILQHG(cid:3) JRDOV(cid:3) DQG(cid:3) REMHFWLYHV(cid:3) IRU(cid:3) WKH SURJUDPV(cid:3)WKDW(cid:3)WKH(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)VXSSRUWV(cid:17) 7R(cid:3) HIIHFWLYHO\(cid:3) HYDOXDWH(cid:3) 6$&66(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) VKRXOG(cid:3) KDYH LGHQWLILHG(cid:3) LWV(cid:3) REMHFWLYHV(cid:3) IRU(cid:3) DXWRPDWLQJ(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)SURJUDP(cid:3)DQG(cid:3) HVWDEOLVKHG(cid:3) PHDVXUDEOH(cid:3) FULWHULD(cid:3) IRU GHWHUPLQLQJ(cid:3)WKH(cid:3)VXFFHVV(cid:3)RU(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)2QH(cid:3)PHWKRG RI(cid:3)HVWDEOLVKLQJ(cid:3)VXFK(cid:3)FULWHULD(cid:3)LV(cid:3)WR(cid:3)GHYHORS(cid:3)SHUIRUPDQFH(cid:3)PHDVXUHV IRFXVLQJ(cid:3) RQ(cid:3) WKH(cid:3) EHQHILWV(cid:15)(cid:3) FRVWV(cid:15)(cid:3) DQG(cid:3) ULVNV(cid:3) RI(cid:3) LQIRUPDWLRQ WHFKQRORJ\(cid:3) SURMHFWV(cid:17)(cid:3) (cid:3) 2UJDQL]DWLRQV(cid:3) XVH(cid:3) VXFK(cid:3) PHDVXUHV(cid:3) WR HYDOXDWH(cid:3)REMHFWLYHO\(cid:3)D(cid:3)SURMHFW“V(cid:3)RXWFRPHV(cid:15)(cid:3)VXFK(cid:3) DV(cid:3) LQFUHDVHG FROOHFWLRQV(cid:3)RU(cid:3)UHGXFHG(cid:3)ODERU(cid:3)FRVWV(cid:17) 7KH(cid:3)6WDWH(cid:3)’LG(cid:3)1RW(cid:3)3ODQ(cid:3)IRU 0DLQWHQDQFH(cid:3)RI(cid:3)3URMHFW(cid:3),QIRUPDWLRQ %HFDXVH(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW(cid:3)HVWDEOLVK(cid:3)VHYHUDO(cid:3)NH\(cid:3)SURFHVVHV HVVHQWLDO(cid:3) IRU(cid:3) VWRULQJ(cid:3) DQG(cid:3) PDLQWDLQLQJ(cid:3) LPSRUWDQW(cid:3) SURMHFW LQIRUPDWLRQ(cid:3)DQG(cid:3)GRFXPHQWV(cid:3)GXULQJ(cid:3)WKH(cid:3)SODQQLQJ(cid:3)VWDJHV(cid:3)RI(cid:3)WKH SURMHFW(cid:15)(cid:3)LW(cid:3)ORVW(cid:3)FULWLFDO(cid:3)GRFXPHQWV(cid:3)DQG(cid:3)SURMHFW(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3),Q DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)HVWDEOLVK(cid:3)WKHVH(cid:3)SURFHVVHV(cid:3)ZKHQ LW(cid:3)DVVXPHG(cid:3)PDQDJHPHQW(cid:3)RI(cid:3)WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15) 6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)HVWDEOLVK(cid:3)D(cid:3)FHQWUDO OLEUDU\(cid:15)(cid:3) D(cid:3) SURFHVV(cid:3) IRU(cid:3) WUDFNLQJ(cid:3) DQG(cid:3) PRQLWRULQJ(cid:3) FRQWUDFWRU 6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)DQG(cid:3)ODWHU GHOLYHUDEOHV(cid:3)SURYLGHG(cid:3)E\(cid:3)/RFNKHHG(cid:15)(cid:3)RU(cid:3)D(cid:3)SURFHVV(cid:3)IRU(cid:3)WUDQVIHUULQJ WKH(cid:3)GDWD(cid:3)FHQWHU(cid:15)(cid:3)FRXOG SURMHFW(cid:3) NQRZOHGJH(cid:3) DQG(cid:3) GHFLVLRQV(cid:3) EHWZHHQ(cid:3) GHSDUWLQJ(cid:3) DQG QRW(cid:3)ORFDWH(cid:3)UHOHYDQW DUULYLQJ(cid:3)SURMHFW(cid:3)VWDII(cid:17) LQIRUPDWLRQ(cid:3)DQG GRFXPHQWV(cid:3)EHFDXVH(cid:3)QR :LWKRXW(cid:3)D(cid:3)FHQWUDO(cid:3)OLEUDU\(cid:15)(cid:3)WKH(cid:3)FXUUHQW(cid:3)SURMHFW(cid:3)WHDP(cid:3)VWUXJJOHG(cid:3)WR SURMHFW(cid:3)OLEUDU\(cid:3)H[LVWHG(cid:17) ORFDWH(cid:3)IRU(cid:3)XV(cid:3)UHOHYDQW(cid:3)LQIRUPDWLRQ(cid:15)(cid:3)GRFXPHQWV(cid:15)(cid:3)DQG(cid:3)FRQWUDFWRU GHOLYHUDEOHV(cid:17)(cid:3)(cid:3),Q(cid:3)QXPHURXV(cid:3)LQVWDQFHV(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH GDWD(cid:3)FHQWHU(cid:3)FRXOG(cid:3)QRW(cid:3)VXSSO\(cid:3)WKH(cid:3)LQIRUPDWLRQ(cid:3)RU(cid:3)WRRN(cid:3)VHYHUDO ZHHNV(cid:3)WR(cid:3)SURYLGH(cid:3)D(cid:3)UHVSRQVH(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)ZH(cid:3)UHTXHVWHG(cid:3)D(cid:3)OLVW RI(cid:3)PDQDJHUV(cid:3)ZKR(cid:3)ZRUNHG(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW(cid:30)(cid:3)KRZHYHU(cid:15)(cid:3)WKH(cid:3)SURMHFW WHDP(cid:3)ZDV(cid:3)XQDEOH(cid:3)WR(cid:3)IXUQLVK(cid:3)FRPSOHWH(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)FXUUHQW SURMHFW(cid:3)WHDP(cid:3)DWWHPSWHG(cid:3)WR(cid:3)UHFRQVWUXFW(cid:3)WKH(cid:3)OLVW(cid:3)RI(cid:3)SDVW(cid:3)PDQDJHUV(cid:15) EXW(cid:3)ZH(cid:3)FRXOG(cid:3)QRW(cid:3)YHULI\(cid:3)WKDW(cid:3)WKH(cid:3)OLVW(cid:3)ZDV(cid:3)FRPSOHWH(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU LQVWDQFHV(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)FRXOG(cid:3)QRW(cid:3)YHULI\(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)KDG UHFHLYHG(cid:3)FHUWDLQ(cid:3)GRFXPHQWV(cid:3)IURP(cid:3)/RFNKHHG(cid:17) (cid:23)(cid:20) 7KH(cid:3)FXUUHQW(cid:3)WHDP(cid:3)DOVR(cid:3)VWUXJJOHG(cid:3)WR(cid:3)SURYLGH(cid:3)UHDVRQV(cid:3)IRU(cid:3)GHFLVLRQV PDGH(cid:3)GXULQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)EHFDXVH(cid:3)VWDII(cid:3)KDG(cid:3)QRW(cid:3)GRFXPHQWHG(cid:3)WKH UHDVRQV(cid:3)RU(cid:3)GLG(cid:3)QRW(cid:3)PDLQWDLQ(cid:3)WKH(cid:3)GRFXPHQWDWLRQ(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15) ZKHQ(cid:3)ZH(cid:3)TXHVWLRQHG(cid:3)ZK\(cid:3)WKH(cid:3)6WDWH(cid:3)SDLG(cid:3)IRU(cid:3) WKH(cid:3) LQFRPSOHWH ULVN(cid:3) DQDO\VLV(cid:3) DQG(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:15)(cid:3) WKH(cid:3) FXUUHQW SURMHFW(cid:3)WHDP(cid:3)FRXOG(cid:3)QRW(cid:3)SURYLGH(cid:3)D(cid:3)YDOLG(cid:3)H[SODQDWLRQ(cid:17)(cid:3)(cid:3),Q(cid:3)D(cid:3)PRUH FULWLFDO(cid:3)H[DPSOH(cid:15)(cid:3)ZH(cid:3)UHTXHVWHG(cid:3)UDWLRQDOH(cid:3)IRU(cid:3)WKH(cid:3)6WDWH“V(cid:3)GHFLVLRQ WR(cid:3) DSSURYH(cid:3) WKH(cid:3) PDVWHU(cid:3) FRQYHUVLRQ(cid:3) SODQ(cid:3) ZKLFK(cid:3) LQFOXGHG VLJQLILFDQW(cid:3)FKDQJHV(cid:3)IURP(cid:3)/RFNKHHG“V(cid:3)SURSRVDO(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH FXUUHQW(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)WHDP(cid:3)FRXOG(cid:3)QRW(cid:3)SURYLGH(cid:3)DGHTXDWH MXVWLILFDWLRQ(cid:3)IRU(cid:3)WKH(cid:3)FKDQJHV(cid:17) 7KH(cid:3)6WDWH(cid:3)’LG(cid:3)1RW(cid:3)(VWDEOLVK 6DWLVIDFWRU\(cid:3)&RQWUDFW(cid:3)3HQDOW\ DQG(cid:3)5LVN(cid:16)6KDULQJ(cid:3)3URYLVLRQV ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)QHJOHFWLQJ(cid:3)LQIRUPDWLRQ(cid:3)PDLQWHQDQFH(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)GLG QRW(cid:3)HVWDEOLVK(cid:3)DGHTXDWH(cid:3)SHQDOW\(cid:3)DQG(cid:3)RWKHU(cid:3)ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV IRU(cid:3)6$&66(cid:3)DQG(cid:3)WKXV(cid:3)GLG(cid:3)QRW(cid:3)SURWHFW(cid:3)WKH(cid:3)6WDWH“V(cid:3)IXQGV(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU ZRUGV(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) GLG(cid:3) QRW(cid:3) LQLWLDOO\(cid:3) FRQVLGHU(cid:3) DOO(cid:3) SRWHQWLDO(cid:3) ULVNV DULVLQJ(cid:3) IURP(cid:3) SURMHFW(cid:3) H[SHQGLWXUHV(cid:3) DQG(cid:3) ORVW(cid:3) EHQHILWV(cid:3) LI(cid:3) WKH LPSOHPHQWDWLRQ(cid:3)FRQWUDFWRU(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)D(cid:3)IXQFWLRQDO(cid:3)V\VWHP(cid:17) 7KH(cid:3)6WDWH(cid:3)ULVNHG(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • /RVLQJ(cid:3)XS(cid:3)WR(cid:3)(cid:7)(cid:23)(cid:3)ELOOLRQ(cid:3)LQ(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)IRU(cid:3)WKH(cid:3)6WDWH“V FKLOG(cid:3)VXSSRUW(cid:3)DQG(cid:3)ZHOIDUH(cid:3)SURJUDPV(cid:3)LI(cid:3)6$&66(cid:3)GLG(cid:3)QRW(cid:3)FRPSO\ ZLWK(cid:3)IHGHUDO(cid:3)UHTXLUHPHQWV(cid:17) • /RVLQJ(cid:3)(cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)LI(cid:3)6$&66(cid:3)GLG(cid:3)QRW(cid:3)PHHW(cid:3)WKH GHDGOLQH(cid:3)IRU(cid:3)LQVWDOODWLRQ(cid:17) • ,QFXUULQJ(cid:3)FRVWV(cid:3)WR(cid:3)IL[(cid:3)WKH(cid:3)V\VWHP(cid:3)RU(cid:3)REWDLQ(cid:3)D(cid:3)QHZ(cid:3)V\VWHP(cid:17) • /RVLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)FROOHFWLRQV(cid:3)WKDW(cid:3)ZRXOG(cid:3)LQFUHDVH(cid:3)ZLWK WKH(cid:3)LQVWDOODWLRQ(cid:3)RI(cid:3)D(cid:3)IXQFWLRQDO(cid:3)6$&66(cid:17) • /RVLQJ(cid:3)VDYLQJV(cid:3)IURP(cid:3)HIILFLHQFLHV(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)FRXOG(cid:3)JDLQ WKURXJK(cid:3)6$&66(cid:17) $OWKRXJK(cid:3)WKH(cid:3)FRQWUDFW ZDV(cid:3)DPHQGHG(cid:3)VL[(cid:3)WLPHV • /RVLQJ(cid:3) FRQWUDFW(cid:3) FRVWV(cid:3) SDLG(cid:3) WR(cid:3) /RFNKHHG(cid:3) IRU(cid:3) GHYHORSLQJ EHWZHHQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:3)DQG 6$&66(cid:17) ’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV 6RFLDO(cid:3) 6HUYLFHV(cid:3) DQG(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) DPHQGHG(cid:3) WKH(cid:3) FRQWUDFW ZHUH(cid:3)QRW(cid:3)LQFUHDVHG(cid:3)XQWLO VL[(cid:3)WLPHV(cid:3)EHWZHHQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:3)DQG(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15) WKH(cid:3)ODVW(cid:3)DPHQGPHQW(cid:17) WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW(cid:3)LQFUHDVH(cid:3)WKH(cid:3)ULVN(cid:16)VKDULQJ(cid:3)SURYLVLRQV(cid:3)XQWLO(cid:3)WKH ODVW(cid:3)DPHQGPHQW(cid:17)(cid:3)(cid:3),W(cid:3)LV(cid:3)LPSRUWDQW(cid:3)WR(cid:3)QRWH(cid:3)WKDW(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU (cid:23)(cid:21) VLJQLILFDQWO\(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SHQDOW\(cid:3)SURYLVLRQV(cid:3)IURP(cid:3)WKH(cid:3)RULJLQDO FRQWUDFW(cid:15)(cid:3) LQFUHDVLQJ(cid:3) WKH(cid:3) OLTXLGDWHG(cid:3) GDPDJHV(cid:3) WR(cid:3) (cid:7)(cid:23)(cid:3) PLOOLRQ(cid:17) 7KHVH(cid:3) SURYLVLRQV(cid:3) DUH(cid:3) DYDLODEOH(cid:3) WR(cid:3) WKH(cid:3) 6WDWH(cid:3) LI(cid:3) WKH(cid:3) FRQWUDFWRU GRHV(cid:3) QRW(cid:3) SHUIRUP(cid:3) DFFRUGLQJ(cid:3) WR(cid:3) FRQWUDFW(cid:3) UHTXLUHPHQWV(cid:17)(cid:3) (cid:3) ,Q DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) FRQWUDFW(cid:3) LQFOXGHG(cid:3) D(cid:3) SHUIRUPDQFH(cid:3) ERQG(cid:3) IRU (cid:7)(cid:22)(cid:26)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)QHLWKHU(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)QRU(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)LQFUHDVHG(cid:3) WKH(cid:3) DPRXQW(cid:3) RI(cid:3) WKH(cid:3) SHUIRUPDQFH(cid:3) ERQG(cid:3) HYHQ WKRXJK(cid:3)WKH(cid:3)FRQWUDFW(cid:3)FRVWV(cid:3)LQFUHDVHG(cid:3)IURP(cid:3)(cid:7)(cid:26)(cid:24)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)WKH RULJLQDO(cid:3)FRQWUDFW(cid:3)WR(cid:3)(cid:7)(cid:20)(cid:19)(cid:22)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)WKH(cid:3)ODVW(cid:3)DPHQGPHQW(cid:17) ,Q(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)DJUHHG(cid:3)WR(cid:3)WHUPLQDWH WKH(cid:3) FRQWUDFW(cid:3) EHFDXVH(cid:3) WKH\(cid:3) FRXOG(cid:3) QRW(cid:3) UHVROYH(cid:3) GLIIHUHQFHV(cid:17) +RZHYHU(cid:15)(cid:3) /RFNKHHG“V(cid:3) OLDELOLW\(cid:3) PD\(cid:3) EH(cid:3) OLPLWHG(cid:3) EHFDXVH(cid:3) WKH SHQDOW\(cid:3)SURYLVLRQV(cid:3)ZHUH(cid:3)QRW(cid:3)FRPPHQVXUDWH(cid:3)ZLWK(cid:3)WKH(cid:3)FRQWUDFW“V DPRXQW(cid:17) 6RFLDO(cid:3)6HUYLFHV(cid:3))DLOHG(cid:3)7R 0DQDJH(cid:3)3URMHFW(cid:3)&RVWV $(cid:3)IXQGDPHQWDO(cid:3)WRRO(cid:3)RI(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)LV(cid:3)DFFRXQWLQJ(cid:3)IRU DQG(cid:3)FRQWUROOLQJ(cid:3)FRVWV(cid:3)DVVRFLDWHG(cid:3)ZLWK(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)ZH IRXQG(cid:3) WKDW(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) ODFNHG(cid:3) WKLV(cid:3) PRVW(cid:3) EDVLF(cid:3) WRRO RI(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) ZKLOH(cid:3) LW(cid:3) VSHQW(cid:3) PLOOLRQV(cid:3) RI(cid:3) GROODUV(cid:3) RI WD[SD\HU(cid:3)PRQH\(cid:3)RQ(cid:3)6$&66(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)DFFRXQW(cid:3)IRU(cid:3)DQG FRQWURO(cid:3)FRVWV(cid:3)DVVRFLDWHG(cid:3)ZLWK(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FDQQRW DFFXUDWHO\(cid:3) GHWHUPLQH(cid:3) WKH(cid:3) WRWDO(cid:3) DPRXQW(cid:3) VSHQW(cid:3) RQ(cid:3) 6$&66(cid:17) 0RUHRYHU(cid:15)(cid:3) ZH(cid:3) FDQQRW(cid:3) IXOO\(cid:3) GHWHUPLQH(cid:3) ZKHWKHU(cid:3) WKH(cid:3) 6WDWH“V %HFDXVH(cid:3)6RFLDO(cid:3)6HUYLFHV H[SHQGLWXUH(cid:3) RI(cid:3) PLOOLRQV(cid:3) RI(cid:3) WD[SD\HU(cid:3) GROODUV(cid:3) RQ(cid:3) 6$&66(cid:3) ZDV GLG(cid:3)QRW(cid:3)DFFRXQW(cid:3)IRU(cid:3)DQG UHDVRQDEOH(cid:3)DQG(cid:3)DSSURSULDWH(cid:17) FRQWURO(cid:3)SURMHFW(cid:3)FRVWV(cid:15)(cid:3)LW FDQQRW(cid:3)DFFXUDWHO\ $FFRUGLQJ(cid:3)WR(cid:3)D(cid:3)UHSRUW(cid:3)SUHSDUHG(cid:3)E\(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)DQG GHWHUPLQH(cid:3)WKH(cid:3)DPRXQW 6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)6$&66(cid:3)H[SHQGLWXUHV(cid:3)WRWDOHG(cid:3)(cid:7)(cid:20)(cid:19)(cid:25)(cid:3)PLOOLRQ(cid:3)DV(cid:3)RI VSHQW(cid:3)RQ(cid:3)6$&66(cid:17)(cid:3)(cid:3):H -XQH(cid:3) (cid:22)(cid:19)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) GLG(cid:3) QRW(cid:3) KDYH(cid:3) DQ LGHQWLILHG(cid:3)DW(cid:3)OHDVW DGHTXDWH(cid:3)V\VWHP(cid:3)WR(cid:3)DFFRXQW(cid:3)IRU(cid:3)WKHVH(cid:3)H[SHQGLWXUHV(cid:15)(cid:3)ZH(cid:3)KDG(cid:3)WR (cid:7)(cid:20)(cid:20)(cid:20)(cid:3)PLOOLRQ(cid:3)VSHQW UHFRQVWUXFW(cid:3) WKH(cid:3) FRVW(cid:3) KLVWRU\(cid:3) E\(cid:3) PDQXDOO\(cid:3) UHYLHZLQJ(cid:3) \HDUV(cid:3) RI WKURXJK(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17) ILQDQFLDO(cid:3) DFFRXQWLQJ(cid:3) GDWD(cid:3) WR(cid:3) YDOLGDWH(cid:3) WKH(cid:3) H[SHQGLWXUH(cid:3) UHSRUW(cid:17) :H(cid:3) LGHQWLILHG(cid:3) DW(cid:3) OHDVW(cid:3) (cid:7)(cid:20)(cid:20)(cid:20)(cid:3) PLOOLRQ(cid:3) RI(cid:3) 6$&66(cid:3) H[SHQGLWXUHV WKURXJK(cid:3) -XQH(cid:3) (cid:22)(cid:19)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) WKHUHIRUH(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV“(cid:3) UHSRUW(cid:3) LV XQGHUVWDWHG(cid:3)E\(cid:3)DW(cid:3)OHDVW(cid:3)(cid:7)(cid:24)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)ZH(cid:3)EHOLHYH(cid:3)WKDW WKH(cid:3) (cid:7)(cid:20)(cid:20)(cid:20)(cid:3) PLOOLRQ(cid:3) ILJXUH(cid:3) LV(cid:3) DOVR(cid:3) XQGHUVWDWHG(cid:3) EHFDXVH(cid:3) 6RFLDO 6HUYLFHV(cid:3)FRPPLQJOHG(cid:3)LQ(cid:3)LWV(cid:3)DFFRXQWLQJ(cid:3)UHFRUGV(cid:3)DGGLWLRQDO(cid:3)6$&66 FRVWV(cid:3)ZLWK(cid:3)XQUHODWHG(cid:3)FRVWV(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)ZH(cid:3)FDQQRW(cid:3)GHWHUPLQH ZKLFK(cid:3)RI(cid:3)WKHVH(cid:3)FRPPLQJOHG(cid:3)FRVWV(cid:3)DUH(cid:3)DWWULEXWDEOH(cid:3)WR(cid:3)WKH(cid:3)6$&66 SURMHFW(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)QR(cid:3)RQH(cid:3)FDQ(cid:3)FDOFXODWH(cid:3)H[DFWO\(cid:3)KRZ(cid:3)PXFK WKH(cid:3)6WDWH(cid:3)KDV(cid:3)VSHQW(cid:3)RQ(cid:3)6$&66(cid:3)WR(cid:3)GDWH(cid:17) (cid:23)(cid:22) 1RW(cid:3)RQO\(cid:3)GLG(cid:3)LW(cid:3)IDLO(cid:3)WR(cid:3)PRQLWRU(cid:3)H[SHQGLWXUHV(cid:15)(cid:3)EXW(cid:3)6RFLDO(cid:3)6HUYLFHV DOVR(cid:3)QHJOHFWHG(cid:3)WR(cid:3)UHYLHZ(cid:3)WKRVH(cid:3)H[SHQGLWXUHV(cid:3)SHULRGLFDOO\(cid:17)(cid:3)(cid:3):KHQ ZH(cid:3) EHJDQ(cid:3) DVNLQJ(cid:3) TXHVWLRQV(cid:3) DERXW(cid:3) KRZ(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) ZDV VSHQGLQJ(cid:3)6$&66(cid:3)IXQGV(cid:15)(cid:3)SURMHFW(cid:3)VWDII(cid:3)FRXOG(cid:3)SURYLGH(cid:3)IHZ(cid:3)DQVZHUV(cid:17) 8SRQ(cid:3)IXUWKHU(cid:3)LQYHVWLJDWLRQ(cid:15)(cid:3)ZH(cid:3)GLVFRYHUHG(cid:3)WKDW(cid:3)6RFLDO(cid:3)6HUYLFHV“ ILVFDO(cid:3)DFFRXQWLQJ(cid:3)XQLW(cid:3)KDG(cid:3)SUHSDUHG(cid:3)PRQWKO\(cid:3)H[SHQGLWXUH(cid:3)UHSRUWV IRU(cid:3)6$&66(cid:3)VLQFH(cid:3)WKH(cid:3)VWDUW(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)$IWHU(cid:3)ZH(cid:3)LQIRUPHG(cid:3)WKH FXUUHQW(cid:3)SURMHFW(cid:3)VWDII(cid:3)WKDW(cid:3)WKH(cid:3)UHSRUWV(cid:3)H[LVWHG(cid:15)(cid:3)WKH(cid:3)VWDII(cid:3)IRXQG(cid:3)D ER[(cid:3) FRQWDLQLQJ(cid:3) (cid:21)(cid:21)(cid:3) RI(cid:3) WKH(cid:3) (cid:23)(cid:21)(cid:3) PRQWKO\(cid:3) H[SHQGLWXUH(cid:3) UHSRUWV(cid:17) +RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FRXOG(cid:3)SURYLGH(cid:3)QR(cid:3)HYLGHQFH(cid:3)WKDW(cid:3)WKH SURMHFW(cid:3)VWDII(cid:3)RU(cid:3)PDQDJHPHQW(cid:3)HYHU(cid:3)XVHG(cid:3)WKH(cid:3)UHSRUWV(cid:3)WR(cid:3)UHYLHZ(cid:3)RU DQDO\]H(cid:3)6$&66(cid:3)H[SHQGLWXUHV(cid:17) )LQDOO\(cid:15)(cid:3)LQ(cid:3)DQ(cid:3)HIIRUW(cid:3)WR(cid:3)DVVHVV(cid:3)WKH(cid:3)UHDVRQDEOHQHVV(cid:3)DQG(cid:3)SURSULHW\ RI(cid:3) 6$&66(cid:3) H[SHQGLWXUHV(cid:15)(cid:3) ZH(cid:3) DVNHG(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) IRU(cid:3) D OLVW(cid:3)RI(cid:3)DOO(cid:3)SXUFKDVH(cid:3)RUGHUV(cid:3)UHODWHG(cid:3)WR(cid:3)HTXLSPHQW(cid:3)DQG(cid:3)FRQVXOWLQJ :H(cid:3)DVNHG(cid:3)6RFLDO(cid:3)6HUYLFHV VHUYLFHV(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)$(cid:3)SXUFKDVH(cid:3)RUGHU(cid:3)LV(cid:3)D(cid:3)VWDQGDUG(cid:3)IRUP IRU(cid:3)D(cid:3)OLVW(cid:3)RI(cid:3)SXUFKDVH WKDW(cid:3) DXWKRUL]HV(cid:3) SXUFKDVHV(cid:3) IURP(cid:3) YHQGRUV(cid:3) RWKHU(cid:3) WKDQ(cid:3) VWDWH RUGHUV(cid:3)UHODWHG(cid:3)WR DJHQFLHV(cid:17)(cid:3) (cid:3) )RXU(cid:3) PRQWKV(cid:3) DIWHU(cid:3) RXU(cid:3) UHTXHVW(cid:15)(cid:3) 6RFLDO(cid:3) 6HUYLFHV HTXLSPHQW(cid:3)DQG(cid:3)FRQVXOWLQJ SURYLGHG(cid:3) DQ(cid:3) LQFRPSOHWH(cid:3) OLVW(cid:3) RI(cid:3) MXVW(cid:3) VHYHQ(cid:3) SXUFKDVH(cid:3) RUGHUV VHUYLFHV(cid:30)(cid:3)IRXU(cid:3)PRQWKV WRWDOLQJ(cid:3) RQO\(cid:3) (cid:7)(cid:23)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) KDG(cid:3) VXFK ODWHU(cid:3)LW(cid:3)SURYLGHG(cid:3)DQ LQDGHTXDWH(cid:3) UHFRUGV(cid:15)(cid:3) QHLWKHU(cid:3) ZH(cid:3) QRU(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) FDQ LQFRPSOHWH(cid:3)OLVW(cid:3)RI(cid:3)MXVW GHWHUPLQH(cid:3)WKH(cid:3)QXPEHU(cid:3)RU(cid:3)GROODU(cid:3)DPRXQW(cid:3)RI(cid:3)SXUFKDVH(cid:3)RUGHUV(cid:3)LW VHYHQ(cid:3)GRFXPHQWV(cid:3)WRWDOLQJ H[HFXWHG(cid:3)LQ(cid:3)FRQMXQFWLRQ(cid:3)ZLWK(cid:3)6$&66(cid:17) (cid:7)(cid:23)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17) ,WV(cid:3)IDLOXUH(cid:3)WR(cid:3)WUDFN(cid:3)SURMHFW(cid:3)FRVWV(cid:3)DGHTXDWHO\(cid:3)LV(cid:3)D(cid:3)IDPLOLDU(cid:3)LVVXH IRU(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:17)(cid:3) (cid:3) ,Q(cid:3) $SULO(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) ZH(cid:3) UHSRUWHG(cid:3) D(cid:3) VLPLODU ZHDNQHVV(cid:3) LQ(cid:3) RXU(cid:3) DXGLW(cid:3) RI(cid:3) WKH(cid:3) 6WDWHZLGH(cid:3) $XWRPDWHG(cid:3) :HOIDUH 6\VWHP(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)ZH(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)QHLWKHU(cid:3)6RFLDO(cid:3)6HUYLFHV QRU(cid:3) IHGHUDO(cid:3) DJHQFLHV(cid:3) FRXOG(cid:3) WHOO(cid:3) KRZ(cid:3) PXFK(cid:3) WKH\(cid:3) KDG(cid:3) VSHQW RQ(cid:3)ZHOIDUH(cid:3)DXWRPDWLRQ(cid:17)(cid:3)(cid:3),Q(cid:3)UHVSRQVH(cid:3)WR(cid:3)WKH(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:3)DXGLW(cid:3)ILQGLQJ(cid:15) 6RFLDO(cid:3)6HUYLFHV(cid:3)VWDWHG(cid:3)WKDW(cid:3)LWV(cid:3)DFFRXQWLQJ(cid:3)V\VWHP(cid:3)ZDV(cid:3)QRW(cid:3)ZHOO VXLWHG(cid:3)WR(cid:3)UHSRUWLQJ(cid:3)FXPXODWLYH(cid:3)FRVWV(cid:3)RI(cid:3)ORQJ(cid:16)WHUP(cid:3)SURMHFWV(cid:3)DQG WKDW(cid:3) LW(cid:3) ZRXOG(cid:3) WDNH(cid:3) VWHSV(cid:3) WR(cid:3) LPSURYH(cid:3) LWV(cid:3) UHSRUWLQJ(cid:3) V\VWHP(cid:3) IRU DXWRPDWLRQ(cid:3)SURMHFW(cid:3)FRVWV(cid:17) &RXQWLHV(cid:3)1RW(cid:3)8VLQJ(cid:3)6$&66(cid:3)6SHQW 0RUH(cid:3)7KDQ(cid:3)(cid:7)(cid:20)(cid:22)(cid:3)0LOOLRQ(cid:3)IRU 3HUVRQDO(cid:3)&RPSXWHUV(cid:3)DQG(cid:3)3ULQWHUV 7KH(cid:3)6WDWH(cid:3)DOORZHG(cid:3)FRXQWLHV(cid:3)WR(cid:3)SXUFKDVH(cid:3)SHUVRQDO(cid:3)FRPSXWHUV(cid:3)DQG ODVHU(cid:3) SULQWHUV(cid:3) IRU(cid:3) 6$&66(cid:3) EHIRUH(cid:3) WKH(cid:3) FRXQWLHV(cid:3) QHHGHG WKH(cid:3)HTXLSPHQW(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)(cid:22)(cid:20)(cid:3)FRXQWLHV(cid:3)WKDW(cid:3)QHYHU(cid:3)UHFHLYHG(cid:3)WKH 6$&66(cid:3)V\VWHP(cid:3)VSHQW(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:20)(cid:22)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)WD[SD\HU(cid:3)PRQH\ IRU(cid:3)SHUVRQDO(cid:3)FRPSXWHUV(cid:3)DQG(cid:3)ODVHU(cid:3)SULQWHUV(cid:15)(cid:3)VRPH(cid:3)RI(cid:3)ZKLFK(cid:3)KDYH QHYHU(cid:3)EHHQ(cid:3)XVHG(cid:3)DQG(cid:3)DUH(cid:3)VLWWLQJ(cid:3)LQ(cid:3)VWRUDJH(cid:17)(cid:3)(cid:3))RU(cid:3)LQVWDQFH(cid:15)(cid:3)RQH FRXQW\(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)LW(cid:3)VSHQW(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:26)(cid:22)(cid:26)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)SHUVRQDO (cid:23)(cid:23) FRPSXWHUV(cid:3)DQG(cid:3)SULQWHUV(cid:3)WR(cid:3)RSHUDWH(cid:3)6$&66(cid:3)ZKLOH(cid:3)DQRWKHU(cid:3)FRXQW\ FRQILUPHG(cid:3)WKDW(cid:3)LW(cid:3)SXUFKDVHG(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:22)(cid:25)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ(cid:3)FRPSXWHU HTXLSPHQW(cid:30)(cid:3)QRQH(cid:3)RI(cid:3)WKLV(cid:3)HTXLSPHQW(cid:3)LV(cid:3)LQ(cid:3)XVH(cid:3)IRU(cid:3)6$&66(cid:17) ,Q(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DXWKRUL]HG(cid:3)HDUO\(cid:3)GHSOR\PHQW(cid:3)RI HTXLSPHQW(cid:3)LQFOXGLQJ(cid:3)WKH(cid:3)SXUFKDVH(cid:3)RI(cid:3)SHUVRQDO(cid:3)FRPSXWHUV(cid:3)E\(cid:3)WKH FRXQWLHV(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) 6WDWH(cid:15)(cid:3) LW(cid:3) DOORZHG(cid:3) WKH(cid:3) FRXQWLHV WR(cid:3)SXUFKDVH(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:3)SUHPDWXUHO\(cid:3)WR(cid:3)WDNH(cid:3)DGYDQWDJH RI(cid:3) WKH(cid:3) (cid:28)(cid:19)(cid:3) SHUFHQW(cid:3) IHGHUDO(cid:3) IXQGLQJ(cid:3) EHIRUH(cid:3) LW(cid:3) H[SLUHG(cid:3) RQ 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3)7\SLFDOO\(cid:15)(cid:3)LI(cid:3)D(cid:3)FRXQW\(cid:3)ZDQWHG(cid:3)WR(cid:3)SXUFKDVH FRPSXWHU(cid:3) HTXLSPHQW(cid:3) IRU(cid:3) LWV(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) SURJUDP(cid:15)(cid:3) IHGHUDO IXQGLQJ(cid:3)ZRXOG(cid:3)FRYHU(cid:3)RQO\(cid:3)(cid:25)(cid:25)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKHVH(cid:3)FRVWV(cid:17) :KLOH(cid:3) VRPH(cid:3) FRXQWLHV(cid:3) KDYH(cid:3) WKHLU(cid:3) SHUVRQDO(cid:3) FRPSXWHUV(cid:3) DQG SULQWHUV(cid:3)VLWWLQJ(cid:3)LQ(cid:3)VWRUDJH(cid:15)(cid:3)RWKHU(cid:3)FRXQWLHV(cid:3)PD\(cid:3)DFWXDOO\(cid:3)EH(cid:3)XVLQJ WKLV(cid:3)HTXLSPHQW(cid:3)IRU(cid:3)WKHLU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DFWLYLWLHV(cid:17) +RZHYHU(cid:15)(cid:3)UHJDUGOHVV(cid:3)RI(cid:3)ZKHWKHU(cid:3)WKH(cid:3)(cid:22)(cid:20)(cid:3)FRXQWLHV(cid:3)DUH(cid:3)XVLQJ(cid:3)WKHLU SHUVRQDO(cid:3)FRPSXWHUV(cid:3)DQG(cid:3)SULQWHUV(cid:15)(cid:3)WKH\(cid:3)DUH(cid:3)QRW(cid:3)XVLQJ(cid:3)WKHP(cid:3)IRU 6$&66(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)SDLG(cid:3)DQ(cid:3)HQKDQFHG UDWH(cid:3)RI(cid:3)(cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)IRU(cid:3)FRXQWLHV(cid:3)WR(cid:3)SXUFKDVH(cid:3)FRPSXWHU(cid:3)HTXLSPHQW PHDQW(cid:3)IRU(cid:3)EXW(cid:3)QRW(cid:3)EHLQJ(cid:3)XVHG(cid:3)IRU(cid:3)6$&66(cid:17) 7KH(cid:3)’DWD(cid:3)&HQWHU(cid:3)’LG(cid:3)1RW(cid:3)$VVHVV WKH(cid:3)6$&66(cid:3)3URMHFW(cid:3)8SRQ(cid:3)7DNHRYHU 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) FRQWLQXHG(cid:3) 6RFLDO(cid:3) 6HUYLFHV“(cid:3) SDWWHUQ(cid:3) RI(cid:3) SRRU SURMHFW(cid:3)PDQDJHPHQW(cid:3)DQG(cid:3)GHFLVLRQ(cid:3)PDNLQJ(cid:3)ZKHQ(cid:3)LW(cid:3)WRRN(cid:3)RYHU WKH(cid:3)SURMHFW(cid:3)LQ(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)FRQWLQXHG LQWHQGHG(cid:3)WKLV(cid:3)WUDQVIHU(cid:3)WR(cid:3)DOORZ(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)WR(cid:3)FRQWULEXWH(cid:3)LWV 6RFLDO(cid:3)6HUYLFHV“(cid:3)SDWWHUQ(cid:3)RI FRQVLGHUDEOH(cid:3)WHFKQLFDO(cid:3)H[SHUWLVH(cid:15)(cid:3)NQRZOHGJH(cid:15)(cid:3)DQG(cid:3)EDFNJURXQG SRRU(cid:3)SURMHFW(cid:3)PDQDJHPHQW WR(cid:3)WKH(cid:3)FRPSOHWLRQ(cid:3)RI(cid:3)6$&66(cid:17) DQG(cid:3)GHFLVLRQ(cid:3)PDNLQJ(cid:17) 7KH(cid:3)FKDQJH(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)DXWKRULW\(cid:3)SUHVHQWHG(cid:3)WKH GDWD(cid:3) FHQWHU(cid:3) ZLWK(cid:3) DQ(cid:3) RSSRUWXQLW\(cid:3) WR(cid:3) UHYLHZ(cid:3) DQG(cid:3) REWDLQ(cid:3) D EURDG(cid:3) XQGHUVWDQGLQJ(cid:3) RI(cid:3) WKH(cid:3) SURMHFW“V(cid:3) RSHUDWLRQV(cid:15)(cid:3) WR(cid:3) LGHQWLI\ NH\(cid:3) VWUHQJWKV(cid:3) DQG(cid:3) ZHDNQHVVHV(cid:15)(cid:3) DQG(cid:3) WR(cid:3) LPSURYH(cid:3) SURMHFW PHWKRGRORJLHV(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GRHV(cid:3)QRW(cid:3)DSSHDU WR(cid:3)KDYH(cid:3)WDNHQ(cid:3)DGYDQWDJH(cid:3)RI(cid:3)WKLV(cid:3)RSSRUWXQLW\(cid:17)(cid:3)(cid:3):KHQ(cid:3)ZH(cid:3)DVNHG(cid:3)LI LW(cid:3) DVVHVVHG(cid:3) WKH(cid:3) SURMHFW(cid:3) XSRQ(cid:3) WDNHRYHU(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU UHVSRQGHG(cid:15)(cid:3) §7KH(cid:3) >GDWD(cid:3) FHQWHU@(cid:3) ZDV(cid:3) DVNHG(cid:3) WR(cid:3) WDNH(cid:3) RYHU(cid:3) WKH SURMHFW(cid:15)(cid:3)QRW(cid:3)WR(cid:3)UHLQYHQW(cid:3)LW(cid:17)¤(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DOVR(cid:3)QRWHG(cid:3)WKDW §WKH(cid:3)SURMHFW(cid:3)ZDV(cid:3)QRW(cid:3)EXGJHWHG(cid:3)IRU(cid:3)DQ\(cid:3)UHYLHZV(cid:3)GRZQ(cid:3)WR(cid:3)WKH(cid:3)OHYHO ZKHQ(cid:3)LQYHVWLJDWLQJ(cid:3)WKH(cid:3)LQIUDVWUXFWXUH(cid:3)DQG(cid:3)SURFHVVHV(cid:17)¤ 1RQHWKHOHVV(cid:15)(cid:3)DQ(cid:3)DJHQF\(cid:3)WDNLQJ(cid:3)RYHU(cid:3)ZKDW(cid:3)ZDV(cid:3)WKHQ(cid:3)HVWLPDWHG(cid:3)DV D(cid:3)(cid:7)(cid:21)(cid:25)(cid:19)(cid:3)PLOOLRQ(cid:3)SURMHFW(cid:3)QHHGV(cid:3)WR(cid:3)PDNH(cid:3)WLPH(cid:3)IRU(cid:3)D(cid:3)GHWDLOHG(cid:3)UHYLHZ VR(cid:3)WKDW(cid:3)PDQDJHPHQW(cid:3)FDQ(cid:3)PDNH(cid:3)GHFLVLRQV(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW“V(cid:3)EHVW LQWHUHVWV(cid:17)(cid:3)(cid:3)6XFK(cid:3)DQ(cid:3)DQDO\VLV(cid:3)LV(cid:3)ERWK(cid:3)UHDVRQDEOH(cid:3)DQG(cid:3)SUXGHQW(cid:17) (cid:23)(cid:24) 7KH(cid:3)6WDWH(cid:3)3DLG(cid:3)/RFNKHHG(cid:3)IRU ,QFRPSOHWH(cid:3)&RQWUDFW(cid:3)’HOLYHUDEOHV ’XULQJ(cid:3)RXU(cid:3)UHYLHZ(cid:3)RI(cid:3)GHOLYHUDEOHV(cid:3)LQFOXGHG(cid:3)LQ(cid:3)WKH(cid:3)/RFNKHHG FRQWUDFW(cid:15)(cid:3)ZH(cid:3)QRWHG(cid:3)LQVWDQFHV(cid:3)LQ(cid:3)ZKLFK(cid:3)ERWK(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)IXOO(cid:3) SULFH(cid:3) IRU(cid:3) OHVV(cid:3) ZRUN(cid:3) WKDQ VSHFLILHG(cid:3)LQ(cid:3)WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)VSHQW(cid:3)WD[SD\HU PRQH\(cid:3)XQQHFHVVDULO\(cid:17)(cid:3)(cid:3):H(cid:3)LGHQWLILHG(cid:3)H[DPSOHV(cid:3)RI(cid:3)LQDSSURSULDWH SD\PHQWV(cid:3)IRU(cid:3)LQFRPSOHWH(cid:3)FRQWUDFW(cid:3) GHOLYHUDEOHV(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKH JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)DQG(cid:3)SURMHFW SODQV(cid:17) 6RFLDO(cid:3)6HUYLFHV(cid:3)3DLG(cid:3)/RFNKHHG(cid:3)IRU ,QFRPSOHWH(cid:3)’HVLJQ(cid:3)’RFXPHQWV ,Q(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FRQGLWLRQDOO\(cid:3)DSSURYHG(cid:3)DQG VXEVHTXHQWO\(cid:3) SDLG(cid:3) (cid:7)(cid:20)(cid:17)(cid:21)(cid:3) PLOOLRQ(cid:3) IRU(cid:3) DQ(cid:3) LQFRPSOHWH(cid:3) JHQHUDO V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3),WV(cid:3)GHFLVLRQ(cid:3)WR(cid:3)FRQGLWLRQDOO\(cid:3)DSSURYH(cid:3)DQG(cid:3)LVVXH SD\PHQW(cid:3) OLPLWHG(cid:3) WKH(cid:3) DJHQF\“V(cid:3) DOWHUQDWLYHV(cid:3) IRU(cid:3) HQVXULQJ(cid:3) WKDW /RFNKHHG(cid:3) FRPSOHWHG(cid:3) WKH(cid:3)GHVLJQ(cid:3) DV(cid:3) UHTXLUHG(cid:3) LQ(cid:3) WKH(cid:3) FRQWUDFW(cid:17) ,Q(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15) 6RFLDO(cid:3)6HUYLFHV(cid:3)JDYH(cid:3)LWV(cid:3)TXDOLILHG(cid:3)DSSURYDO(cid:3)RI(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP 6RFLDO(cid:3)6HUYLFHV(cid:3)SDLG GHVLJQ(cid:3)WR(cid:3)NHHS(cid:3)WKH(cid:3)SURMHFW(cid:3)PRYLQJ(cid:3)IRUZDUG(cid:17) (cid:7)(cid:20)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)DQ LQFRPSOHWH(cid:3)JHQHUDO ,Q(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DOVR(cid:3)SDLG(cid:3)(cid:7)(cid:20)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)IRU V\VWHP(cid:3)GHVLJQ(cid:3)DQG DQ(cid:3)LQFRPSOHWH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)VWDWHG RQH(cid:3)\HDU(cid:3)ODWHU(cid:3)SDLG WKDW(cid:3) LWV(cid:3) SD\PHQW(cid:3) IRU(cid:3) WKH(cid:3) GHWDLOHG(cid:3) V\VWHP(cid:3) GHVLJQ(cid:3) ZDV(cid:3) D (cid:7)(cid:20)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)DQ §SURJUHVV(cid:3)SD\PHQW(cid:17)¤(cid:3)(cid:3)7\SLFDOO\(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)ZLWKKROGV(cid:3)(cid:20)(cid:19)(cid:3)SHUFHQW LQFRPSOHWH(cid:3)GHWDLOHG IURP(cid:3)FRQWUDFW(cid:3)SD\PHQWV(cid:3)LQ(cid:3)DFFRUGDQFH(cid:3)ZLWK(cid:3)WKH(cid:3)SURYLVLRQV(cid:3)RI V\VWHP(cid:3)GHVLJQ(cid:17) WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3),Q(cid:3)WKH(cid:3)FDVH(cid:3)RI(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:15)(cid:3)WKH(cid:3)6WDWH ZLWKKHOG(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:24)(cid:3)SHUFHQW(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)(cid:27)(cid:24)(cid:3)SHUFHQW §SURJUHVV(cid:3) SD\PHQW¤(cid:3) ZDV(cid:3) LQDSSURSULDWH(cid:3) EHFDXVH(cid:3) WKH(cid:3) GHVLJQ GRFXPHQW(cid:3)ZDV(cid:3)LQFRPSOHWH(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)WKH(cid:3)SD\PHQW(cid:3)PD\(cid:3)KDYH UHVXOWHG(cid:3) LQ(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) KDYLQJ(cid:3) OLWWOH(cid:3) OHYHUDJH(cid:3) WR(cid:3) IRUFH /RFNKHHG(cid:3) WR(cid:3) FRPSOHWH(cid:3) WKH(cid:3) GHVLJQ(cid:3) ODWHU(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH(cid:3) GLG(cid:3) QRW DFWXDOO\(cid:3)DSSURYH(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)XQWLO(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15) (cid:21)(cid:19)(cid:3)PRQWKV(cid:3)DIWHU(cid:3)LVVXLQJ(cid:3)SD\PHQW(cid:17) 7KH(cid:3)6WDWH(cid:3)3DLG(cid:3)IRU(cid:3),QFRPSOHWH DQG(cid:3)8QDFFHSWDEOH(cid:3)3URMHFW(cid:3)3ODQV 7KH(cid:3) FRQWUDFW(cid:3) UHTXLUHG(cid:3) /RFNKHHG(cid:3) WR(cid:3) GHOLYHU(cid:3) ULVN(cid:3) DQDO\VLV(cid:3) DQG GLVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:15)(cid:3)WZR(cid:3)RI(cid:3)VL[(cid:3)SODQV(cid:3)VSHFLILHG(cid:3)LQ(cid:3)WKH FRQWUDFW(cid:17)(cid:3) (cid:3) $GGLWLRQDOO\(cid:15)(cid:3) WKH(cid:3) FRQWUDFW(cid:3) UHTXLUHG(cid:3) /RFNKHHG(cid:3) WR GHOLYHU(cid:3)ILQDO(cid:3)YHUVLRQV(cid:3)RI(cid:3)DOO(cid:3)VL[(cid:3)SODQV(cid:3)EHIRUH(cid:3)UHFHLYLQJ(cid:3)SD\PHQW IRU(cid:3) WKHP(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) GLG(cid:3) QRW(cid:3) HQVXUH(cid:3) WKDW /RFNKHHG(cid:3)GHOLYHUHG(cid:3)WKHVH(cid:3)SURFHGXUHV(cid:3)EHIRUH(cid:3)LVVXLQJ(cid:3)SD\PHQW(cid:3)RI (cid:7)(cid:22)(cid:19)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17) (cid:23)(cid:25) 5LVN(cid:3) DQDO\VLV(cid:3) SURFHGXUHV(cid:3) DVVHVV(cid:3) DQG(cid:3) PHDVXUH(cid:3) WKH(cid:3) V\VWHP“V YXOQHUDELOLW\(cid:3)WR(cid:3)KD]DUGV(cid:3)VXFK(cid:3)DV(cid:3)IUDXG(cid:15)(cid:3)WKHIW(cid:15)(cid:3)ORVV(cid:3)RI(cid:3)GDWD(cid:15)(cid:3)DQG KDUP(cid:3)WR(cid:3)DJHQF\(cid:3)DFWLYLWLHV(cid:17)(cid:3)(cid:3)’LVDVWHU(cid:3)UHFRYHU\(cid:3)SURFHGXUHV(cid:3)SURYLGH D(cid:3)EDFN(cid:16)XS(cid:3)SODQ(cid:3)IRU(cid:3)UHWULHYLQJ(cid:3)V\VWHP(cid:3)GDWD(cid:3)LI(cid:3)D(cid:3)GLVDVWHU(cid:3)KDSSHQV(cid:17) %RWK(cid:3) W\SHV(cid:3) RI(cid:3) SURFHGXUHV(cid:3) DVVLVW(cid:3) LQ(cid:3) FULWLFDO(cid:3) DVVHVVPHQWV(cid:3) DQG SUHSDUDWLRQV(cid:3)IRU(cid:3)XQH[SHFWHG(cid:3)DQG(cid:3)FRVWO\(cid:3)IXWXUH(cid:3)HYHQWV(cid:17) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) UHFHLYHG(cid:3) GUDIW(cid:3) YHUVLRQV(cid:3) RI(cid:3) WKH(cid:3) ULVN(cid:3) DQDO\VLV DQG(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:15)(cid:3) EXW(cid:3) WKH(cid:3) 6WDWH“V(cid:3) TXDOLW\ DVVXUDQFH(cid:3) (cid:11)4$(cid:12)(cid:3) FRQWUDFWRU(cid:3) FRQFOXGHG(cid:3) WKDW(cid:3) WKH(cid:3) GUDIWV(cid:3) ZHUH XQDFFHSWDEOH(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)QHYHU(cid:3)UHFHLYHG(cid:3)D(cid:3)ILQDO(cid:3)YHUVLRQ RI(cid:3)WKH(cid:3)ULVN(cid:3)DQDO\VLV(cid:3)SURFHGXUHV(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU DOORZHG(cid:3) /RFNKHHG(cid:3) WR(cid:3) GHOLYHU(cid:3) D(cid:3) FRPSXWHU(cid:3) VRIWZDUH(cid:3) SURJUDP DQG(cid:3) UHODWHG(cid:3) WUDLQLQJ(cid:3) VR(cid:3) WKH(cid:3) FRXQWLHV(cid:3) FRXOG(cid:3) GHYHORS(cid:3) WKHLU RZQ(cid:3) GLVDVWHU(cid:3) UHFRYHU\(cid:3) SURFHGXUHV(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) /RFNKHHG GHOLYHUHG(cid:3)D(cid:3)FRPSXWHU(cid:3)SURJUDP(cid:3)WKDW(cid:3)UHTXLUHG(cid:3)D(cid:3)GLIIHUHQW(cid:3)YHUVLRQ RI(cid:3)VRIWZDUH(cid:3)WKDQ(cid:3)WKDW(cid:3)XVHG(cid:3)E\(cid:3)FRXQWLHV(cid:17) $FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:15)(cid:3)/RFNKHHG(cid:3)PDGH(cid:3)VXIILFLHQW(cid:3)SURJUHVV RQ(cid:3)IRXU(cid:3)RI(cid:3)WKH(cid:3)VL[(cid:3)SODQV(cid:3)WR(cid:3)MXVWLI\(cid:3)WKH(cid:3)SD\PHQW(cid:3)RI(cid:3)(cid:7)(cid:22)(cid:19)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17) $OWKRXJK(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)SDLG(cid:3)LQ(cid:3)IXOO(cid:3)IRU(cid:3)WKHVH(cid:3)GHOLYHUDEOHV(cid:15)(cid:3)WKH GDWD(cid:3)FHQWHU(cid:3)VWLOO(cid:3)GRHV(cid:3)QRW(cid:3)KDYH(cid:3)ILQDO(cid:3)ULVN(cid:3)DQDO\VLV(cid:3)SURFHGXUHV(cid:3)IRU 6$&66(cid:15)(cid:3)DQG(cid:3)PRVW(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)FRXQWLHV(cid:3)GR(cid:3)QRW(cid:3)KDYH(cid:3)GLVDVWHU UHFRYHU\(cid:3)SURFHGXUHV(cid:17) 7KH(cid:3)’DWD(cid:3)&HQWHU(cid:3)3RRUO\ 1HJRWLDWHG(cid:3)$PHQGPHQW(cid:3)6L[ 7KH(cid:3)6WDWH(cid:3)DPHQGHG(cid:3)WKH(cid:3)6$&66(cid:3)FRQWUDFW(cid:3)VL[(cid:3)WLPHV(cid:3)RYHU(cid:3)WKH(cid:3)OLIH(cid:3)RI WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)7KHVH(cid:3)DPHQGPHQWV(cid:3)PRGLILHG(cid:3)WKH(cid:3)FRQWUDFW(cid:3)WHUPV(cid:15) VFRSH(cid:3)RI(cid:3)ZRUN(cid:3)LQYROYHG(cid:15)(cid:3)DQG(cid:3)SURMHFW(cid:3)WLPH(cid:3)OLQHV(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV H[HFXWHG(cid:3) WKH(cid:3) ILUVW(cid:3) IRXU(cid:3) DPHQGPHQWV(cid:3) DQG(cid:3) WKH(cid:3) GDWD 7KH(cid:3)VL[WK(cid:3)DPHQGPHQW FHQWHU(cid:3) H[HFXWHG(cid:3) WKH(cid:3) ILIWK(cid:3) DQG(cid:3) VL[WK(cid:3) (cid:11)ILQDO(cid:12)(cid:3) DPHQGPHQWV(cid:17) LQFUHDVHG(cid:3)WKH(cid:3)FRQWUDFW(cid:3)E\ $FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FRPSOHWHG(cid:3)PDQ\ (cid:7)(cid:21)(cid:28)(cid:3)PLOOLRQ(cid:17) RI(cid:3)WKH(cid:3)VXEVWDQWLYH(cid:3)QHJRWLDWLRQV(cid:3)IRU(cid:3)$PHQGPHQW(cid:3)6L[(cid:17)(cid:3)(cid:3)7KH(cid:3)VL[WK DPHQGPHQW(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)FRQWUDFW(cid:3)E\(cid:3)(cid:7)(cid:21)(cid:28)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)D(cid:3)WRWDO(cid:3)RI (cid:7)(cid:20)(cid:19)(cid:22)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)’XULQJ(cid:3)RXU(cid:3)UHYLHZ(cid:15)(cid:3)ZH(cid:3)QRWHG(cid:3)ZHDNQHVVHV(cid:3)LQ(cid:3)WKH GDWD(cid:3)FHQWHU“V(cid:3)DELOLW\(cid:3)WR(cid:3)PDQDJH(cid:3)FRQWUDFW(cid:3)FRVWV(cid:3)WKDW(cid:3)UHVXOWHG(cid:3)LQ XQQHFHVVDU\(cid:3)DQG(cid:3)LQDSSURSULDWH(cid:3)FRVWV(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)LQFOXGLQJ WKH(cid:3)IROORZLQJ(cid:29) • ,PSURSHUO\(cid:3)LQFUHDVLQJ(cid:3)WKH(cid:3)SULFH(cid:3)RI(cid:3)DGPLQLVWUDWLYH(cid:3)VHUYLFHV(cid:3)E\ (cid:7)(cid:23)(cid:3)PLOOLRQ(cid:3)DQG(cid:3)SD\LQJ(cid:3)IRU(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:3)WKDW(cid:3)ZHUH(cid:3)RI(cid:3)OLWWOH YDOXH(cid:17) • ,QDSSURSULDWHO\(cid:3)LQFUHDVLQJ(cid:3)SULFHV(cid:3)E\(cid:3)(cid:7)(cid:21)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)GDWD FRQYHUVLRQ(cid:3)DFWLYLWLHV(cid:17) (cid:23)(cid:26) • ,PSURSHUO\(cid:3) UDLVLQJ(cid:3) SULFHV(cid:3) E\(cid:3) (cid:7)(cid:23)(cid:17)(cid:21)(cid:3) PLOOLRQ(cid:3) IRU(cid:3) XVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) • ,QDSSURSULDWHO\(cid:3)DGGLQJ(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)WR(cid:3)WKH(cid:3)SULFH(cid:3)RI(cid:3)WUDLQLQJ(cid:17) • $GGLQJ(cid:3) D(cid:3) (cid:7)(cid:21)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:3) WDVN(cid:3) WR(cid:3) WKH(cid:3) FRQWUDFW(cid:3) ZLWKRXW MXVWLILFDWLRQ(cid:17) • )DLOLQJ(cid:3) WR(cid:3) SHUIRUP(cid:3) D(cid:3) FRPSOHWH(cid:3) UHYLHZ(cid:3) RI(cid:3) DQ(cid:3) DPHQGPHQW EHIRUH(cid:3)H[HFXWLQJ(cid:3)LW(cid:17) • $OORZLQJ(cid:3)/RFNKHHG(cid:3)WR(cid:3)FRPSOHWH(cid:3)ZRUN(cid:3)EHIRUH(cid:3)H[HFXWLQJ(cid:3)DQ DPHQGPHQW(cid:17) 7KH(cid:3)6WDWH(cid:3),QDSSURSULDWHO\(cid:3),QFUHDVHG WKH(cid:3)3ULFH(cid:3)RI(cid:3)/RFNKHHGnV(cid:3)$GPLQLVWUDWLYH 6HUYLFHV(cid:3)DQG(cid:3)3DLG(cid:3)IRU(cid:3)3URJUHVV(cid:3)5HSRUWV 7KDW(cid:3):HUH(cid:3)RI(cid:3)/LWWOH(cid:3)9DOXH 7KH(cid:3) 6WDWH(cid:3) LQDSSURSULDWHO\(cid:3) LQFUHDVHG(cid:3) WKH(cid:3) SULFH(cid:3) RI(cid:3) /RFNKHHG“V DGPLQLVWUDWLYH(cid:3)VHUYLFHV(cid:3)E\(cid:3)(cid:7)(cid:23)(cid:3)PLOOLRQ(cid:3)DQG(cid:3)GLG(cid:3)QRW(cid:3)UHTXLUH(cid:3)WKH FRQWUDFWRU(cid:3) WR(cid:3) IXOILOO(cid:3) LWV(cid:3) REOLJDWLRQ(cid:3) WR(cid:3) VXEPLW(cid:3) SURJUHVV(cid:3) UHSRUWV(cid:17) 8QGHU(cid:3)WKH(cid:3)RULJLQDO(cid:3)/RFNKHHG(cid:3)FRQWUDFW(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DJUHHG(cid:3)WR SD\(cid:3)(cid:7)(cid:27)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)DGPLQLVWUDWLYH(cid:3)VHUYLFHV(cid:3)RI(cid:3)/RFNKHHG(cid:3)DQG(cid:3)LWV 7KH(cid:3)6WDWH(cid:3)LQFUHDVHG(cid:3)WKH VXEFRQWUDFWRUV(cid:17)(cid:3)(cid:3)7KH(cid:3)(cid:7)(cid:27)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)FRYHUHG(cid:3)WKH(cid:3)ILUVW(cid:3)(cid:23)(cid:25)(cid:3)PRQWKV(cid:3)RI SULFH(cid:3)RI(cid:3)/RFNKHHG“V WKH(cid:3)SURMHFW(cid:15)(cid:3)IURP(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:3)WKURXJK(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17) DGPLQLVWUDWLYH(cid:3)VHUYLFHV E\(cid:3)(cid:7)(cid:23)(cid:3)PLOOLRQ(cid:3)ZLWKRXW ’XH(cid:3) WR(cid:3) WKH(cid:3) DZDUG(cid:3) SURWHVW(cid:3) RYHU(cid:3) WKH(cid:3) 6$&66(cid:3) FRQWUDFW(cid:15) FKDQJLQJ(cid:3)WKH(cid:3)VFRSH(cid:3)RI 6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW(cid:3)HQWHU(cid:3)LQWR(cid:3)WKH(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)/RFNKHHG ZRUN(cid:17) XQWLO(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DPHQGHG(cid:3)WKH FRQWUDFW(cid:3) LQ(cid:3) -XQH(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3) UHGXFLQJ(cid:3) WKH(cid:3) VFKHGXOH(cid:3) RI(cid:3) SURJUHVV UHSRUWV(cid:3)IURP(cid:3)(cid:23)(cid:25)(cid:3)PRQWKV(cid:3)WR(cid:3)(cid:22)(cid:24)(cid:3)PRQWKV(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)6RFLDO(cid:3)6HUYLFHV UHGXFHG(cid:3) WKH(cid:3) SHULRG(cid:3) RI(cid:3) VHUYLFH(cid:15)(cid:3) LW(cid:3) GLG(cid:3) QRW(cid:3) UHGXFH(cid:3) WKH (cid:7)(cid:27)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)SULFH(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)FRQWHQGV(cid:3)WKDW(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)UHGXFH WKH(cid:3)FRQWUDFW(cid:3)SULFH(cid:3)EHFDXVH(cid:3)WKH(cid:3)VFRSH(cid:3)RI(cid:3)ZRUN(cid:3)GLG(cid:3)QRW(cid:3)FKDQJH(cid:30) RQO\(cid:3)WKH(cid:3)WLPH(cid:3)SHULRG(cid:3)FKDQJHG(cid:17) +RZHYHU(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) DJUHHG(cid:3) WR(cid:3) SD\(cid:3) /RFNKHHG(cid:3) DQ DGGLWLRQDO(cid:3) (cid:7)(cid:23)(cid:3) PLOOLRQ(cid:3) LQ(cid:3) D(cid:3) VXEVHTXHQW(cid:3) DPHQGPHQW(cid:3) IRU DQ(cid:3) DGGLWLRQDO(cid:3) (cid:20)(cid:26)(cid:3) PRQWKV(cid:3) RI(cid:3) DGPLQLVWUDWLYH(cid:3) VHUYLFHV(cid:3) IRU(cid:3) WKH SURMHFW(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) RXU(cid:3) UHYLHZ(cid:15)(cid:3) QR(cid:3) FKDQJH(cid:3) RFFXUUHG LQ(cid:3) WKH(cid:3) VFRSH(cid:3) RI(cid:3) ZRUN(cid:17)(cid:3) (cid:3) 7KXV(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) LQDSSURSULDWHO\ LQFUHDVHG(cid:3) WKH(cid:3) SULFH(cid:3) RI(cid:3) /RFNKHHG“V(cid:3) DGPLQLVWUDWLYH(cid:3) VHUYLFHV(cid:3) E\ (cid:7)(cid:23)(cid:3)PLOOLRQ(cid:3)ZLWKRXW(cid:3)FKDQJLQJ(cid:3)WKH(cid:3)VFRSH(cid:3)RI(cid:3)ZRUN(cid:17)(cid:3)(cid:3)7R(cid:3)GDWH(cid:15)(cid:3)WKH 6WDWH(cid:3)KDV(cid:3)SDLG(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:21)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)RI(cid:3)WKH(cid:3)(cid:7)(cid:23)(cid:3)PLOOLRQ SULFH(cid:3) LQFUHDVH(cid:17)(cid:3) (cid:3) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) MXVWLILHV(cid:3) WKH(cid:3) LQFUHDVH(cid:3) DQG DGGLWLRQDO(cid:3)SD\PHQW(cid:3)E\(cid:3)VWDWLQJ(cid:3)WKDW(cid:3)DOWKRXJK(cid:3)WKH(cid:3)VFRSH(cid:3)RI(cid:3)WKH (cid:23)(cid:27) ZRUN(cid:3) GLG(cid:3) QRW(cid:3) FKDQJH(cid:15)(cid:3) WKH(cid:3) PDQDJHPHQW(cid:3) DQG(cid:3) DGPLQLVWUDWLYH RYHUVLJKW(cid:3) RI(cid:3) WKH(cid:3) WDVNV(cid:3) LQFUHDVHG(cid:3) GXH(cid:3) WR(cid:3) WKH(cid:3) XQIRUHVHHQ FRPSOH[LW\(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3)1HYHUWKHOHVV(cid:15)(cid:3)ZH(cid:3)UHPDLQ(cid:3)XQFRQYLQFHG WKDW(cid:3)WKH(cid:3)DGGLWLRQDO(cid:3)SD\PHQW(cid:3)ZDV(cid:3)MXVWLILHG(cid:17) ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)VSHQGLQJ(cid:3)PLOOLRQV(cid:3)RI(cid:3)DGGLWLRQDO(cid:3)GROODUV(cid:3)IRU(cid:3)QR MXVWLILDEOH(cid:3)UHDVRQ(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)IRU(cid:3)SURJUHVV(cid:3)UHSRUWV WKDW(cid:3)ZHUH(cid:3)RI(cid:3)OLWWOH(cid:3)RU(cid:3)QR(cid:3)YDOXH(cid:3)IRU(cid:3)PDQDJLQJ(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)$V(cid:3)D E\(cid:16)SURGXFW(cid:3)RI(cid:3)LWV(cid:3)DGPLQLVWUDWLYH(cid:3)VHUYLFHV(cid:15)(cid:3)WKH(cid:3)(cid:3)FRQWUDFW(cid:3)UHTXLUHG /RFNKHHG(cid:3)WR(cid:3)SURYLGH(cid:3)WZR(cid:3)W\SHV(cid:3)RI(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:17)(cid:3)(cid:3)2QH(cid:3)ZDV(cid:3)WR FRYHU(cid:3)XSGDWHG(cid:3)SURMHFW(cid:3)VFKHGXOHV(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)RWKHU(cid:3)ZDV(cid:3)WR(cid:3)RIIHU ELZHHNO\(cid:3) VXPPDULHV(cid:3) VKRZLQJ(cid:3) WKH(cid:3) DFWXDO(cid:3) KRXUV(cid:3) VSHQW E\(cid:3)/RFNKHHG(cid:3)VWDII(cid:15)(cid:3)WKH(cid:3)VWDWXV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)DQG(cid:3)RXWVWDQGLQJ LVVXHV(cid:17)(cid:3)(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW(cid:3)SURYLGH(cid:3)WLPHO\(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:3)DQG GLG(cid:3)QRW(cid:3)LQFOXGH(cid:3)LQ(cid:3)WKHVH(cid:3)GRFXPHQWV(cid:3)DOO(cid:3)UHTXLUHG(cid:3)LQIRUPDWLRQ(cid:15) VXFK(cid:3)DV(cid:3)SURMHFW(cid:3)VWDII(cid:15)(cid:3)WLPH(cid:3)VSHQW(cid:3)RQ(cid:3)WKH(cid:3)SURMHFW(cid:3)E\(cid:3)WDVN(cid:15)(cid:3)DQG(cid:3)WKH VWDWXV(cid:3)RI(cid:3)DOO(cid:3)RXWVWDQGLQJ(cid:3)LVVXHV(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)FRXOG QRW(cid:3)SURYLGH(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:3)IRU(cid:3)WKH(cid:3)SHULRG(cid:3)RI(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) WKURXJK(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)WKXV(cid:3)IDLOHG(cid:3)WR(cid:3)HQIRUFH(cid:3)WKH FRQWUDFW(cid:3) UHTXLUHPHQWV(cid:3) DQG(cid:3) FRQWLQXHG(cid:3) WR(cid:3) SD\(cid:3) /RFNKHHG(cid:3) IRU SURJUHVV(cid:3)UHSRUWV(cid:3)WKDW(cid:3)ZHUH(cid:3)XQDFFRXQWHG(cid:3)IRU(cid:3)RU(cid:3)RI(cid:3)OLWWOH(cid:3)YDOXH(cid:17) 7KH(cid:3)’DWD(cid:3)&HQWHU(cid:3),QDSSURSULDWHO\(cid:3),QFUHDVHG 3ULFHV(cid:3)IRU(cid:3)&RQYHUVLRQ(cid:3)$FWLYLWLHV %\(cid:3)LPSURSHUO\(cid:3)DJUHHLQJ(cid:3) WR(cid:3) D(cid:3) (cid:7)(cid:21)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:3) SULFH(cid:3) LQFUHDVH(cid:3) IRU FRQYHUVLRQ(cid:3) DFWLYLWLHV(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) ZDV(cid:3) DOUHDG\(cid:3) REOLJDWHG(cid:3) WR SHUIRUP(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)ZDVWHG(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)DQG(cid:3)FDXVHG 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DJUHHG(cid:3)WR FRXQWLHV(cid:3)WR(cid:3)VSHQG(cid:3)WKHLU(cid:3)RZQ(cid:3)UHVRXUFHV(cid:3)XQQHFHVVDULO\(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD SD\(cid:3)(cid:7)(cid:21)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)PRUH(cid:3)IRU FHQWHU(cid:3)DJUHHG(cid:3)WR(cid:3)SD\(cid:3)/RFNKHHG(cid:3) DQ(cid:3)DGGLWLRQDO(cid:3) (cid:7)(cid:20)(cid:3) PLOOLRQ(cid:3) IRU FRQYHUVLRQ(cid:3)DFWLYLWLHV GHYHORSLQJ(cid:3)DQ(cid:3)DXWRPDWHG(cid:3)FRQYHUVLRQ(cid:3)V\VWHP(cid:3)DQG(cid:3)(cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ /RFNKHHG(cid:3)ZDV(cid:3)DOUHDG\ IRU(cid:3) SURYLGLQJ(cid:3) GDWD(cid:16)PDSSLQJ(cid:3) DVVLVWDQFH(cid:3) WR(cid:3) WKH(cid:3) FRXQWLHV(cid:17)(cid:3) (cid:3) 7KH REOLJDWHG(cid:3)WR(cid:3)SHUIRUP(cid:17) DXWRPDWHG(cid:3)FRQYHUVLRQ(cid:3)V\VWHP(cid:3)FRQVLVWHG(cid:3)RI(cid:3)FRPSXWHU(cid:3)SURJUDPV DQG(cid:3) SURFHGXUHV(cid:3) GHVLJQHG(cid:3) WR(cid:3) HGLW(cid:3) DQG(cid:3) YDOLGDWH(cid:3) FRXQW\(cid:3) GDWD(cid:15) LGHQWLI\(cid:3) GXSOLFDWH(cid:3) FDVHV(cid:15)(cid:3) DQG(cid:3) ORDG(cid:3) FRXQW\(cid:3) GDWD(cid:3) LQWR(cid:3) 6$&66(cid:17) ’DWD(cid:3)PDSSLQJ(cid:3)LV(cid:3)WKH(cid:3)SURFHVV(cid:3)RI(cid:3)LGHQWLI\LQJ(cid:3)WKH(cid:3)ORFDWLRQ(cid:15)(cid:3)IRUPDW(cid:15) DQG(cid:3)FRQYHUVLRQ(cid:3)UHTXLUHPHQWV(cid:3)IRU(cid:3)WKH(cid:3)FRXQW\(cid:3)GDWD(cid:3)WUDQVIHUUHG(cid:3)WR 6$&66(cid:17) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:15)(cid:3) LW(cid:3) QHHGHG(cid:3) WKH(cid:3) DXWRPDWHG FRQYHUVLRQ(cid:3)V\VWHP(cid:3)IURP(cid:3)/RFNKHHG(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)FRXQW\(cid:3)GDWD ZDV(cid:3) SURSHUO\(cid:3) FRQYHUWHG(cid:3) WR(cid:3) 6$&66(cid:17)(cid:3) (cid:3) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) DOVR FRQWHQGV(cid:3)WKDW(cid:3)ZKHQ(cid:3)LW(cid:3)WRRN(cid:3)RYHU(cid:3)WKH(cid:3)SURMHFW(cid:3)LQ(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)LWV FRQWUDFW(cid:3) ZLWK(cid:3) /RFNKHHG(cid:3) GLG(cid:3) QRW(cid:3) LQFOXGH(cid:3) WKH(cid:3) DXWRPDWHG FRQYHUVLRQ(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)LQ(cid:3)LWV(cid:3)SURSRVDO(cid:15)(cid:3)/RFNKHHG(cid:3)KDG DOUHDG\(cid:3) FRPPLWWHG(cid:3) WR(cid:3) HGLWLQJ(cid:3) DQG(cid:3) YDOLGDWLQJ(cid:3) FRXQW\(cid:3) GDWD(cid:15) LGHQWLI\LQJ(cid:3)GXSOLFDWH(cid:3)FDVHV(cid:15)(cid:3)DQG(cid:3)ORDGLQJ(cid:3)WKH(cid:3)FRXQW\(cid:3)GDWD(cid:3)LQWR 6$&66(cid:17)(cid:3)(cid:3)7KHUHIRUH(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DJUHHG(cid:3)WR(cid:3)SD\(cid:3)DQ(cid:3)DGGLWLRQDO (cid:7)(cid:20)(cid:3) PLOOLRQ(cid:3) IRU(cid:3) D(cid:3) WDVN(cid:3) /RFNKHHG(cid:3) ZDV(cid:3) DOUHDG\(cid:3) FRQWUDFWXDOO\ (cid:23)(cid:28) REOLJDWHG(cid:3) WR(cid:3) SHUIRUP(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH“V(cid:3) PDVWHU(cid:3) FRQYHUVLRQ(cid:3) SODQ SUHSDUHG(cid:3)E\(cid:3)/RFNKHHG(cid:3)LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)DOVR(cid:3)LQGLFDWHG(cid:3)WKDW /RFNKHHG(cid:3)ZDV(cid:3)UHVSRQVLEOH(cid:3)IRU(cid:3)WKHVH(cid:3)IXQFWLRQV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH 6WDWH(cid:3)GLG(cid:3)QRW(cid:3)KROG(cid:3)/RFNKHHG(cid:3)WR(cid:3)WKH(cid:3)WHUPV(cid:3)RI(cid:3)LWV(cid:3)SURSRVDO(cid:3)DQG DJUHHG(cid:3) WR(cid:3) SD\(cid:3) DGGLWLRQDO(cid:3) PRQH\(cid:3) IRU(cid:3) D(cid:3) WDVN(cid:3) /RFNKHHG(cid:3) ZDV DOUHDG\(cid:3)REOLJDWHG(cid:3)WR(cid:3)SHUIRUP(cid:17)(cid:3)(cid:3)&RQVHTXHQWO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU IDLOHG(cid:3)WR(cid:3)SURWHFW(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)DQG(cid:15)(cid:3)DV(cid:3)RI(cid:3)-XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)KDV SDLG(cid:3)/RFNKHHG(cid:3)(cid:7)(cid:28)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)WKH(cid:3)DXWRPDWHG(cid:3)FRQYHUVLRQ(cid:3)V\VWHP(cid:17) 6LPLODUO\(cid:15)(cid:3) /RFNKHHG(cid:3) SURPLVHG(cid:3) LQ(cid:3) LWV(cid:3) SURSRVDO(cid:3) WR(cid:3) SHUIRUP(cid:3) DOO GDWD(cid:3)PDSSLQJ(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)<HW(cid:15)(cid:3)LQ(cid:3)$PHQGPHQW(cid:3)6L[(cid:15)(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)DJUHHG(cid:3)WR(cid:3)SD\(cid:3)/RFNKHHG(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)WR SURYLGH(cid:3)FRXQWLHV(cid:3)ZLWK(cid:3)GDWD(cid:16)PDSSLQJ(cid:3)DVVLVWDQFH(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU FRQWHQGV(cid:3)WKDW(cid:3)LW(cid:3)DGGHG(cid:3)WKH(cid:3)WDVN(cid:3)WR(cid:3)WKH(cid:3)FRQWUDFW(cid:3)EHFDXVH(cid:3)FRXQWLHV QHHGHG(cid:3) VXSSRUW(cid:3) WR(cid:3) SHUIRUP(cid:3) WKHLU(cid:3) GDWD(cid:16)PDSSLQJ(cid:3) DFWLYLWLHV(cid:17) +RZHYHU(cid:15)(cid:3)WKH(cid:3)DGGLWLRQ(cid:3)RI(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)WDVN(cid:3)LQ(cid:3)WKH(cid:3)FRQWUDFW FRXOG(cid:3) KDYH(cid:3) EHHQ(cid:3) DYRLGHG(cid:3) LI(cid:3) WKH(cid:3) 6WDWH(cid:3) KDG(cid:3) H[HUFLVHG(cid:3) GXH GLOLJHQFH(cid:3)LQ(cid:3)LWV(cid:3)PDQDJHPHQW(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3),Q(cid:3)IDFW(cid:15)(cid:3)WKH(cid:3)6WDWH DGPLWWHG(cid:3)WKDW(cid:3)LW(cid:3)VKLIWHG(cid:3)WKH(cid:3)GDWD(cid:16)PDSSLQJ(cid:3)UHVSRQVLELOLWLHV(cid:3)IURP /RFNKHHG(cid:3)WR(cid:3)WKH(cid:3)FRXQWLHV(cid:3)EHFDXVH(cid:3)WKH(cid:3)6WDWH(cid:3)GHWHUPLQHG(cid:3)WKDW(cid:3)LW ZDV(cid:3) QRW(cid:3) IHDVLEOH(cid:3) IRU(cid:3) /RFNKHHG(cid:3) WR(cid:3) KDYH(cid:3) D(cid:3) FRPSOHWH XQGHUVWDQGLQJ(cid:3)RI(cid:3)HYHU\(cid:3)FRXQW\“V(cid:3)H[LVWLQJ(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:17) ,Q(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)LQIRUPHG(cid:3)WKH(cid:3)6WDWH(cid:3)WKDW(cid:3)LW VKRXOG(cid:3)YHULI\(cid:3)/RFNKHHG“V(cid:3)GDWD(cid:16)PDSSLQJ(cid:3)UHVSRQVLELOLW\(cid:3)EHFDXVH LW(cid:3) DSSHDUHG(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) ZDV(cid:3) SHUIRUPLQJ(cid:3) OHVV(cid:3) ZRUN(cid:3) WKDQ SURPLVHG(cid:17)(cid:3) (cid:3) 1RQHWKHOHVV(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) DSSURYHG(cid:3) WKH(cid:3) FKDQJH(cid:3) LQ UHVSRQVLELOLW\(cid:3) ZKHQ(cid:3) LW(cid:3) DSSURYHG(cid:3) WKH(cid:3) PDVWHU(cid:3) FRQYHUVLRQ(cid:3) SODQ LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:17)(cid:3)(cid:3)$V(cid:3)RI(cid:3)-XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)KDV SDLG(cid:3)/RFNKHHG(cid:3)(cid:7)(cid:20)(cid:3)PLOOLRQ(cid:3)RI(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)SULFH(cid:3)LQFUHDVH(cid:3)IRU VXSSO\LQJ(cid:3)GDWD(cid:16)PDSSLQJ(cid:3)DVVLVWDQFH(cid:17) ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)FRVWLQJ(cid:3)WKH 6WDWH(cid:3)DQ(cid:3)H[WUD(cid:3)(cid:7)(cid:20)(cid:3)PLOOLRQ(cid:15) ,Q(cid:3) DGGLWLRQ(cid:3) WR(cid:3) FRVWLQJ(cid:3) WKH(cid:3) 6WDWH(cid:3) DQ(cid:3) H[WUD(cid:3) (cid:7)(cid:20)(cid:3) PLOOLRQ(cid:15)(cid:3) WKH FRXQWLHV(cid:3)KDG(cid:3)WR(cid:3)VSHQG GDWD(cid:16)PDSSLQJ(cid:3) SURFHVV(cid:3) UHTXLUHG(cid:3) FRXQWLHV(cid:3) WR(cid:3) VSHQG(cid:3) WKHLU(cid:3) RZQ WKHLU(cid:3)RZQ(cid:3)UHVRXUFHV(cid:3)IRU(cid:3)D UHVRXUFHV(cid:3)IRU(cid:3)D(cid:3)WDVN(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)VXSSRVHG(cid:3)WR(cid:3)SHUIRUP(cid:17)(cid:3)(cid:3))RU WDVN(cid:3)/RFNKHHG(cid:3)ZDV H[DPSOH(cid:15)(cid:3) RQH(cid:3) FRXQW\(cid:3) UHSRUWHG(cid:3) WKDW(cid:3) LW(cid:3) VSHQW(cid:3) DSSUR[LPDWHO\ VXSSRVHG(cid:3)WR(cid:3)SHUIRUP(cid:17) (cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)GDWD(cid:3)PDSSLQJ(cid:17)(cid:3)(cid:3)$QRWKHU(cid:3)FRXQW\(cid:3)FODLPHG(cid:3)LW(cid:3)KDG VSHQW(cid:3)DERXW(cid:3)(cid:7)(cid:21)(cid:20)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)GDWD(cid:3)PDSSLQJ(cid:17) 7KH(cid:3)6WDWH(cid:3),PSURSHUO\(cid:3),QFUHDVHG E\(cid:3)(cid:7)(cid:23)(cid:17)(cid:21)(cid:3)0LOOLRQ(cid:3)WKH(cid:3)3ULFH(cid:3)RI 8VHU(cid:3)$FFHSWDQFH(cid:3)7HVWLQJ 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)IXUWKHU(cid:3)ZDVWHG(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)E\(cid:3)DJUHHLQJ(cid:3)WR SD\(cid:3)/RFNKHHG(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:7)(cid:23)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)XVHU(cid:3)DFFHSWDQFH WHVWLQJ(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) ZDV(cid:3) DOUHDG\(cid:3) REOLJDWHG(cid:3) WR(cid:3) VXSSRUW XQGHU(cid:3) WKH(cid:3) WHUPV(cid:3) RI(cid:3) WKH(cid:3) RULJLQDO(cid:3) FRQWUDFW(cid:17)(cid:3) (cid:3) 8VHU(cid:3) DFFHSWDQFH WHVWLQJ(cid:3)YHULILHV(cid:3)WKDW(cid:3)WKH(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)RSHUDWHV(cid:3)SURSHUO\(cid:3)DQG PHHWV(cid:3)WKH(cid:3)EXVLQHVV(cid:3)QHHGV(cid:3)RI(cid:3)WKH(cid:3)XVHUV(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)WHUPV (cid:24)(cid:19) RI(cid:3)WKH(cid:3)RULJLQDO(cid:3)FRQWUDFW(cid:15)(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)WR(cid:3)DVVLVW(cid:3)ERWK(cid:3)WKH(cid:3)6WDWH DQG(cid:3) WKH(cid:3) 4$(cid:3) FRQWUDFWRU(cid:3) E\(cid:3) SURYLGLQJ(cid:3) DVVLVWDQFH(cid:3) ZLWK(cid:3) XVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)/RFNKHHG“V(cid:3)SURSRVDO(cid:3)VWDWHV(cid:3)WKDW LW(cid:3)ZRXOG(cid:3)VXSSRUW(cid:3)WKH(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)HIIRUW(cid:3)DQG(cid:3)SURYLGH §DQ\(cid:3)UHTXLUHG(cid:3)DVVLVWDQFH(cid:17)¤ 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DJUHHG WR(cid:3)SD\(cid:3)DQ(cid:3)DGGLWLRQDO $OWKRXJK(cid:3)WKH(cid:3)RULJLQDO(cid:3)FRQWUDFW(cid:3)ZDV(cid:3)DPHQGHG(cid:3)PXOWLSOH(cid:3)WLPHV(cid:15)(cid:3)WKH (cid:7)(cid:23)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)XVHU VFRSH(cid:3)RI(cid:3)/RFNKHHG“V(cid:3)UHVSRQVLELOLWLHV(cid:3)IRU(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ DFFHSWDQFH(cid:3)WHVWLQJ QHYHU(cid:3)FKDQJHG(cid:17)(cid:3)(cid:3)1HYHUWKHOHVV(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DJUHHG(cid:3)WR(cid:3)WKH VXSSRUW(cid:3)WKDW(cid:3)/RFNKHHG FRQWUDFW“V(cid:3) VL[WK(cid:3) DQG(cid:3) ILQDO(cid:3) DPHQGPHQW(cid:15)(cid:3) ZKLFK(cid:3) LQFOXGHG(cid:3) DQ ZDV(cid:3)DOUHDG\(cid:3)REOLJDWHG(cid:3)WR DGGLWLRQDO(cid:3) (cid:7)(cid:23)(cid:17)(cid:21)(cid:3) PLOOLRQ(cid:3) IRU(cid:3) XVHU(cid:3) DFFHSWDQFH(cid:3) WHVWLQJ(cid:3) VXSSRUW(cid:17) SHUIRUP(cid:17) 1HLWKHU(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)QRU(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)FRXOG(cid:3)SURYLGH(cid:3)DQ\ UHDVRQDEOH(cid:3) MXVWLILFDWLRQ(cid:3) IRU(cid:3) LQFUHDVLQJ(cid:3) WKH(cid:3) SD\PHQWV(cid:3) WR /RFNKHHG(cid:17)(cid:3) (cid:3)7R(cid:3)GDWH(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3) FHQWHU(cid:3) KDV(cid:3) SDLG(cid:3) /RFNKHHG(cid:3) DQ DGGLWLRQDO(cid:3)(cid:7)(cid:22)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)WKLV(cid:3)WHVWLQJ(cid:3)DVVLVWDQFH(cid:17) 7KH(cid:3)6WDWH(cid:3),QDSSURSULDWHO\(cid:3),QFUHDVHG WKH(cid:3)3ULFH(cid:3)IRU(cid:3)7UDLQLQJ(cid:3)E\(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)0LOOLRQ 7KH(cid:3) 6WDWH(cid:3) GLG(cid:3) QRW(cid:3) SURWHFW(cid:3) WD[SD\HU(cid:3) GROODUV(cid:3) ZKHQ(cid:3) LW LQDSSURSULDWHO\(cid:3)LQFUHDVHG(cid:3)E\(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)WKH(cid:3)SULFH(cid:3)WR(cid:3)SURYLGH WUDLQLQJ(cid:17)(cid:3) (cid:3) ,Q(cid:3) IDFW(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) XOWLPDWHO\(cid:3) SDLG(cid:3) (cid:7)(cid:21)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:3) WR /RFNKHHG(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)WKDW(cid:3)ZDV(cid:3)IODZHG(cid:3)DQG(cid:3)WKDW(cid:3)UHVXOWHG(cid:3)LQ(cid:3)RQO\ (cid:21)(cid:24)(cid:3)SHUFHQW(cid:3)RI(cid:3)6$&66(cid:3)XVHUV(cid:3)GLUHFWO\(cid:3)EHLQJ(cid:3)WUDLQHG(cid:3)E\(cid:3)/RFNKHHG(cid:17) /RFNKHHG“V(cid:3)SURSRVDO(cid:3)VWDWHG(cid:3)WKDW(cid:15)(cid:3)IRU(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:21)(cid:17)(cid:26)(cid:3)PLOOLRQ(cid:15) LW(cid:3)ZRXOG(cid:3)DFFHSW(cid:3)§IXOO(cid:3)UHVSRQVLELOLW\¤(cid:3)IRU(cid:3)GHOLYHULQJ(cid:3)§DOO(cid:3)WUDLQLQJ¤ WR(cid:3)WKH(cid:3)HVWLPDWHG(cid:3)(cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)6$&66(cid:3)XVHUV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKLV(cid:3)PHDQW WKDW(cid:3)/RFNKHHG(cid:3)ZRXOG(cid:3)SURYLGH(cid:3)DW(cid:3)OHDVW(cid:3)(cid:21)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)§WUDLQLQJ(cid:3)GD\V¤(cid:3)WR 6$&66(cid:3)XVHUV(cid:17)(cid:3)(cid:3)7KLV(cid:3)LV(cid:3)EDVHG(cid:3)RQ(cid:3)(cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)XVHUV(cid:3)HDFK(cid:3)UHFHLYLQJ(cid:3)ILYH GD\V(cid:3) RI(cid:3) XVHU(cid:3) WUDLQLQJ(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) DV(cid:3) WKLV(cid:3) UHSRUW“V(cid:3) &KDSWHU(cid:3) (cid:20) GLVFXVVHV(cid:15)(cid:3)WKH(cid:3)WUDLQLQJ(cid:3)ZDV(cid:3)SRRU(cid:3)EHFDXVH(cid:3)LW(cid:3)ZDV(cid:3)LQFRPSOHWH(cid:3)DQG XVHUV(cid:3) ZHUH(cid:3) WUDLQHG(cid:3) RQ(cid:3) DQ(cid:3) XQVWDEOH(cid:3) V\VWHP(cid:15)(cid:3) ZLWK(cid:3) WUDLQLQJ PDWHULDOV(cid:3)WKDW(cid:3)ZHUH(cid:3)LQDGHTXDWH(cid:3)DQG(cid:3)RXW(cid:3)RI(cid:3)GDWH(cid:17) ,Q(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)DJUHHG(cid:3)RQ(cid:3)D(cid:3)QHZ WUDLQLQJ(cid:3)DSSURDFK(cid:15)(cid:3)ZKLFK(cid:3)EHFDPH(cid:3)SDUW(cid:3)RI(cid:3)$PHQGPHQW(cid:3)6L[(cid:17)(cid:3)(cid:3)7KH QHZ(cid:3)DSSURDFK(cid:3) VLJQLILFDQWO\(cid:3) UHYLVHG(cid:3) WKH(cid:3) RULJLQDO(cid:3) WUDLQLQJ(cid:3) SODQ DQG(cid:3)VKLIWHG(cid:3)WKH(cid:3)UHVSRQVLELOLW\(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)D(cid:3)VXEVWDQWLDO(cid:3)QXPEHU RI(cid:3) 6$&66(cid:3) XVHUV(cid:3) IURP(cid:3) /RFNKHHG(cid:3) WR(cid:3) FRXQWLHV(cid:3) DQG(cid:3) WKH(cid:3) 6WDWH(cid:17) 6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)QHZ(cid:3)SODQ(cid:3)UHTXLUHG(cid:3)/RFNKHHG(cid:3)WR(cid:3)WUDLQ(cid:3)OHVV(cid:3)WKDQ (cid:20)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)RI(cid:3)WKH(cid:3)RULJLQDO(cid:3)(cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)6$&66(cid:3)XVHUV(cid:17)(cid:3)(cid:3)/RFNKHHG(cid:3)LQGLFDWHG WKDW(cid:3)WKLV(cid:3)WUDLQLQJ(cid:3)ZRXOG(cid:3)LQFOXGH(cid:3)DSSUR[LPDWHO\(cid:3)(cid:20)(cid:26)(cid:15)(cid:23)(cid:19)(cid:19)(cid:3)WUDLQLQJ GD\V(cid:15)(cid:3)(cid:20)(cid:22)(cid:3)SHUFHQW(cid:3)IHZHU(cid:3)WKDQ(cid:3)LQ(cid:3)WKH(cid:3)RULJLQDO(cid:3)DSSURDFK(cid:17)(cid:3)7KH(cid:3)GDWD FHQWHU(cid:3)HIIHFWLYHO\(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SULFH(cid:3)RI(cid:3)SURYLGLQJ(cid:3)WKHVH(cid:3)VHUYLFHV E\(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)GHVSLWH(cid:3)WKH(cid:3)IDFW(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)WUDLQHG(cid:3)IHZHU SHRSOH(cid:3)DQG(cid:3)SURYLGHG(cid:3)IHZHU(cid:3)WUDLQLQJ(cid:3)GD\V(cid:17) (cid:24)(cid:20) $OWKRXJK(cid:3) LW(cid:3) FRXOG(cid:3) QRW(cid:3) SURGXFH(cid:3) GRFXPHQWDWLRQ(cid:3) VKRZLQJ HVWLPDWHV(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)FRVWV(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)LQGLFDWHG(cid:3)WKDW(cid:3)WKH(cid:3)SULFH LQFUHDVH(cid:3)IRU(cid:3)WKH(cid:3)QHZ(cid:3)DSSURDFK(cid:3)ZDV(cid:3)MXVWLILHG(cid:3)EHFDXVH(cid:3)DOWKRXJK /RFNKHHG(cid:3) WUDLQHG(cid:3) IHZHU(cid:3) SHRSOH(cid:3) GLUHFWO\(cid:15)(cid:3) LW(cid:3) SURYLGHG(cid:3) WUDLQLQJ PDWHULDOV(cid:15)(cid:3)VXSSOLHV(cid:15)(cid:3)DQG(cid:3)FODVVURRPV(cid:3)IRU(cid:3)DQ(cid:3)LQFUHDVHG(cid:3)QXPEHU(cid:3)RI XVHUV(cid:17)(cid:3) (cid:3) 0RUHRYHU(cid:15)(cid:3) WR(cid:3) LPSOHPHQW(cid:3) WKH(cid:3) QHZ(cid:3) WUDLQLQJ(cid:3) DSSURDFK(cid:15) /RFNKHHG(cid:3) GHYHORSHG(cid:3) WZR(cid:3) QHZ(cid:3) FODVVHV(cid:3) DQG(cid:3) FKDQJHG(cid:3) VHYHUDO W\SHV(cid:3)RI(cid:3)LQVWUXFWLRQDO(cid:3)PDWHULDOV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW GHWHUPLQH(cid:3)H[DFWO\(cid:3)KRZ(cid:3)PXFK(cid:3)WKHVH(cid:3)LWHPV(cid:3)ZRXOG(cid:3)FRVW(cid:17) :H(cid:3)DVNHG(cid:3)WKH(cid:3)6WDWH(cid:3)ZK\(cid:3)LW(cid:3)FRQWLQXHG(cid:3)WR(cid:3)SD\(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)GHVSLWH WKH(cid:3)QHJDWLYH(cid:3)SDUWLFLSDQW(cid:3)HYDOXDWLRQV(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)UHSOLHG(cid:3)WKDW(cid:3)LW ZDV(cid:3)QRW(cid:3)SRVVLEOH(cid:3)IRU(cid:3)WKH(cid:3)YHQGRU(cid:3)WR(cid:3)NHHS(cid:3)WKH(cid:3)WUDLQLQJ(cid:3)PDWHULDOV(cid:3)DV FXUUHQW(cid:3)DV(cid:3)LW(cid:3)ZDQWHG(cid:3)EHFDXVH(cid:3)RI(cid:3)WKH(cid:3)ODSVH(cid:3)RI(cid:3)WLPH(cid:3)EHWZHHQ(cid:3)WKH UHOHDVH(cid:3) RI(cid:3) D(cid:3) YHUVLRQ(cid:3) RI(cid:3) 6$&66(cid:3) DQG(cid:3) WKH(cid:3) XSGDWH(cid:3) RI(cid:3) WUDLQLQJ PDWHULDOV(cid:17)(cid:3)(cid:3),W(cid:3)IXUWKHU(cid:3)VWDWHG(cid:3)WKDW(cid:3) ZKHQ(cid:3) WKH(cid:3) WUDLQLQJ(cid:3) SODQ(cid:3) ZDV GHYHORSHG(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW(cid:3)DQWLFLSDWH(cid:3)WKH(cid:3)QHHG(cid:3)WR(cid:3)FRQWLQXDOO\ XSGDWH(cid:3)WKH(cid:3)6$&66(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)IHOW(cid:3)SD\PHQW :H(cid:3)TXHVWLRQ(cid:3)KRZ(cid:3)ZHOO ZDV(cid:3)MXVWLILHG(cid:3)VLQFH(cid:3)WKH(cid:3)SDUWLFLSDQWV(cid:3)ZHUH(cid:3)WUDLQHG(cid:3)KRZ(cid:3)WR(cid:3)RSHUDWH WKH(cid:3)SDUWLFLSDQWV(cid:3)FRXOG LQ(cid:3) D(cid:3) 6$&66(cid:3) HQYLURQPHQW(cid:3) DQG(cid:3) LW(cid:3) WKHUHIRUH(cid:3) FRXOG(cid:3) QRW(cid:3) MXVWLI\ OHDUQ(cid:3)RQ(cid:3)DQ(cid:3)XQVWDEOH ZLWKKROGLQJ(cid:3)SD\PHQW(cid:3)IURP(cid:3)WKH(cid:3)YHQGRU(cid:17)(cid:3)(cid:3):H(cid:3)TXHVWLRQ(cid:3)KRZ(cid:3)ZHOO V\VWHP(cid:3)ZLWK(cid:3)RXWGDWHG WKH(cid:3) SDUWLFLSDQWV(cid:3) FRXOG(cid:3) OHDUQ(cid:3) RQ(cid:3) DQ(cid:3) XQVWDEOH(cid:3) V\VWHP(cid:3) ZLWK PDWHULDOV(cid:17) RXWGDWHG(cid:3)PDWHULDOV(cid:17)(cid:3)(cid:3)0DQ\(cid:3)FRXQWLHV(cid:3)ZH(cid:3)VXUYH\HG(cid:3)VWDWHG(cid:3)WKDW(cid:3)WKH LQFRPSOHWH(cid:3)V\VWHP(cid:3)DQG(cid:3)RXWGDWHG(cid:3)PDWHULDOV(cid:3)FDXVHG(cid:3)WKH(cid:3)WUDLQLQJ(cid:3)WR EH(cid:3)RI(cid:3)OLWWOH(cid:3)YDOXH(cid:17)(cid:3)(cid:3)$OVR(cid:15)(cid:3)ZH(cid:3)EHOLHYH(cid:3)LW(cid:3)ZDV(cid:3)LQDSSURSULDWH(cid:3)IRU(cid:3)WKH 6WDWH(cid:3)WR(cid:3)SD\(cid:3)IRU(cid:3)WUDLQLQJ(cid:3)RQ(cid:3)WKH(cid:3)EDVLV(cid:3)RI(cid:3)LWV(cid:3)LQDELOLW\(cid:3)WR(cid:3)MXVWLI\ ZLWKKROGLQJ(cid:3)SD\PHQWV(cid:3)IRU(cid:3)WKH(cid:3)SRRU(cid:3)WUDLQLQJ(cid:3)SURYLGHG(cid:17) 7KH(cid:3)6WDWH(cid:3)&DQQRW(cid:3)-XVWLI\(cid:3)D(cid:3)(cid:7)(cid:21)(cid:17)(cid:24)(cid:3)0LOOLRQ 7DVN(cid:3),W(cid:3)$GGHG(cid:3)WR(cid:3)WKH(cid:3)6$&66(cid:3)&RQWUDFW ’XULQJ(cid:3)RXU(cid:3)UHYLHZ(cid:3)RI(cid:3)$PHQGPHQW(cid:3)6L[(cid:3)RI(cid:3)WKH(cid:3)/RFNKHHG(cid:3)FRQWUDFW(cid:15) ZH(cid:3) LGHQWLILHG(cid:3) D(cid:3) OLQH(cid:3) LWHP(cid:3) FDOOHG(cid:3) §LQFUHPHQWDO(cid:3) VRIWZDUH PDLQWHQDQFH(cid:17)¤(cid:3)(cid:3)7KH(cid:3)SULFH(cid:3)RI(cid:3)WKLV(cid:3)WDVN(cid:3)ZDV(cid:3)(cid:7)(cid:23)(cid:26)(cid:15)(cid:20)(cid:26)(cid:19)(cid:3)D(cid:3)PRQWK(cid:15)(cid:3)RU (cid:7)(cid:21)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)RYHU(cid:3)WKH(cid:3)OLIH(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3):H(cid:3)DVNHG(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)DERXW(cid:3)WKH(cid:3)SXUSRVH(cid:3)RI(cid:3)WKH(cid:3)WDVN(cid:3)DQG(cid:3)ZK\(cid:3)WKH(cid:3)6WDWH(cid:3)DGGHG(cid:3)LW WR(cid:3) WKH(cid:3) FRQWUDFW(cid:17)(cid:3) (cid:3) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) H[SODLQHG(cid:3) WKDW(cid:3) WKH(cid:3) WDVN FRQVLVWHG(cid:3) RI(cid:3) VRIWZDUH(cid:3) XSJUDGHV(cid:3) IRU(cid:3) 6$&66(cid:3) HTXLSPHQW(cid:17) +RZHYHU(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)FRXOG(cid:3)QRW(cid:3)SURYLGH(cid:3)GRFXPHQWDWLRQ(cid:3)WR VXSSRUW(cid:3)LWV(cid:3)UHVSRQVH(cid:15)(cid:3)DQG(cid:3)ZH(cid:3)FDQQRW(cid:3)GHWHUPLQH(cid:3)ZKHWKHU(cid:3)WKLV(cid:3)WDVN ZDV(cid:3)DOUHDG\(cid:3)LQFOXGHG(cid:3)LQ(cid:3)WKH(cid:3)RULJLQDO(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3)7KXV(cid:15)(cid:3)ZH(cid:3)FDQQRW GHWHUPLQH(cid:3)ZKHWKHU(cid:3)WKH(cid:3)SULFH(cid:3)LQFUHDVH(cid:3)ZDV(cid:3)UHDVRQDEOH(cid:17)(cid:3)(cid:3)$V(cid:3)RI -XQH(cid:3) (cid:22)(cid:19)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) KDV(cid:3) VSHQW(cid:3) DSSUR[LPDWHO\ (cid:7)(cid:23)(cid:21)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)WKLV(cid:3)XQVXSSRUWHG(cid:3)WDVN(cid:17) (cid:24)(cid:21) 7KH(cid:3)6WDWH(cid:3))DLOHG(cid:3)7R(cid:3))XOO\(cid:3)5HYLHZ 3ULFHV(cid:3)/LVWHG(cid:3)LQ(cid:3)$PHQGPHQW(cid:3)6L[ 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) H[HFXWHG(cid:3) $PHQGPHQW(cid:3) 6L[(cid:3) ZLWKRXW(cid:3) D(cid:3) IXOO XQGHUVWDQGLQJ(cid:3) RI(cid:3) KRZ(cid:3) PXFK(cid:3) LW(cid:3) ZDV(cid:3) SD\LQJ(cid:3) IRU(cid:3) FRPSXWHU HTXLSPHQW(cid:3) DQG(cid:3) VRIWZDUH(cid:17)(cid:3) (cid:3) :H(cid:3) IRXQG(cid:3) WKDW(cid:3) WKH(cid:3) FRQWUDFW“V /RFNKHHG“V(cid:3)VXSSRUWLQJ VXSSRUWLQJ(cid:3)VFKHGXOHV(cid:15)(cid:3)SURYLGHG(cid:3)E\(cid:3)/RFNKHHG(cid:15)(cid:3)IRU(cid:3)WKH(cid:3)FRPSXWHU VFKHGXOHV(cid:3)IRU(cid:3)FRPSXWHU HTXLSPHQW(cid:3) DQG(cid:3) VRIWZDUH(cid:3) ZHUH(cid:3) LQDFFXUDWH(cid:3) DQG(cid:3) WRWDOHG HTXLSPHQW(cid:3)DQG(cid:3)VRIWZDUH (cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)PRUH(cid:3)WKDQ(cid:3)WKH(cid:3)FRQWUDFW(cid:3)SULFH(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH ZHUH(cid:3)LQDFFXUDWH(cid:3)DQG GDWD(cid:3) FHQWHU(cid:15)(cid:3) LW(cid:3) GLG(cid:3) QRW(cid:3) IXOO\(cid:3) UHFRQFLOH(cid:3) WKH(cid:3) DPRXQWV(cid:3) EHIRUH WRWDOHG(cid:3)(cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:3)PRUH H[HFXWLQJ(cid:3)WKH(cid:3)DPHQGPHQW(cid:3)EHFDXVH(cid:3)LW(cid:3)EHOLHYHG(cid:3)WKDW(cid:3)WKH(cid:3)SULFHV WKDQ(cid:3)WKH(cid:3)FRQWUDFW(cid:3)SULFH(cid:17) ZHUH(cid:3)WKH(cid:3)EHVW(cid:3)HVWLPDWH(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:15)(cid:3)DQG(cid:3)WKDW(cid:3)LW(cid:3)FRXOG(cid:3)UHFRQFLOH FRVWV(cid:3)GXULQJ(cid:3)WKH(cid:3)DSSURYDO(cid:3)DQG(cid:3)LQYRLFH(cid:3)SURFHVVHV(cid:17)(cid:3)(cid:3):H(cid:3)EHOLHYH WKDW(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) GLG(cid:3) QRW(cid:3) XQGHUVWDQG(cid:3) WKH(cid:3) OHDVH(cid:3) DQG PDLQWHQDQFH(cid:3)SURYLVLRQV(cid:3)XQGHU(cid:3)WKH(cid:3)FRQWUDFW(cid:15)(cid:3)QRU(cid:3)GLG(cid:3)LW(cid:3)WDNH(cid:3)WKH WLPH(cid:3)WR(cid:3)XQGHUVWDQG(cid:3)WKHP(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)HQWHUHG LQWR(cid:3)FRQWUDFWXDO(cid:3)REOLJDWLRQ(cid:3)ZLWKRXW(cid:3)HQVXULQJ(cid:3)WKH(cid:3)SURSULHW\(cid:3)RI(cid:3)WKH FRQWUDFW(cid:3)SULFHV(cid:17) 7KH(cid:3)6WDWH(cid:3)$OORZHG(cid:3)/RFNKHHG(cid:3)7R(cid:3)3HUIRUP :RUN(cid:3)%HIRUH(cid:3)([HFXWLQJ(cid:3)$PHQGPHQW(cid:3)6L[ :H(cid:3) LGHQWLILHG(cid:3) LQVWDQFHV(cid:3) LQ(cid:3) ZKLFK(cid:3) /RFNKHHG(cid:3) FRPSOHWHG QHZ(cid:3)DQG(cid:3)DPHQGHG(cid:3)WDVNV(cid:3)IRU(cid:3)6$&66(cid:3)EHIRUH(cid:3)WKH(cid:3)6WDWH(cid:3)H[HFXWHG $PHQGPHQW(cid:3)6L[(cid:3)LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)LQFOXGHG(cid:3)(cid:7)(cid:22)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)DGGLWLRQDO(cid:3)VXSSRUW(cid:3)VHUYLFHV(cid:3)IRU XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:15)(cid:3)EXW(cid:3)/RFNKHHG(cid:3)FRPSOHWHG(cid:3)WKH(cid:3)ZRUN(cid:3)LQ 6HSWHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) EHIRUH(cid:3) WKH(cid:3) DPHQGPHQW(cid:3) ZDV(cid:3) H[HFXWHG(cid:17) 6LPLODUO\(cid:15)(cid:3)/RFNKHHG(cid:3)FRPSOHWHG(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)WKH(cid:3)DXWRPDWHG FRQYHUVLRQ(cid:3) V\VWHP(cid:3) E\(cid:3) 2FWREHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) WZR(cid:3) PRQWKV(cid:3) EHIRUH H[HFXWLQJ(cid:3)$PHQGPHQW(cid:3) 6L[(cid:17)(cid:3) (cid:3) )LQDOO\(cid:15)(cid:3) ZH(cid:3)QRWHG(cid:3) WKDW(cid:3) WKH(cid:3) GDWD FHQWHU(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SULFH(cid:3)IRU(cid:3)FRQYHUVLRQ(cid:3)RI(cid:3)GDWD(cid:3)WR(cid:3)6$&66(cid:3)LQ ERWK(cid:3) 6LHUUD(cid:3) DQG(cid:3) 3OXPDV(cid:3) FRXQWLHV(cid:3) E\(cid:3) (cid:7)(cid:26)(cid:15)(cid:25)(cid:28)(cid:24)(cid:3) HDFK(cid:15)(cid:3) DOWKRXJK FRQYHUVLRQ(cid:3)HIIRUWV(cid:3)ZHUH(cid:3)FRPSOHWHG(cid:3)LQ(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)IRU(cid:3)ERWK FRXQWLHV(cid:17) :KHQ(cid:3)ZH(cid:3)DVNHG(cid:3)ZK\(cid:3)LW(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)SULFH(cid:3)RI(cid:3)FRQYHUVLRQ(cid:3)WDVNV WKDW(cid:3)KDG(cid:3)DOUHDG\(cid:3)EHHQ(cid:3)FRPSOHWHG(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)VWDWHG(cid:3)WKDW SURMHFW(cid:3)VWDII(cid:3)GLG(cid:3)QRW(cid:3)VWRS(cid:3)ZRUN(cid:3)EHFDXVH(cid:3)WKH(cid:3)FRQWUDFW(cid:3)GLG(cid:3)QRW FRYHU(cid:3)WKH(cid:3)QHHGHG(cid:3)WDVNV(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)6WDWH(cid:3)DWWHPSWHG(cid:3)WR(cid:3)PHHW WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:3)RI(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)DW(cid:3)DOO(cid:3)FRVWV(cid:15)(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)DOORZHG(cid:3)FRQYHUVLRQ(cid:3)HIIRUWV(cid:3)WR(cid:3)FRQWLQXH(cid:3)HYHQ(cid:3)WKRXJK(cid:3)WKH FRQWUDFW(cid:3)GLG(cid:3)QRW(cid:3)HQFRPSDVV(cid:3)WKLV(cid:3)ZRUN(cid:17) (cid:24)(cid:22) 7KH(cid:3)’DWD(cid:3)&HQWHU(cid:3)’RHV(cid:3)1RW(cid:3)+DYH(cid:3)$GHTXDWH &RQWUROV(cid:3)2YHU(cid:3),WV(cid:3)$FFRXQWLQJ(cid:3)3URFHVVHV 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GRHV(cid:3)QRW(cid:3)KDYH(cid:3)DGHTXDWH(cid:3)SURFHGXUHV(cid:3)LQ(cid:3)SODFH(cid:3)WR HQVXUH(cid:3) WKDW(cid:3) SD\PHQWV(cid:3) WR(cid:3) FRQWUDFWRUV(cid:3) DUH(cid:3) DFFXUDWH(cid:3) DQG DSSURSULDWH(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LVVXHG(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:22)(cid:20)(cid:26)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ GXSOLFDWH(cid:3)DQG(cid:3)RYHUSD\PHQWV(cid:17) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LVVXHG PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:22)(cid:20)(cid:26)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ 6SHFLILFDOO\(cid:15)(cid:3)LQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)NQRZLQJO\(cid:3)LVVXHG GXSOLFDWH(cid:3)DQG /RFNKHHG(cid:3)WZR(cid:3)FKHFNV(cid:15)(cid:3)HDFK(cid:3)IRU(cid:3)RYHU(cid:3)(cid:7)(cid:21)(cid:19)(cid:27)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17)(cid:3)(cid:3)([SHFWLQJ(cid:3)WKH RYHUSD\PHQWV(cid:17) ILUVW(cid:3)FKHFN(cid:3)WR(cid:3)EH(cid:3)UHWXUQHG(cid:3)E\(cid:3)/RFNKHHG(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW UHTXHVW(cid:3)D(cid:3)VWRS(cid:3)SD\PHQW(cid:3)WR(cid:3)VDIHJXDUG(cid:3)IXQGV(cid:17)(cid:3)(cid:3)8SRQ(cid:3)RXU(cid:3)LQTXLU\(cid:15) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) UHTXHVWHG(cid:3) D(cid:3) VWRS(cid:3) SD\PHQW(cid:3) LQ(cid:3) -DQXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:27)(cid:15) (cid:20)(cid:28)(cid:3)PRQWKV(cid:3)DIWHU(cid:3)LW(cid:3)LVVXHG(cid:3)WKH(cid:3)GXSOLFDWH(cid:3)SD\PHQW(cid:17) :H(cid:3)LGHQWLILHG(cid:3)RWKHU(cid:3)LQVWDQFHV(cid:3)RI(cid:3)GXSOLFDWH(cid:3)DQG(cid:3)RYHUSD\PHQWV WKDW(cid:3) WRWDOHG(cid:3) (cid:7)(cid:20)(cid:19)(cid:28)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) SDLG /RFNKHHG(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:25)(cid:22)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IRU(cid:3)RQH(cid:3)WDVN(cid:3)WKDW(cid:3)ZDV(cid:3)QRW(cid:3)LQ WKH(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3),Q(cid:3)DQRWKHU(cid:3)FDVH(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)DQ DGGLWLRQDO(cid:3) (cid:7)(cid:23)(cid:25)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) IRU(cid:3) D(cid:3) WDVN(cid:3) DOUHDG\(cid:3) FRPSOHWHG(cid:3) DQG(cid:3) SDLG(cid:17) 7KHVH(cid:3) H[DPSOHV(cid:3) VKRZ(cid:3) WKDW(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) GRHV(cid:3) QRW(cid:3) KDYH DGHTXDWH(cid:3)SURFHGXUHV(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)SD\PHQWV(cid:3)DUH(cid:3)DFFXUDWH(cid:3)DQG DSSURSULDWH(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)EHFDXVH(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)KDV(cid:3)SRRU FRQWUROV(cid:3) RYHU(cid:3) LWV(cid:3) DFFRXQWLQJ(cid:3) SURFHGXUHV(cid:15)(cid:3) RWKHU(cid:3) LQDSSURSULDWH SD\PHQWV(cid:3)PD\(cid:3)H[LVW(cid:3)WKDW(cid:3)ZH(cid:3)GLG(cid:3)QRW(cid:3)LGHQWLI\(cid:17) (cid:24)(cid:23) Chapter 4 &KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)$XWRPDWLRQ(cid:29) :KHUH(cid:3)’R(cid:3):H(cid:3)*R(cid:3))URP(cid:3)+HUH" &KDSWHU(cid:3)6XPPDU\ 7 KH(cid:3) IDLOXUH(cid:3) RI(cid:3) WKH(cid:3) 6WDWHZLGH(cid:3) $XWRPDWHG(cid:3) &KLOG(cid:3) 6XSSRUW 6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:3)KDV(cid:3)VLJQLILFDQWO\(cid:3)FRPSRXQGHG(cid:3)&DOLIRUQLD“V GDXQWLQJ(cid:3)WDVN(cid:3)RI(cid:3)DXWRPDWLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:17) 7KLV(cid:3)UHSRUW(cid:3)KDV(cid:3)DOUHDG\(cid:3)GHVFULEHG(cid:3)VRPH(cid:3)RI(cid:3)WKH(cid:3)IDFWRUV(cid:3)WKDW FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66(cid:15)(cid:3)LQFOXGLQJ(cid:3)WKH(cid:3)6WDWH“V(cid:3)UXVK(cid:3)WR PHHW(cid:3)IHGHUDO(cid:3)GHDGOLQHV(cid:15)(cid:3)WKH(cid:3)GLYHUVLW\(cid:3)DPRQJ(cid:3)FRXQWLHV(cid:15)(cid:3)DQG(cid:3)WKH 6WDWH“V(cid:3)JRDO(cid:3)WR(cid:3)PD[LPL]H(cid:3)IHGHUDO(cid:3)IXQGV(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)PDQ\(cid:3)RI WKH(cid:3) IDFWRUV(cid:3) WKDW(cid:3) OHG(cid:3) WR(cid:3) WKH(cid:3) IDLOXUH(cid:3) RI(cid:3) 6$&66(cid:3) DQG(cid:3) WKH(cid:3) ORVV RI(cid:3)PLOOLRQV(cid:3)LQ(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)DUH(cid:3)VWLOO(cid:3)SUHVHQW(cid:15)(cid:3)DQG(cid:3)QHZ(cid:3)IDFWRUV DUH(cid:3)FUHDWLQJ(cid:3)HYHQ(cid:3)PRUH(cid:3)SUHVVXUH(cid:3)RQ(cid:3)WKH(cid:3)6WDWH(cid:3)WR(cid:3)IRUJH(cid:3)DKHDG(cid:17) 6SHFLILFDOO\(cid:15)(cid:3)&DOLIRUQLD(cid:3)KDV(cid:3)DOUHDG\(cid:3)PLVVHG(cid:3)RQH(cid:3)PDMRU(cid:3)IHGHUDO GHDGOLQH(cid:3)IRU(cid:3)WKH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDP(cid:15)(cid:3)DQG(cid:3)WKH 6WDWH(cid:3)LV(cid:3)OLNHO\(cid:3)WR(cid:3)PLVV(cid:3)DQRWKHU(cid:3)WKLV(cid:3)\HDU(cid:17)(cid:3)(cid:3))DLOXUH(cid:3)WR(cid:3)PHHW(cid:3)WKRVH GHDGOLQHV(cid:3) FRXOG(cid:3) WULJJHU(cid:3) ODUJH(cid:3) IHGHUDO(cid:3) SHQDOWLHV(cid:3) DQG(cid:3) SRVVLEO\ ODZVXLWV(cid:3)RI(cid:3)XQNQRZQ(cid:3)FRVWV(cid:17)(cid:3)(cid:3))HGHUDO(cid:3)ODZ(cid:3)DQG(cid:3)SROLF\(cid:3)KDV(cid:3)FUHDWHG D(cid:3)VLWXDWLRQ(cid:3)ZKHUH(cid:3)&DOLIRUQLD(cid:3)PD\(cid:3)EH(cid:3)DXWRPDWLQJ(cid:3)VLPSO\(cid:3)WR(cid:3)DYRLG IHGHUDO(cid:3) VDQFWLRQV(cid:3) DQG(cid:3) ODZVXLWV(cid:3) UDWKHU(cid:3) WKDQ(cid:3) WR(cid:3) LPSURYH(cid:3) WKH FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)DJHQFLHV UHVSRQVLEOH(cid:3) IRU(cid:3) 6$&66(cid:3) PD\(cid:3) JLYH(cid:3) OLWWOH(cid:3) FRQVLGHUDWLRQ(cid:3) WR(cid:3) WKH ZD\V(cid:3)&DOLIRUQLD(cid:3)FRXOG(cid:3)LPSURYH(cid:3)LWV(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW SHUIRUPDQFH(cid:17)(cid:3) (cid:3) 7KH(cid:3) DELOLW\(cid:3) RI(cid:3) WKH(cid:3) IHGHUDO(cid:15)(cid:3) VWDWH(cid:15)(cid:3) DQG(cid:3) FRXQW\ JRYHUQPHQWV(cid:3)WR(cid:3)HIIHFWLYHO\(cid:3)DGGUHVV(cid:3)WKH(cid:3)LVVXHV(cid:3)GLVFXVVHG(cid:3)LQ(cid:3)WKLV FKDSWHU(cid:3)ZLOO(cid:3)GHWHUPLQH(cid:3)WKH(cid:3)VXFFHVV(cid:3)RU(cid:3)IDLOXUH(cid:3)RI(cid:3)&DOLIRUQLD“V(cid:3)QH[W HIIRUW(cid:3)DW(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:17) 7R(cid:3)DYRLG(cid:3)D(cid:3)UHSHWLWLRQ(cid:3)RI(cid:3)WKH(cid:3)6$&66“V(cid:3)IDLOXUH(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG :HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG(cid:3)GR(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • &UHDWH(cid:3)D(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)OHG(cid:3)E\(cid:3)FRXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V DQG(cid:3) VWDWH(cid:3) UHSUHVHQWDWLYHV(cid:3) WR(cid:3) RYHUVHH(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) • $VN(cid:3)&DOLIRUQLD“V(cid:3)FRQJUHVVLRQDO(cid:3)GHOHJDWLRQ(cid:3)WR(cid:3)SXUVXH(cid:3)FKDQJHV LQ(cid:3) IHGHUDO(cid:3) ODZV(cid:3) JRYHUQLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) (cid:24)(cid:24) • 3URYLGH(cid:3) KLJK(cid:16)OHYHO(cid:3) VXSSRUW(cid:3) IRU(cid:3) WKH(cid:3) SURMHFW(cid:3) DQG(cid:3) FUHDWH LQFHQWLYHV(cid:3)IRU(cid:3)FRXQWLHV(cid:3)WR(cid:3)GHYHORS(cid:3)VROXWLRQV(cid:3)IRU(cid:3)WKH(cid:3)6WDWH“V FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)QHHGV(cid:17) • ,PSURYH(cid:3) WKH(cid:3) SROLFLHV(cid:3) DQG(cid:3) SURFHGXUHV(cid:3) DW(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG :HOIDUH(cid:3) $JHQF\(cid:3) ’DWD(cid:3) &HQWHU(cid:3) (cid:11)GDWD(cid:3) FHQWHU(cid:12)(cid:3) DQG(cid:3) WKH ’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3) (cid:11)6RFLDO(cid:3)6HUYLFHV(cid:12)(cid:3) WKDW(cid:3) KDYH DOORZHG(cid:3) LQDSSURSULDWH(cid:15)(cid:3) XQMXVWLILHG(cid:3) SD\PHQWV(cid:3) DQG(cid:3) FRQWUDFW DPHQGPHQWV(cid:3)WR(cid:3)JR(cid:3)XQGHWHFWHG(cid:17) • (QVXUH(cid:3)WKDW(cid:3)WKH(cid:3)HQWLW\(cid:3)VHOHFWHG(cid:3)E\(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)WR PDQDJH(cid:3)DQ\(cid:3)IXWXUH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ HIIRUWV(cid:3)OHDUQV(cid:3)IURP(cid:3)WKH(cid:3)OHVVRQV(cid:3)RI(cid:3)WKH(cid:3)ILUVW(cid:3)6$&66(cid:3)SURMHFW(cid:3)DQG HPSOR\V(cid:3)JRRG(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)WHFKQLTXHV(cid:17) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) VKRXOG(cid:3) PHPRULDOL]H(cid:3) &RQJUHVV(cid:3) WR DPHQG(cid:3) IHGHUDO(cid:3) ODZV(cid:3) JRYHUQLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:3)HIIRUWV(cid:17) 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)6KRXOG &UHDWH(cid:3)D(cid:3)*RYHUQDQFH(cid:3)&RXQFLO(cid:3)7R(cid:3)2YHUVHH )XWXUH(cid:3)(IIRUWV(cid:3)DW(cid:3)&KLOG(cid:3)6XSSRUW (QIRUFHPHQW(cid:3)$XWRPDWLRQ &DOLIRUQLD(cid:3)IDFHV(cid:3)VLJQLILFDQW(cid:3)RUJDQL]DWLRQDO(cid:3)DQG(cid:3)SROLWLFDO(cid:3)EDUULHUV WKDW(cid:3)LW(cid:3)PXVW(cid:3)RYHUFRPH(cid:3)EHIRUH(cid:3)LW(cid:3)FDQ(cid:3)VXFFHVVIXOO\(cid:3)DXWRPDWH(cid:3)WKH FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) V\VWHP(cid:17)(cid:3) (cid:3) 7KH(cid:3) KLJKHVW(cid:3) OHYHOV(cid:3) RI &DOLIRUQLD“V(cid:3)JRYHUQPHQW(cid:3)PXVW(cid:3)FOHDUO\(cid:3)UHFRJQL]H(cid:3)WKHVH(cid:3)FKDOOHQJHV EHIRUH(cid:3) VWDWH(cid:3) DQG(cid:3) FRXQW\(cid:3) H[HFXWLYHV(cid:3) DWWHPSW(cid:3) VROXWLRQV(cid:17)(cid:3) (cid:3) )RU 8QOLNH(cid:3)PRVW(cid:3)RWKHU(cid:3)VWDWHV(cid:15) H[DPSOH(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)WKH(cid:3)FRXQWLHV(cid:3)KDYH(cid:3)GLIIHUHQW(cid:3)QHHGV(cid:3)DQG &DOLIRUQLD“V(cid:3)(cid:24)(cid:27)(cid:3)FRXQWLHV SULRULWLHV(cid:17)(cid:3)(cid:3)8QOLNH(cid:3)PRVW(cid:3)RWKHU(cid:3)VWDWHV(cid:15)(cid:3)&DOLIRUQLD“V(cid:3)(cid:24)(cid:27)(cid:3)FRXQWLHV ZRUN(cid:3)VRPHZKDW ZRUN(cid:3) VRPHZKDW(cid:3) DXWRQRPRXVO\(cid:3) WR(cid:3) SHUIRUP(cid:3) FKLOG(cid:3) VXSSRUW DXWRQRPRXVO\(cid:3)WR HQIRUFHPHQW(cid:3) DFWLYLWLHV(cid:17)(cid:3) (cid:3) 2SHUDWLRQV(cid:3) DUH(cid:3) QRW(cid:3) FHQWUDOL]HG(cid:3) QRU SHUIRUP(cid:3)FKLOG(cid:3)VXSSRUW GLUHFWO\(cid:3)FRQWUROOHG(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:15)(cid:3)DQG(cid:3)JRYHUQDQFH(cid:3)UHVWV(cid:3)LQ(cid:3)WKH HQIRUFHPHQW(cid:3)DFWLYLWLHV(cid:17) KDQGV(cid:3)RI(cid:3)HOHFWHG(cid:3)FRXQW\(cid:3)RIILFLDOV(cid:17) &KLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)LV(cid:3)D(cid:3)GLIILFXOW(cid:3)SURJUDP(cid:3)WR(cid:3)DGPLQLVWHU XQGHU(cid:3)DQ\(cid:3)FLUFXPVWDQFHV(cid:17)(cid:3)(cid:3)7KH(cid:3)SURJUDP(cid:3)GHDOV(cid:3)ZLWK(cid:3)WZR(cid:3)VXEMHFWV RYHU(cid:3)ZKLFK(cid:3)SHRSOH(cid:3)FDQ(cid:3)EHFRPH(cid:3)YHU\(cid:3)HPRWLRQDO(cid:29)(cid:3)WKHLU(cid:3)FKLOGUHQ DQG(cid:3)WKHLU(cid:3)PRQH\(cid:17)(cid:3)(cid:3)$GG(cid:3)WR(cid:3)WKLV(cid:3)PL[(cid:3)D(cid:3)ODUJH(cid:3)VWDWH(cid:3)EXUHDXFUDF\(cid:15) ORFDOO\(cid:3) HOHFWHG(cid:3) RIILFLDOV(cid:15)(cid:3) DWWRUQH\V(cid:15)(cid:3) MXGJHV(cid:15)(cid:3) DQG(cid:3) DGYRFDF\ JURXSV(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) SURJUDP(cid:3) KDV(cid:3) D(cid:3) IRUPLGDEOH(cid:3) JURXS(cid:3) RI VWDNHKROGHUV(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)GLVWULFW(cid:3)DWWRUQH\V(cid:3)RSHUDWH(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3) DW(cid:3) WKH(cid:3) ORFDO(cid:3) OHYHO(cid:15)(cid:3) VHQVLWLYLW\(cid:3) RI(cid:3) WKH(cid:3) SURJUDP(cid:3) LV KHLJKWHQHG(cid:3)DQG(cid:3)LQWHUHVWV(cid:3)DUH(cid:3)GHHSO\(cid:3)YHVWHG(cid:17) (cid:24)(cid:25) *HWWLQJ(cid:3)FRXQW\(cid:15)(cid:3)VWDWH(cid:15)(cid:3)DQG(cid:3)IHGHUDO(cid:3)RIILFLDOV(cid:3)WR(cid:3)DJUHH(cid:3)XSRQ(cid:3)DQ DSSURDFK(cid:3)IRU(cid:3)DXWRPDWLRQ(cid:3)KDV(cid:3)DOZD\V(cid:3)EHHQ(cid:3)FKDOOHQJLQJ(cid:17)(cid:3)(cid:3):LWK WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66(cid:15)(cid:3)WKH(cid:3)FKDOOHQJH(cid:3)PD\(cid:3)EH(cid:3)HYHQ(cid:3)JUHDWHU(cid:3)DV(cid:3)WKH FRXQWLHV(cid:3)DQG(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)TXHVWLRQ(cid:3)WKH(cid:3)6WDWH“V(cid:3)DELOLW\ WR(cid:3) LQVWDOO(cid:3) VXFFHVVIXOO\(cid:3) D(cid:3) V\VWHP(cid:3) RI(cid:3) WKLV(cid:3) VL]H(cid:3) DQG(cid:3) VFRSH(cid:17) &RQVHTXHQWO\(cid:15)(cid:3) DXWRPDWLRQ(cid:3) RI(cid:3) &DOLIRUQLD“V(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)SURJUDP(cid:3)LV(cid:3) PRUH(cid:3) RI(cid:3) D(cid:3) SROLWLFDO(cid:3) SUREOHP(cid:3) WKDQ(cid:3) D WHFKQLFDO(cid:3) SUREOHP(cid:17)(cid:3) (cid:3) ,Q(cid:3) IDFW(cid:15)(cid:3) RWKHU(cid:3) VWDWHV(cid:3) KDYH(cid:3) VKRZQ(cid:3) WKDW WHFKQRORJ\(cid:3)LV(cid:3)DYDLODEOH(cid:3)WR(cid:3)DXWRPDWH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:17) &DOLIRUQLD“V(cid:3)GHEDWH(cid:3)RQ(cid:3)IXWXUH(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:3)ZLOO(cid:3)PRVW(cid:3)OLNHO\ IRFXV(cid:3)QRW(cid:3)RQ(cid:3)WHFKQRORJ\(cid:3)EXW(cid:3)RQ(cid:3)ZKR(cid:3)ZLOO(cid:3)VSRQVRU(cid:3)WKH(cid:3)SURMHFW(cid:15) KRZ(cid:3)WKH(cid:3)6WDWH(cid:3)ZLOO(cid:3)RUJDQL]H(cid:3)DQG(cid:3)PDQDJH(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)DQG(cid:3)ZKLFK DSSURDFK(cid:3)WR(cid:3)DXWRPDWLRQ(cid:3)WKH(cid:3)6WDWH(cid:3)ZLOO(cid:3)WDNH(cid:17) 7KH(cid:3)FRXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V(cid:3)DUH(cid:3)RQ(cid:3)WKH(cid:3)IURQW(cid:3)OLQHV(cid:3)RI(cid:3)WKH(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:3)DQG(cid:3)NQRZ(cid:3)WKHLU(cid:3)FRXQWLHV“(cid:3)QHHGV(cid:17) &RXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V :LWKRXW(cid:3)WKHLU(cid:3)FRPPLWPHQW(cid:3)DQG(cid:3)GLUHFW(cid:3)LQYROYHPHQW(cid:15)(cid:3)DQ\(cid:3)HIIRUW(cid:3)DW DUH(cid:3)RQ(cid:3)WKH(cid:3)IURQW(cid:3)OLQHV FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3) LV(cid:3) OLNHO\(cid:3) WR(cid:3) IDLO(cid:17)(cid:3) (cid:3) 7KH RI(cid:3)FKLOG(cid:3)VXSSRUW ZLOOLQJQHVV(cid:3)RI(cid:3)FRXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V(cid:3)WR(cid:3)DFFHSW(cid:3)UHVSRQVLELOLW\ HQIRUFHPHQW(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)ZLWKRXW IRU(cid:3) WKH(cid:3) DXWRPDWLRQ(cid:3) HIIRUWV(cid:3) ZLOO(cid:3) EH(cid:3) D(cid:3) NH\(cid:3) IDFWRU(cid:17)(cid:3) (cid:3) :LWK(cid:3) WKLV WKHLU(cid:3)FRPPLWPHQW(cid:3)DQG UHVSRQVLELOLW\(cid:3)VKRXOG(cid:3)FRPH(cid:3)WKHLU(cid:3)FRPPLWPHQW(cid:3)WR(cid:3)WKH(cid:3)SURMHFW(cid:3)DQG LQYROYHPHQW(cid:15)(cid:3)DQ\(cid:3)HIIRUW(cid:3)LV WKH(cid:3)DFFRXQWDELOLW\(cid:3)IRU(cid:3)DFKLHYLQJ(cid:3)WKH(cid:3)JRDOV(cid:3)VHW(cid:3)IRUWK(cid:3)E\(cid:3)WKH(cid:3)6WDWH OLNHO\(cid:3)WR(cid:3)IDLO(cid:17) DQG(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:17) 5HFRPPHQGDWLRQ(cid:29)(cid:3)(cid:3)7R(cid:3)VHFXUH(cid:3)WKH(cid:3)DJUHHPHQW(cid:3)DQG(cid:3)FRPPLWPHQW RI(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) VWDNHKROGHUV(cid:15)(cid:3) WKH(cid:3) +HDOWK DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) VKRXOG(cid:3) FUHDWH(cid:3) D(cid:3) JRYHUQDQFH(cid:3) FRXQFLO FKDUJHG(cid:3) ZLWK(cid:3) WKH(cid:3) UHVSRQVLELOLW\(cid:3) IRU(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17)(cid:3)(cid:3)7KLV(cid:3)FRXQFLO(cid:3)VKRXOG(cid:3)EH(cid:3)OHG E\(cid:3)UHSUHVHQWDWLYHV(cid:3)RI(cid:3)WKH(cid:3)FRXQW\(cid:3)GLVWULFW(cid:3)DWWRUQH\V(cid:3)DQG(cid:3)LQFOXGH UHSUHVHQWDWLYHV(cid:3) IURP(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) SRVVLEO\(cid:3) WKH(cid:3) IHGHUDO JRYHUQPHQW(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)DV(cid:3)WKH(cid:3)UHFLSLHQW(cid:3)RI(cid:3)WKH(cid:3)IHGHUDO(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)IXQGV(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)PD\(cid:3)QHHG(cid:3)WR(cid:3)UHWDLQ(cid:3)YHWR SRZHU(cid:3)RYHU(cid:3)WKH(cid:3)GHFLVLRQV(cid:3)RI(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)WR(cid:3)HQVXUH WKH(cid:3)EHVW(cid:3)LQWHUHVWV(cid:3)RI(cid:3)WKH(cid:3)6WDWH(cid:3)DV(cid:3)D(cid:3)ZKROH(cid:3)DUH(cid:3)SURWHFWHG(cid:17) 7KH(cid:3) FRXQFLO(cid:3) VKRXOG(cid:3) EH(cid:3) UHVSRQVLEOH(cid:3) IRU(cid:3) VHOHFWLQJ(cid:3) WKH(cid:3) SURMHFW PDQDJHPHQW(cid:3)WHDP(cid:3)DQG(cid:3)HQWLWLHV(cid:3)WKDW(cid:3)ZLOO(cid:3)OHDG(cid:3)WKH(cid:3)DXWRPDWLRQ HIIRUWV(cid:3)DQG(cid:3)SURFXUH(cid:3)WKH(cid:3)QHFHVVDU\(cid:3)FRQWUDFWRUV(cid:3)DQG(cid:3)HTXLSPHQW(cid:17) 7KH(cid:3)FRXQFLO(cid:3)VKRXOG(cid:3)SURYLGH(cid:3)WKH(cid:3)GLUHFWLRQ(cid:3)RQ(cid:3)SROLFLHV(cid:3)EXW(cid:3)OHDYH RSHUDWLRQDO(cid:3)GHFLVLRQV(cid:3)WR(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:15)(cid:3)ZKR(cid:3)VKRXOG(cid:3)EH DFFRXQWDEOH(cid:3)WR(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:17) (cid:24)(cid:26) 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)6KRXOG 6HHN(cid:3)&KDQJHV(cid:3)LQ(cid:3))HGHUDO(cid:3)/DZV(cid:3)*RYHUQLQJ &KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)$XWRPDWLRQ )HGHUDO(cid:3) GHDGOLQHV(cid:3) DQG(cid:3) UHTXLUHPHQWV(cid:3) PD\(cid:3) GULYH(cid:3) &DOLIRUQLD WR(cid:3)DQRWKHU(cid:3)LOO(cid:16)FRQFHLYHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ SURMHFW(cid:3)FRVWLQJ(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:3)EXW(cid:3)FDUU\LQJ(cid:3)QR(cid:3)JXDUDQWHHV(cid:3)RI VXFFHVV(cid:3) RU(cid:3) RI(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FDSDFLW\(cid:3) WR(cid:3) LPSURYH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3) SHUIRUPDQFH(cid:17)(cid:3) (cid:3) 7KH(cid:3) SUHVVXUH(cid:3) WR(cid:3) PHHW(cid:3) IHGHUDO GHDGOLQHV(cid:3) ZDV(cid:3) RQH(cid:3) RI(cid:3) WKH(cid:3) PRVW(cid:3) VLJQLILFDQW(cid:3) IDFWRUV(cid:3) WKDW FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)6$&66(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)FXUUHQW(cid:3)IHGHUDO GHDGOLQHV(cid:3)DQG(cid:3)SRWHQWLDO(cid:3)VDQFWLRQV(cid:3)DUH(cid:3)HQFRXUDJLQJ(cid:3)&DOLIRUQLD(cid:3)WR SXUVXH(cid:3)WKH(cid:3)FUHDWLRQ(cid:3)RI(cid:3)D(cid:3)FRQVRUWLD(cid:3)RI(cid:3)H[LVWLQJ(cid:3)FRXQW\(cid:3)V\VWHPV OLQNHG(cid:3)E\(cid:3)D(cid:3)VWDWH(cid:3)V\VWHP(cid:3)(cid:11)D(cid:3)§K\EULG¤(cid:3)V\VWHP(cid:12)(cid:3)UDWKHU(cid:3)WKDQ(cid:3)D(cid:3)VLQJOH VWDWHZLGH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3),URQLFDOO\(cid:15)(cid:3)WKH(cid:3)8(cid:17)6(cid:17)(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK DQG(cid:3)+XPDQ(cid:3)6HUYLFHV(cid:15)(cid:3)ZKLFK(cid:3)RYHUVHHV(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)LVVXHV(cid:15)(cid:3)KDV H[SUHVVHG(cid:3) VHULRXV(cid:3) FRQFHUQV(cid:3) DERXW(cid:3) HIIRUWV(cid:3) WR(cid:3) PRYH(cid:3) WRZDUGV FRXQW\(cid:16)EDVHG(cid:3)V\VWHPV(cid:17) $XWRPDWLQJ(cid:3)IRU(cid:3)WKH(cid:3):URQJ(cid:3)5HDVRQV ,Q(cid:3)D(cid:3) QRUPDO(cid:3) EXVLQHVV(cid:3) VHWWLQJ(cid:15)(cid:3) DQ(cid:3) RUJDQL]DWLRQ(cid:3) XQGHUWDNHV(cid:3) DQ DXWRPDWLRQ(cid:3)SURMHFW(cid:3)DV(cid:3)D(cid:3)PHDQV(cid:3)WR(cid:3) LPSURYH(cid:3)WKH(cid:3) HIILFLHQF\(cid:3) RU HIIHFWLYHQHVV(cid:3)RI(cid:3)D(cid:3)SDUWLFXODU(cid:3)IXQFWLRQ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKLV(cid:3)JRDO(cid:3)PD\ QRW(cid:3) DSSO\(cid:3) WR(cid:3) FXUUHQW(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) DXWRPDWLRQ HIIRUWV(cid:3)LQ(cid:3)&DOLIRUQLD(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)LV(cid:3)XQGHUWDNLQJ(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW DQG(cid:3) IXWXUH(cid:3) UHODWHG(cid:3) DXWRPDWLRQ(cid:3) HIIRUWV(cid:3) WR(cid:3) PHHW(cid:3) WKH(cid:3) IHGHUDO 7KH(cid:3)6WDWH(cid:3)LV(cid:3)XQGHUWDNLQJ JRYHUQPHQW“V(cid:3) UHTXLUHPHQWV(cid:3) IRU(cid:3) DXWRPDWLRQ(cid:3) UDWKHU(cid:3) WKDQ 6$&66(cid:3)WR(cid:3)PHHW(cid:3)IHGHUDO WR(cid:3)LPSURYH(cid:3)WKH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:17)(cid:3)(cid:3))DLOXUH(cid:3)WR UHTXLUHPHQWV(cid:3)IRU FRPSO\(cid:3) ZLWK(cid:3) WKH(cid:3) IHGHUDO(cid:3) UHTXLUHPHQWV(cid:3) FRXOG(cid:3) FRVW(cid:3) WKH(cid:3) 6WDWH DXWRPDWLRQ(cid:3)UDWKHU(cid:3)WKDQ(cid:3)WR PLOOLRQV(cid:3)RU(cid:3)HYHQ(cid:3)ELOOLRQV(cid:3)RI(cid:3)GROODUV(cid:3)LQ(cid:3)IHGHUDO(cid:3)ILQDQFLDO(cid:3)VDQFWLRQV LPSURYH(cid:3)WKH(cid:3)GHOLYHU\(cid:3)RI DQG(cid:3)SRWHQWLDO(cid:3)ODZVXLWV(cid:17) WKHVH(cid:3)VHUYLFHV(cid:17) $XWRPDWLQJ(cid:3)D(cid:3)V\VWHP(cid:3)GRHV(cid:3)QRW(cid:3)DOZD\V(cid:3)LPSURYH(cid:3)LWV(cid:3)SHUIRUPDQFH(cid:17) 0RVW(cid:3)RI(cid:3)WKH(cid:3)ODUJH(cid:3)FRXQWLHV(cid:3)LQ(cid:3)&DOLIRUQLD(cid:3)KDYH(cid:3)DOUHDG\(cid:3)DXWRPDWHG WKHLU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)1HYHUWKHOHVV(cid:15)(cid:3)WKH SHUIRUPDQFH(cid:3) RI(cid:3) WKH(cid:3) FRXQWLHV(cid:3) ZLWK(cid:3) DXWRPDWHG(cid:3) V\VWHPV(cid:3) YDULHV JUHDWO\(cid:17)(cid:3) (cid:3) 0RUHRYHU(cid:15)(cid:3) VRPH(cid:3) RI(cid:3) WKH(cid:3) VWDWHV(cid:3) WKDW(cid:3) DXWRPDWHG(cid:3) LQ DFFRUGDQFH(cid:3)ZLWK(cid:3)WKH(cid:3)IHGHUDO(cid:3)UHTXLUHPHQWV(cid:3)PD\(cid:3)KDYH(cid:3)DFWXDOO\ H[SHULHQFHG(cid:3)D(cid:3)GHFOLQH(cid:3)LQ(cid:3)SHUIRUPDQFH(cid:17)(cid:3)(cid:3),I(cid:3)LW(cid:3)LV(cid:3)WUXO\(cid:3)LQWHUHVWHG(cid:3)LQ LPSURYLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SHUIRUPDQFH(cid:15)(cid:3)WKH(cid:3)IHGHUDO JRYHUQPHQW(cid:3)PXVW(cid:3)VKLIW(cid:3)LWV(cid:3)IRFXV(cid:3)DZD\(cid:3)IURP(cid:3)DXWRPDWLRQ(cid:3)IRU(cid:3)WKH VDNH(cid:3) RI(cid:3) DXWRPDWLRQ(cid:3) DQG(cid:3) IURP(cid:3) SHQDOWLHV(cid:3) IRU(cid:3) QRQFRPSOLDQFH(cid:17) ,QVWHDG(cid:15)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)VKRXOG(cid:3)IRFXV(cid:3)RQ(cid:3)DXWRPDWLRQ(cid:3)DV D(cid:3)PHDQV(cid:3)WR(cid:3)LPSURYH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SHUIRUPDQFH(cid:15) DQG(cid:3)LW(cid:3)VKRXOG(cid:3)SURYLGH(cid:3)LQFHQWLYHV(cid:3)IRU(cid:3)LPSURYHPHQW(cid:3)LQVWHDG(cid:3)RI SHQDOL]LQJ(cid:3)IRU(cid:3)IDLOLQJ(cid:3)WR(cid:3)PHHW(cid:3)DQ(cid:3)DUELWUDU\(cid:3)GHDGOLQH(cid:17) (cid:24)(cid:27) 8QUHDOLVWLF(cid:3)’HDGOLQHV :HOIDUH(cid:3) UHIRUP(cid:3) UHTXLUHV(cid:3) FHQWUDOL]DWLRQ(cid:3) RI(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3) IXQFWLRQV(cid:3) DW(cid:3) WKH(cid:3) VWDWH(cid:3) OHYHO(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKH UHFHLSW(cid:3) DQG(cid:3) GLVEXUVHPHQW(cid:3) RI(cid:3) VXSSRUW(cid:3) FROOHFWLRQV(cid:15)(cid:3) ZKLFK FRXQWLHV(cid:3) LQ(cid:3) &DOLIRUQLD(cid:3) SHUIRUP(cid:17)(cid:3) (cid:3) )HGHUDO(cid:3) ODZ(cid:3) UHTXLUHV(cid:3) WKH FHQWUDOL]HG(cid:3) FROOHFWLRQV(cid:3) DQG(cid:3) GLVEXUVHPHQW(cid:3) XQLW(cid:15)(cid:3) WR(cid:3) EH(cid:3) NQRZQ DV(cid:3) WKH(cid:3) 6WDWH(cid:3) ’LVEXUVHPHQW(cid:3) 8QLW(cid:15)(cid:3) WR(cid:3) EH(cid:3) LQ(cid:3) SODFH(cid:3) E\ 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:27)(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)IHGHUDO(cid:3)ZHOIDUH(cid:3)UHIRUP(cid:3)OHJLVODWLRQ FUHDWHG(cid:3) RWKHU(cid:3) QHZ(cid:3) GDWD(cid:3) FROOHFWLRQ(cid:15)(cid:3) UHSRUWLQJ(cid:15)(cid:3) WUDFNLQJ(cid:15)(cid:3) DQG PRQLWRULQJ(cid:3) UHTXLUHPHQWV(cid:3) IRU(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW SURJUDP(cid:17)(cid:3)(cid:3)7KH(cid:3)QHZ(cid:3)UHTXLUHPHQWV(cid:3)LQFOXGH(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • $(cid:3) FHQWUDO(cid:3) UHJLVWU\(cid:3) RI(cid:3) DOO(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) FDVHV(cid:15)(cid:3) LQFOXGLQJ VXSSRUW(cid:3) RUGHUV(cid:3) HVWDEOLVKHG(cid:3) RU(cid:3) PRGLILHG(cid:3) LQ(cid:3) WKH(cid:3) VWDWH(cid:3) DIWHU 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:27)(cid:17) • $(cid:3)QHZ(cid:16)KLUH(cid:3)GLUHFWRU\(cid:17) • $XWRPDWHG(cid:3) LQWHUIDFHV(cid:15)(cid:3) RU(cid:3) FRPSXWHUL]HG(cid:3) FRPPXQLFDWLRQV EHWZHHQ(cid:3)D(cid:3)YDULHW\(cid:3)RI(cid:3)SXEOLF(cid:3)DQG(cid:3)SULYDWH(cid:3)HQWLWLHV(cid:15)(cid:3)WR(cid:3)LPSURYH WKH(cid:3) 6WDWH“V(cid:3) DELOLW\(cid:3) WR(cid:3) ORFDWH(cid:3) QRQFXVWRGLDO(cid:3) SDUHQWV(cid:15)(cid:3) LQLWLDWH HQIRUFHPHQW(cid:3) DFWLRQV(cid:15)(cid:3) DQG(cid:3) FRRUGLQDWH(cid:3) ZLWK(cid:3) VWDWH(cid:3) SXEOLF DVVLVWDQFH(cid:3)SURJUDPV(cid:17) • ,QFUHDVHG(cid:3) FDVH(cid:3) PDQDJHPHQW(cid:3) FDSDFLW\(cid:3) DQG(cid:3) QHZ(cid:3) GDWD FROOHFWLRQ(cid:15)(cid:3) GDWD(cid:3) VHFXULW\(cid:15)(cid:3) FDVH(cid:3) PRQLWRULQJ(cid:15)(cid:3) DQG(cid:3) FDVH SURFHVVLQJ(cid:3)UHTXLUHPHQWV(cid:17) • ,PSURYHG(cid:3)UHSRUWLQJ(cid:3)RQ(cid:3)FROOHFWLRQ(cid:3)SHUIRUPDQFH(cid:3)PHDVXUHV(cid:17) • 1HZ(cid:3)UXOHV(cid:3)DQG(cid:3)SROLFLHV(cid:3)UHJDUGLQJ(cid:3)GLVWULEXWLRQ(cid:3)RI(cid:3)SDVW(cid:16)GXH FKLOG(cid:3) VXSSRUW(cid:3) SD\PHQWV(cid:15)(cid:3) SDWHUQLW\(cid:15)(cid:3) FRRSHUDWLRQ(cid:15)(cid:3) QHZ QRQFXVWRGLDO(cid:3) SDUHQW(cid:3) SURYLVLRQV(cid:15)(cid:3) DQG(cid:3) PHGLFDO(cid:3) VXSSRUW UHTXLUHPHQWV(cid:17) • &DVH(cid:3)FODVVLILFDWLRQ(cid:3)JXLGHOLQHV(cid:17) 7KH(cid:3)H[WHQW(cid:3)RI(cid:3)FKDQJHV(cid:3)UHTXLUHG(cid:3)E\(cid:3)ZHOIDUH(cid:3)UHIRUP(cid:3)DQG(cid:3)WKH(cid:3)IDLOXUH RI(cid:3)6$&66(cid:3)ZLOO(cid:3)OLNHO\(cid:3)FDXVH(cid:3)&DOLIRUQLD(cid:3)WR(cid:3)IDOO(cid:3)IXUWKHU(cid:3)EHKLQG(cid:3)LQ PHHWLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) UHTXLUHPHQWV(cid:17)(cid:3) (cid:3) :HOIDUH UHIRUP(cid:3)ZDV(cid:3)GHVLJQHG(cid:3)WR(cid:3)EXLOG(cid:3)XSRQ(cid:3)H[LVWLQJ(cid:3)UHTXLUHPHQWV(cid:3)DQG DVVXPHG(cid:3)WKDW(cid:3)VWDWHV(cid:3)ZRXOG(cid:3)ILQLVK(cid:3)WKHLU(cid:3)DXWRPDWHG(cid:3)V\VWHPV(cid:3)RQ WLPH(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) &DOLIRUQLD(cid:3) KDV(cid:3) QR(cid:3) VWDWHZLGH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)V\VWHP(cid:3)LQ(cid:3)SODFH(cid:15)(cid:3)LW(cid:3)LV(cid:3)XQOLNHO\(cid:3)WR(cid:3)PHHW(cid:3)VRPH(cid:3)RI(cid:3)WKH UHTXLUHPHQWV(cid:3)IRU(cid:3)WKH(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:27)(cid:15)(cid:3)GHDGOLQH(cid:17) (cid:24)(cid:28) )HGHUDO(cid:3)6DQFWLRQV(cid:3)DQG(cid:3)3HQDOWLHV 7KH(cid:3)6WDWH(cid:3)IDLOHG(cid:3)WR(cid:3)LQVWDOO(cid:3)D(cid:3)VWDWHZLGH(cid:3)DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3) V\VWHP(cid:3) E\(cid:3) 2FWREHU(cid:3) (cid:20)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) DV(cid:3) UHTXLUHG(cid:3) E\ IHGHUDO(cid:3)ODZ(cid:17)(cid:3)(cid:3)7R(cid:3)HQFRXUDJH(cid:3)FRPSOLDQFH(cid:3)ZLWK(cid:3)WKH(cid:3)ODZ(cid:15)(cid:3)WKH(cid:3)IHGHUDO JRYHUQPHQW(cid:3) HVWDEOLVKHG(cid:3) ODUJH(cid:3) ILQDQFLDO(cid:3) VDQFWLRQV(cid:3) IRU(cid:3) VWDWHV IDLOLQJ(cid:3) WR(cid:3) FRPSO\(cid:3) ZLWK(cid:3) WKH(cid:3) QHZ(cid:3) UHTXLUHPHQWV(cid:17)(cid:3) (cid:3) 3RVVLEOH VDQFWLRQV(cid:3)IRU(cid:3)&DOLIRUQLD(cid:3)PLVVLQJ(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQHV(cid:3)LQFOXGH ORVV(cid:3)RI(cid:3)DOO(cid:3)ZHOIDUH(cid:3)IXQGLQJ(cid:3)WR(cid:3)WKH(cid:3)6WDWH(cid:3)XQGHU(cid:3)WKH(cid:3)7HPSRUDU\ $VVLVWDQFH(cid:3) WR(cid:3) 1HHG\(cid:3) )DPLOLHV(cid:3) (cid:11)7$1)(cid:12)(cid:3) %ORFN(cid:3) *UDQW(cid:3) 3URJUDP(cid:17) ’XULQJ(cid:3)WKH(cid:3)\HDU(cid:3)HQGLQJ(cid:3)-XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)&DOLIRUQLD“V(cid:3)7$1)(cid:3)JUDQW DPRXQW(cid:3)ZDV(cid:3)(cid:7)(cid:22)(cid:17)(cid:26)(cid:3)ELOOLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)DOVR(cid:3)PD\(cid:3)ORVH(cid:3)DOO(cid:3)RI(cid:3)LWV &KLOG(cid:3) 6XSSRUW(cid:3) 3URJUDP(cid:3) IXQGLQJ(cid:17)(cid:3) (cid:3) ’XULQJ(cid:3) WKH(cid:3) \HDU(cid:3) HQGLQJ -XQH(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKLV(cid:3)IXQGLQJ(cid:3)WRWDOHG(cid:3)(cid:7)(cid:22)(cid:19)(cid:19)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)&RPELQHG SHQDOWLHV(cid:3)IRU(cid:3)WKH(cid:3)7$1)(cid:3)DQG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)SURJUDPV(cid:3)FRXOG(cid:3)EH (cid:7)(cid:23)(cid:3)ELOOLRQ(cid:17) &DOLIRUQLD(cid:3)LV(cid:3)QRW(cid:3)DORQH(cid:3)LQ(cid:3)PLVVLQJ(cid:3)WKH(cid:3)IHGHUDO(cid:3)GHDGOLQH(cid:17)(cid:3)(cid:3)$V(cid:3)RI )HEUXDU\(cid:3) (cid:23)(cid:15)(cid:3) (cid:20)(cid:28)(cid:28)(cid:27)(cid:15)(cid:3) RQO\(cid:3) (cid:21)(cid:22)(cid:3) VWDWHV(cid:3) KDG(cid:3) V\VWHPV(cid:3) FHUWLILHG(cid:3) DV PHHWLQJ(cid:3)WKH(cid:3)IHGHUDO(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)6HYHUDO(cid:3)RI(cid:3)WKH(cid:3)ODUJHVW(cid:3)VWDWHV DUH(cid:3) DPRQJ(cid:3) WKRVH(cid:3) QRW(cid:3) \HW(cid:3) FHUWLILHG(cid:30)(cid:3) WKHVH(cid:3) LQFOXGH(cid:3) )ORULGD(cid:15) 2KLR(cid:15)(cid:3) 3HQQV\OYDQLD(cid:15)(cid:3) 0LFKLJDQ(cid:15)(cid:3) DQG(cid:3) ,OOLQRLV(cid:17)(cid:3) (cid:3) &RQJUHVVLRQDO UHSUHVHQWDWLYHV(cid:3)IURP(cid:3)&DOLIRUQLD(cid:3)DQG(cid:3)RWKHU(cid:3)VWDWHV(cid:3)DUH(cid:3)ZRUNLQJ(cid:3)WR UHGXFH(cid:3)WKH(cid:3)PRVW(cid:3)RQHURXV(cid:3)SHQDOWLHV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)HYHQ(cid:3)ZLWK(cid:3)WKH VLJQLILFDQW(cid:3) UHOLHI(cid:3) SURSRVHG(cid:3) LQ(cid:3) OHJLVODWLRQ(cid:3) FXUUHQWO\(cid:3) EHIRUH &RQJUHVV(cid:15)(cid:3) WKH(cid:3) SHQDOWLHV(cid:3) LPSRVHG(cid:3) ZLOO(cid:3) EH(cid:3) PHDVXUHG(cid:3) LQ WHQV(cid:3)RI(cid:3)PLOOLRQV(cid:3)RI(cid:3)GROODUV(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)WKHVH SHQDOWLHV(cid:3)FRXOG(cid:3)WRWDO(cid:3)DV(cid:3)PXFK(cid:3)DV(cid:3)(cid:7)(cid:20)(cid:23)(cid:23)(cid:3)PLOOLRQ(cid:3)RYHU(cid:3)WKH(cid:3)QH[W IRXU(cid:3)\HDUV(cid:17) 5HFRPPHQGDWLRQ(cid:29)(cid:3)(cid:3)6WDWH(cid:3)OHDGHUV(cid:3)QHHG(cid:3)WR(cid:3)FRQWLQXH(cid:3)WR(cid:3)KHOS(cid:3)WKH IHGHUDO(cid:3) JRYHUQPHQW(cid:3) UHFRJQL]H(cid:3) WKH(cid:3) XQLQWHQGHG(cid:3) HIIHFWV(cid:3) LWV SROLFLHV(cid:3) DUH(cid:3) KDYLQJ(cid:3) RQ(cid:3) &DOLIRUQLD“V(cid:3) HIIRUWV(cid:3) WR(cid:3) DXWRPDWH(cid:3) FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:17)(cid:3)(cid:3)7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG DVN(cid:3) &DOLIRUQLD“V(cid:3) FRQJUHVVLRQDO(cid:3) GHOHJDWLRQ(cid:3) WR(cid:3) SXUVXH(cid:3) FKDQJHV 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH LQ(cid:3) IHGHUDO(cid:3) ODZV(cid:3) DQG(cid:3) SROLFLHV(cid:3) JRYHUQLQJ(cid:3) FKLOG(cid:3) VXSSRUW $JHQF\(cid:3)VKRXOG(cid:3)DVN HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:17)(cid:3)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH &DOLIRUQLD“V(cid:3)FRQJUHVVLRQDO $JHQF\(cid:3) VKRXOG(cid:3) SXUVXH(cid:3) FKDQJHV(cid:3) LQ(cid:3) IHGHUDO(cid:3) ODZV(cid:3) WR(cid:3) H[HPSW GHOHJDWLRQ(cid:3)WR(cid:3)SXUVXH &DOLIRUQLD(cid:3) IURP(cid:3) VDQFWLRQV(cid:3) DQG(cid:3) H[SRVXUH(cid:3) WR(cid:3) SRWHQWLDO(cid:3) ODZVXLWV FKDQJHV(cid:3)LQ(cid:3)IHGHUDO(cid:3)ODZV VWHPPLQJ(cid:3)IURP(cid:3)WKH(cid:3)6WDWH“V(cid:3)IDLOXUH(cid:3)WR(cid:3)PHHW(cid:3)IHGHUDO(cid:3)GHDGOLQHV(cid:3)IRU DQG(cid:3)SROLFLHV(cid:17) DXWRPDWLRQ(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG SXUVXH(cid:3)FKDQJHV(cid:3)LQ(cid:3)IHGHUDO(cid:3)ODZ(cid:3)DQG(cid:3)SROLFLHV(cid:3)WKDW(cid:3)ZLOO(cid:3)KHOS(cid:3)IRFXV IXWXUH(cid:3) DXWRPDWLRQ(cid:3) HIIRUWV(cid:3) RQ(cid:3) LPSURYLQJ(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)SURFHVV(cid:3)UDWKHU(cid:3)WKDQ(cid:3)RQ(cid:3)PHHWLQJ(cid:3)DUELWUDU\(cid:3)GHDGOLQHV RU(cid:3)DXWRPDWLQJ(cid:3)WR(cid:3)DYRLG(cid:3)VDQFWLRQV(cid:3)DQG(cid:3)ODZVXLWV(cid:17) :H(cid:3) IXUWKHU(cid:3) UHFRPPHQG(cid:3) WKDW(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) PHPRULDOL]H &RQJUHVV(cid:3)WR(cid:3)DPHQG(cid:3)IHGHUDO(cid:3)ODZV(cid:3)WR(cid:3)DGGUHVV(cid:3)WKH(cid:3)FRQFHUQV(cid:3)QRWHG DERYH(cid:17) (cid:25)(cid:19) 7KH(cid:3)6WDWH(cid:3)6KRXOG(cid:3)3URYLGH(cid:3)+LJK(cid:16)/HYHO 6SRQVRUVKLS(cid:3)DQG(cid:3)&UHDWH(cid:3),QFHQWLYHV IRU(cid:3),PSURYHPHQW 7KH(cid:3)ZLOOLQJQHVV(cid:3)RI(cid:3)&DOLIRUQLD“V(cid:3)KLJK(cid:16)OHYHO(cid:3)RIILFLDOV(cid:3)WR(cid:3)FKDPSLRQ WKH(cid:3)QHHG(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)ZLOO(cid:3)EH(cid:3)D NH\(cid:3)WR(cid:3)WKH(cid:3)VXFFHVV(cid:3)RI(cid:3)IXWXUH(cid:3)HIIRUWV(cid:17)(cid:3)(cid:3)([HFXWLYH(cid:16)OHYHO(cid:3)VSRQVRUVKLS LV(cid:3) RQH(cid:3) RI(cid:3) WKH(cid:3) PRVW(cid:3) FRPPRQ(cid:3) SUDFWLFHV(cid:3) DPRQJ(cid:3) OHDGLQJ RUJDQL]DWLRQV(cid:3) NQRZQ(cid:3) IRU(cid:3) WKHLU(cid:3) VXFFHVV(cid:3) LQ(cid:3) LPSOHPHQWLQJ LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)8(cid:17)6(cid:17)(cid:3)*HQHUDO $FFRXQWLQJ(cid:3)2IILFH(cid:3)(cid:11)*$2(cid:12)(cid:3)DQG(cid:3)SULYDWH(cid:3)UHVHDUFK(cid:3)ILUPV(cid:17)(cid:3)(cid:3)7KH(cid:3)*$2 UHSRUWV(cid:3)WKDW(cid:3)H[HFXWLYH(cid:16)OHYHO(cid:3)VSRQVRUV(cid:3)FRPPXQLFDWH(cid:3)WKH(cid:3)JRDOV(cid:3)IRU LPSURYHPHQW(cid:3)ZLWK(cid:3)D(cid:3)FOHDU(cid:15)(cid:3)FRQFLVH(cid:3)YLVLRQ(cid:3)RU(cid:3)SULQFLSOH(cid:3)VWDWHPHQW WKDW(cid:3) GHVFULEHV(cid:3) KRZ(cid:3) WKH(cid:3) RUJDQL]DWLRQ(cid:3) ZLOO(cid:3) XVH(cid:3) LQIRUPDWLRQ WHFKQRORJ\(cid:3)WR(cid:3)LPSURYH(cid:3)SHUIRUPDQFH(cid:17) &OHDUO\(cid:15)(cid:3)WKH(cid:3)DELOLW\(cid:3)RI(cid:3)WKH(cid:3)6WDWH(cid:3)WR(cid:3)GHILQH(cid:3)H[DFWO\(cid:3)ZKDW(cid:3)LW(cid:3)LV(cid:3)WU\LQJ WR(cid:3) DFFRPSOLVK(cid:3) E\(cid:3) DXWRPDWLQJ(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW SURJUDP(cid:3) FDQ(cid:3) LQFUHDVH(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FKDQFHV(cid:3) RI(cid:3) VXFFHVV(cid:17)(cid:3) (cid:3) 7KLV YLVLRQ(cid:3)ZLOO(cid:3)EH(cid:3)SDUWLFXODUO\(cid:3)LPSRUWDQW(cid:3)LI(cid:3)&DOLIRUQLD(cid:3)LV(cid:3)WR(cid:3)UHVSRQG(cid:3)WR WKH(cid:3) GLYHUVH(cid:3) RSLQLRQV(cid:3) DQG(cid:3) QHHGV(cid:3) RI(cid:3) WKH(cid:3) 6WDWH(cid:15)(cid:3) FRXQWLHV(cid:15)(cid:3) DQG IHGHUDO(cid:3)JRYHUQPHQW(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)SROLF\(cid:3)PDNHUV(cid:3)ZLOO(cid:3)QHHG(cid:3)WR HVWDEOLVK(cid:3)SULRULWLHV(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3))RUPDO(cid:3)SULRULWLHV(cid:3)KHOS(cid:3)SURMHFW PDQDJHUV(cid:3)PDNH(cid:3)GLIILFXOW(cid:3)GHFLVLRQV(cid:3)E\(cid:3)GLUHFWLQJ(cid:3)WKH(cid:3)PDQDJHUV(cid:3)WR IRFXV(cid:3)RQ(cid:3)ZKDW(cid:3)LV(cid:3)PRVW(cid:3)LPSRUWDQW(cid:17)(cid:3)(cid:3)7KH(cid:3)ODFN(cid:3)RI(cid:3)FOHDUO\(cid:3)VWDWHG SULRULWLHV(cid:3)OHDYHV(cid:3)SURMHFW(cid:3)PDQDJHUV(cid:3)ZLWKRXW(cid:3)FULWHULD(cid:3)DJDLQVW(cid:3)ZKLFK WR(cid:3)HYDOXDWH(cid:3)WKH(cid:3)6WDWH“V(cid:3)DOWHUQDWLYHV(cid:17) ,Q(cid:3)DGGLWLRQ(cid:15)(cid:3)DV(cid:3)FRXQWLHV(cid:3)WDNH(cid:3)RQ(cid:3)D(cid:3)OHDG(cid:3)UROH(cid:3)LQ(cid:3)IXWXUH(cid:3)DXWRPDWLRQ HIIRUWV(cid:15)(cid:3)WKH\(cid:3)QHHG(cid:3)WR(cid:3)VKDUH(cid:3)LQ(cid:3)VRPH(cid:3)RI(cid:3)WKH(cid:3)ILQDQFLDO(cid:3)ULVNV(cid:3)DQG EHQHILWV(cid:3)RI(cid:3)WKDW(cid:3)UROH(cid:17)(cid:3)(cid:3)&XUUHQWO\(cid:15)(cid:3)LW(cid:3)LV(cid:3)XQFOHDU(cid:3)ZKHWKHU(cid:3)VDQFWLRQV ZLOO(cid:3)DIIHFW(cid:3)WKH(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)LW(cid:3)LV(cid:3)XQFOHDU(cid:3)DV(cid:3)WR(cid:3)ZKHWKHU(cid:3)RU KRZ(cid:3)WKH(cid:3)6WDWH(cid:3)DQG(cid:3)WKH(cid:3)FRXQWLHV(cid:3)ZLOO(cid:3)VKDUH(cid:3)LQ(cid:3)WKH(cid:3)FRVWV(cid:3)RI(cid:3)DQ\ IXWXUH(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17)(cid:3)(cid:3):H(cid:3)DUH(cid:3)FRQFHUQHG(cid:3)WKDW(cid:3)D(cid:3)ODFN(cid:3)RI ILQDQFLDO(cid:3)SDUWLFLSDWLRQ(cid:3)RQ(cid:3)WKH(cid:3)SDUW(cid:3)RI(cid:3)WKH(cid:3)FRXQWLHV(cid:3)LQ(cid:3)WKH(cid:3)IXWXUH DXWRPDWLRQ(cid:3)HIIRUWV(cid:3)ZLOO(cid:3)SODFH(cid:3)WKH(cid:3)6WDWH(cid:3)DW(cid:3)D(cid:3)GLVDGYDQWDJH(cid:17) 2QH(cid:3)RI(cid:3)WKH(cid:3)ZD\V(cid:3)WKH(cid:3)6WDWH(cid:3)FRXOG(cid:3)HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)FRXQWLHV(cid:3)VKDUH WKH(cid:3)6WDWH“V(cid:3)LQWHUHVWV(cid:3)LQ(cid:3)IXWXUH(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:3)LV(cid:3)WKURXJK(cid:3)WKH XVH(cid:3)RI(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)LQFHQWLYH(cid:3)IXQGV(cid:17)(cid:3)(cid:3),Q(cid:3)ILVFDO(cid:3)\HDU (cid:20)(cid:28)(cid:28)(cid:23)(cid:16)(cid:28)(cid:24)(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) IHGHUDO(cid:3) JRYHUQPHQW(cid:3) SURYLGHG(cid:3) WKH 7KH(cid:3)6WDWH(cid:3)FRXOG(cid:3)UHGLUHFW(cid:3)D FRXQWLHV(cid:3)ZLWK(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:28)(cid:24)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)LQFHQWLYH(cid:3)SD\PHQWV(cid:3)IRU SRUWLRQ(cid:3)RI(cid:3)LQFHQWLYH(cid:3)IXQGV PHHWLQJ(cid:3) FHUWDLQ(cid:3) VWDQGDUGV(cid:3) RI(cid:3) SHUIRUPDQFH(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH(cid:3) FRXOG IRU(cid:3)IXWXUH(cid:3)FKLOG(cid:3)VXSSRUW UHGLUHFW(cid:3) D(cid:3) SRUWLRQ(cid:3) RI(cid:3) WKHVH(cid:3) IXQGV(cid:3) IRU(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17)(cid:3)(cid:3)$QRWKHU(cid:3)RSWLRQ(cid:3)LV(cid:3)WR(cid:3)SURYLGH HIIRUWV(cid:17) ILQDQFLDO(cid:3)LQFHQWLYHV(cid:3)WR(cid:3)WKH(cid:3)FRXQWLHV(cid:3)IRU(cid:3)PHHWLQJ(cid:3)WKH(cid:3)6WDWH“V(cid:3)JRDOV IRU(cid:3)LPSURYLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SHUIRUPDQFH(cid:3)WKURXJK DXWRPDWLRQ(cid:17)(cid:3)(cid:3)&KDSWHU(cid:3)(cid:28)(cid:21)(cid:25)(cid:15)(cid:3)6WDWXWHV(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)VWDWHV(cid:3)WKDW(cid:3)LW(cid:3)LV(cid:3)WKH LQWHQW(cid:3)RI(cid:3)WKH(cid:3)/HJLVODWXUH(cid:3)WR(cid:3)LQFOXGH(cid:3)D(cid:3)UHYLVHG(cid:3)SHUIRUPDQFH(cid:16)EDVHG FKLOG(cid:3)VXSSRUW(cid:3)LQFHQWLYH(cid:3)SURJUDP(cid:3)LQ(cid:3)WKH(cid:3)%XGJHW(cid:3)$FW(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:28)(cid:27)(cid:17) (cid:25)(cid:20) 7KHUHIRUH(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)KDV(cid:3)D(cid:3)XQLTXH(cid:3)RSSRUWXQLW\(cid:3)WR(cid:3)WLH(cid:15)(cid:3)WKURXJK(cid:3)WKH XVH(cid:3)RI(cid:3)LQFHQWLYH(cid:3)IXQGV(cid:15)(cid:3)VWDWH(cid:3)DQG(cid:3)IHGHUDO(cid:3)JRDOV(cid:3)IRU(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)WR(cid:3)LPSURYHPHQWV(cid:3)LQ(cid:3)SHUIRUPDQFH(cid:17) 5HFRPPHQGDWLRQ(cid:29)(cid:3) (cid:3) 7KH(cid:3) +HDOWK(cid:3) DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) VKRXOG SURYLGH(cid:3) KLJK(cid:16)OHYHO(cid:3) VSRQVRUVKLS(cid:3) RI(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:3)HIIRUWV(cid:3)DQG(cid:3)HVWDEOLVK(cid:3)WKH(cid:3)6WDWH“V(cid:3)JRDOV(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:17) ,Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)DJHQF\(cid:3)VKRXOG(cid:3)GHILQH(cid:3)WKH(cid:3)6WDWH“V(cid:3)SULRULWLHV(cid:3)IRU PRYLQJ(cid:3)WKH(cid:3) DXWRPDWLRQ(cid:3)HIIRUWV(cid:3) IRUZDUG(cid:17)(cid:3) (cid:3) )LQDOO\(cid:15)(cid:3) WKH(cid:3) DJHQF\ VKRXOG(cid:3)FRQVLGHU(cid:3)LQQRYDWLYH(cid:3)ZD\V(cid:3)WR(cid:3)FUHDWH(cid:3)LQFHQWLYHV(cid:3)IRU(cid:3)WKH FRXQWLHV(cid:3)OHDGLQJ(cid:3)WKH(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:3)WR(cid:3)DFKLHYH(cid:3)WKH(cid:3)JRDOV(cid:3)RI WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) IHGHUDO(cid:3) JRYHUQPHQW(cid:3) DQG(cid:3) WR(cid:3) LPSURYH(cid:3) WKH SHUIRUPDQFH(cid:3)RI(cid:3)WKH(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:17) 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\ 6KRXOG(cid:3),PSURYH(cid:3)3ROLFLHV(cid:3)DQG 3URFHGXUHV(cid:3)IRU(cid:3)&RQWUDFW $PHQGPHQWV(cid:3)DQG(cid:3)3D\PHQWV $V(cid:3)ZH(cid:3)GLVFXVV(cid:3)LQ(cid:3)&KDSWHU(cid:3)(cid:22)(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU LQDGHTXDWHO\(cid:3) DGPLQLVWHUHG(cid:3) WKH(cid:3) /RFNKHHG(cid:3) 0DUWLQ(cid:3) ,QIRUPDWLRQ 0DQDJHPHQW(cid:3)6\VWHPV(cid:3)(cid:11)/RFNKHHG(cid:12)(cid:3)FRQWUDFW(cid:17)(cid:3)(cid:3)3UREOHPV(cid:3)DVVRFLDWHG ZLWK(cid:3) WKH(cid:3) DJHQFLHV“(cid:3) PDQDJHPHQW(cid:3) RI(cid:3) WKH(cid:3) FRQWUDFW(cid:3) IRU(cid:3) 6$&66 LQFOXGH(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • ,QFUHDVLQJ(cid:3) E\(cid:3) (cid:7)(cid:20)(cid:20)(cid:17)(cid:27)(cid:3) PLOOLRQ(cid:3) WKH(cid:3) DPRXQW(cid:3) SD\DEOH(cid:3) IRU GHOLYHUDEOHV(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)ZDV(cid:3)DOUHDG\(cid:3)REOLJDWHG(cid:3)WR(cid:3)SURYLGH(cid:17) • $GGLQJ(cid:3) D(cid:3) (cid:7)(cid:21)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:3) WDVN(cid:3) WR(cid:3) WKH(cid:3) FRQWUDFW(cid:3) ZLWKRXW MXVWLILFDWLRQ(cid:3)RU(cid:3)H[SODQDWLRQ(cid:17) • 8QGHUVWDWLQJ(cid:3) DPRXQWV(cid:3) SD\DEOH(cid:3) XQGHU(cid:3) WKH(cid:3) FRQWUDFW(cid:3) E\ (cid:7)(cid:20)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:17) • ,VVXLQJ(cid:3) DSSUR[LPDWHO\(cid:3) (cid:7)(cid:22)(cid:20)(cid:26)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) LQ(cid:3) GXSOLFDWH(cid:3) DQG RYHUSD\PHQWV(cid:17) 5HFRPPHQGDWLRQ(cid:29)(cid:3) (cid:3) 7KH(cid:3) +HDOWK(cid:3) DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) VKRXOG 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH UHYLHZ(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)DPHQGPHQWV(cid:3)LQ(cid:3)TXHVWLRQ(cid:3)WR(cid:3)GHWHUPLQH(cid:3)KRZ $JHQF\(cid:3)VKRXOG(cid:3)UHYLHZ(cid:3)WKH WKHVH(cid:3)LPSURSHU(cid:3)FKDQJHV(cid:3)RFFXUUHG(cid:3)DQG(cid:3)VHHN(cid:3)UHLPEXUVHPHQW(cid:3)IRU /RFNKHHG(cid:3)FRQWUDFW DQ\(cid:3)LQDSSURSULDWH(cid:3)SD\PHQWV(cid:3)WR(cid:3)WKH(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH DPHQGPHQWV(cid:3)LQ(cid:3)TXHVWLRQ DJHQF\(cid:3)VKRXOG(cid:3)H[DPLQH(cid:3)WKH(cid:3)SROLFLHV(cid:3)DQG(cid:3)SURFHGXUHV(cid:3)RI(cid:3)WKH(cid:3)GDWD DQG(cid:3)VHHN(cid:3)UHLPEXUVHPHQW FHQWHU(cid:3) DQG(cid:3) 6RFLDO(cid:3) 6HUYLFHV(cid:3) IRU(cid:3) UHYLHZLQJ(cid:3) SURSRVHG(cid:3) FRQWUDFW IRU(cid:3)DQ\(cid:3)LQDSSURSULDWH DPHQGPHQWV(cid:3) WR(cid:3) GHWHUPLQH(cid:3) KRZ(cid:3) DQG(cid:3) ZK\(cid:3) WKHVH(cid:3) DJHQFLHV SD\PHQWV(cid:17) DSSURYHG(cid:3) LQDSSURSULDWH(cid:3) DQG(cid:3) XQQHFHVVDU\(cid:3) FKDQJHV(cid:3) WR(cid:3) WKH /RFNKHHG(cid:3)FRQWUDFW(cid:17) (cid:25)(cid:21) )LQDOO\(cid:15)(cid:3)ZH(cid:3)UHFRPPHQG(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)OHDUQ(cid:3)IURP(cid:3)WKH(cid:3)OLWLJDWLRQ(cid:3)LW LV(cid:3)QRZ(cid:3)DFWLYHO\(cid:3)HQJDJHG(cid:3)LQ(cid:3)ZLWK(cid:3)/RFNKHHG(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)KDV(cid:3)KLUHG DQ(cid:3) RXWVLGH(cid:3) ODZ(cid:3) ILUP(cid:3) VSHFLDOL]LQJ(cid:3) LQ(cid:3) OLWLJDWLRQ(cid:3) UHODWLQJ(cid:3) WR LQIRUPDWLRQ(cid:3) WHFKQRORJ\(cid:3) FRQWUDFWV(cid:17)(cid:3) (cid:3) 7KH(cid:3) OLWLJDWLRQ(cid:3) ZLOO XQGRXEWHGO\(cid:3) UHYHDO(cid:3) ZHDNQHVVHV(cid:3) LQ(cid:3) WKH(cid:3) 6WDWH“V(cid:3) FRQWUDFWLQJ SUDFWLFHV(cid:3)IRU(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:17)(cid:3)(cid:3)7KH(cid:3)+HDOWK(cid:3)DQG :HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG(cid:3)WDNH(cid:3)DGYDQWDJH(cid:3)RI(cid:3)WKH(cid:3)OHVVRQV(cid:3)OHDUQHG IURP(cid:3)WKLV(cid:3)H[SHULHQFH(cid:3)WR(cid:3)GHWHUPLQH(cid:3)KRZ(cid:3)WKH(cid:3)6WDWH(cid:3)VKRXOG(cid:3)FKDQJH LWV(cid:3)FRQWUDFWLQJ(cid:3)SUDFWLFHV(cid:3)WR(cid:3)EHWWHU(cid:3)SURWHFW(cid:3)VWDWH(cid:3)LQWHUHVWV(cid:17)(cid:3)(cid:3)7KH +HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)VKRXOG(cid:3)WKHQ(cid:3)VKDUH(cid:3)WKHVH(cid:3)OHVVRQV ZLWK(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)*HQHUDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)/HJLVODWXUH(cid:17) )XWXUH(cid:3)3URMHFW(cid:3)0DQDJHPHQW(cid:3)7HDPV 6KRXOG(cid:3)/HDUQ(cid:3))URP(cid:3)WKH(cid:3)6$&66(cid:3)3URMHFW 7R(cid:3) GHYHORS(cid:3) VXFFHVVIXOO\(cid:3) DQ(cid:3) DXWRPDWHG(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)V\VWHP(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)QHHGV(cid:3)WR DQDO\]H(cid:3)WKH(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:3)DQG(cid:3)WR(cid:3)OHDUQ(cid:3)IURP(cid:3)WKH 6WDWH“V(cid:3)SUHYLRXV(cid:3)PLVWDNHV(cid:17) (DUOLHU(cid:3)LQ(cid:3)WKLV(cid:3)FKDSWHU(cid:15)(cid:3)ZH(cid:3)UHFRPPHQGHG(cid:3)WKDW(cid:3)WKH(cid:3)DJHQF\(cid:3)FUHDWH D(cid:3) JRYHUQDQFH(cid:3) FRXQFLO(cid:3) WR(cid:3) RYHUVHH(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:3)HIIRUWV(cid:17)(cid:3)(cid:3):H(cid:3)DOVR(cid:3) SURSRVHG(cid:3)WKDW(cid:3) WKH JRYHUQDQFH(cid:3)FRXQFLO(cid:3)VHOHFW(cid:3)WKH(cid:3)SHRSOH(cid:3)DQG(cid:3)HQWLWLHV(cid:3)WR(cid:3)FDUU\(cid:3)RXW WKH(cid:3)FRXQFLO“V(cid:3)SODQV(cid:3)DQG(cid:3)PDQDJH(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)$FFRUGLQJO\(cid:15)(cid:3)ZH DGGUHVV(cid:3)WKH(cid:3)IROORZLQJ(cid:3)UHFRPPHQGDWLRQV(cid:3)WR(cid:3)WKRVH(cid:3)SHRSOH(cid:3)DQG 2XU(cid:3)UHFRPPHQGDWLRQV HQWLWLHV(cid:3)UHVSRQVLEOH(cid:3)IRU(cid:3)WKH(cid:3)XSFRPLQJ(cid:3)SURMHFW(cid:17) KLJKOLJKW(cid:3)WKRVH(cid:3)DUHDV(cid:3)RI SURMHFW(cid:3)PDQDJHPHQW 7KH(cid:3) ’HSDUWPHQW(cid:3) RI(cid:3) ,QIRUPDWLRQ(cid:3) 7HFKQRORJ\(cid:3) (cid:11)’2,7(cid:12)(cid:3) LV IRXQG(cid:3)PRVW(cid:3)GHILFLHQW(cid:3)LQ UHVSRQVLEOH(cid:3) IRU(cid:3) HVWDEOLVKLQJ(cid:3) SROLFLHV(cid:3) DQG(cid:3) SURFHGXUHV(cid:3) IRU(cid:3) WKH RXU(cid:3)UHYLHZ(cid:3)RI(cid:3)6$&66(cid:17) 6WDWH“V(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:17)(cid:3)(cid:3),Q(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)’2,7 LVVXHG(cid:3) LWV(cid:3) 3URMHFW(cid:3) 0DQDJHPHQW(cid:3) 0HWKRGRORJ\(cid:15)(cid:3) ZKLFK(cid:3) LV(cid:3) SDUW RI(cid:3)LWV(cid:3)6WDWHZLGH(cid:3),QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)0DQXDO(cid:17)(cid:3)(cid:3)7KH(cid:3)3URMHFW 0DQDJHPHQW(cid:3) 0HWKRGRORJ\(cid:3) SURYLGHV(cid:3) GHWDLOHG(cid:3) JXLGDQFH(cid:3) RQ SURMHFW(cid:3)SODQQLQJ(cid:15)(cid:3)VWDUW(cid:16)XS(cid:15)(cid:3)H[HFXWLRQ(cid:15)(cid:3)DQG(cid:3)FORVH(cid:16)RXW(cid:17)(cid:3)(cid:3):H(cid:3)ZLOO QRW(cid:3)DWWHPSW(cid:3)WR(cid:3)UHSOLFDWH(cid:3)WKH(cid:3)JXLGDQFH(cid:3)WKDW(cid:3)LV(cid:3)DOUHDG\(cid:3)DYDLODEOH IURP(cid:3)WKLV(cid:3)GRFXPHQW(cid:17)(cid:3)(cid:3),QVWHDG(cid:15)(cid:3)RXU(cid:3)UHFRPPHQGDWLRQV(cid:3)KLJKOLJKW WKRVH(cid:3)DUHDV(cid:3)RI(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)WKDW(cid:3)ZH(cid:3)IRXQG(cid:3)PRVW(cid:3)GHILFLHQW GXULQJ(cid:3) RXU(cid:3) UHYLHZ(cid:3) RI(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:3) DQG(cid:3) WKXV(cid:3) QHHG(cid:3) WKH JUHDWHVW(cid:3)DPRXQW(cid:3)RI(cid:3)DWWHQWLRQ(cid:3)IURP(cid:3)WKH(cid:3)DJHQF\(cid:17) (cid:25)(cid:22) (VWDEOLVK(cid:3)D(cid:3)3URMHFW(cid:3)&KDUWHU 2QH(cid:3) RI(cid:3) WKH(cid:3) ILUVW(cid:3) WDVNV(cid:3) WKH(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) WHDP(cid:3) VKRXOG XQGHUWDNH(cid:3)LV(cid:3)WKH(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)D(cid:3)SURMHFW(cid:3)FKDUWHU(cid:3)WKDW(cid:3)KDV(cid:3)WKH IROORZLQJ(cid:3)SXUSRVHV(cid:29) • ’HILQLQJ(cid:3)WKH(cid:3)ERXQGDULHV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:3)LQ(cid:3)WHUPV(cid:3)RI(cid:3)VFKHGXOH DQG(cid:3)VFRSH(cid:17) • )RUPDOL]LQJ(cid:3)WKH(cid:3)6WDWH“V(cid:3)FXUUHQW(cid:3)XQGHUVWDQGLQJ(cid:3)RI(cid:3)WKH(cid:3)JRDOV(cid:15) FRQVWUDLQWV(cid:15)(cid:3)UROHV(cid:15)(cid:3)UHVSRQVLELOLWLHV(cid:15)(cid:3)DQG(cid:3)DVVXPSWLRQV(cid:17) • 2EWDLQLQJ(cid:3)DSSURYDO(cid:3)IURP(cid:3)WKH(cid:3)SURMHFW“V(cid:3)VSRQVRUV(cid:3)(cid:11)JRYHUQDQFH FRXQFLO(cid:12)(cid:3)IRU(cid:3)WKH(cid:3)WHDP“V(cid:3)SURMHFW(cid:3)GHILQLWLRQ(cid:17) 7KH(cid:3) SURMHFW(cid:3) FKDUWHU(cid:3) LV(cid:3) WKH(cid:3) VLQJOH(cid:3) PRVW(cid:3) LPSRUWDQW(cid:3) WRRO WKDW(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHU(cid:3)ZRXOG(cid:3)KDYH(cid:3)WR(cid:3)SODQ(cid:15)(cid:3)VWDUW(cid:15)(cid:3)FRQWURO(cid:15) DQG(cid:3)DVVHVV(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)(VVHQWLDOO\(cid:15)(cid:3)D(cid:3)FRQWUDFW(cid:3)EHWZHHQ(cid:3)SURMHFW PDQDJHPHQW(cid:3) DQG(cid:3) SURMHFW(cid:3) VSRQVRUV(cid:15)(cid:3) WKH(cid:3) FKDUWHU(cid:3) KHOSV PDQDJH(cid:3)WKH(cid:3)H[SHFWDWLRQV(cid:3)RI(cid:3)DOO(cid:3)SDUWLHV(cid:3)FRQFHUQHG(cid:17)(cid:3)(cid:3):LWKRXW(cid:3)WKLV FKDUWHU(cid:15)(cid:3) WKH(cid:3) SURMHFW(cid:3) WHDP(cid:3) FRXOG(cid:3) KDYH(cid:3) GLIILFXOW\(cid:3) NHHSLQJ(cid:3) WKH SURMHFW(cid:3)RQ(cid:3)D(cid:3)FRQVLVWHQW(cid:3)FRXUVH(cid:15)(cid:3)XQGHUVWDQGLQJ(cid:3)ZKHQ(cid:3)WKH(cid:3)SURMHFW ZLOO(cid:3) EH(cid:3) LQVWDOOHG(cid:15)(cid:3) RU(cid:3) DVVLJQLQJ(cid:3) DQG(cid:3) PDQDJLQJ(cid:3) WKH(cid:3) UHVRXUFHV QHHGHG(cid:3)WR(cid:3)LPSOHPHQW(cid:3)WKH(cid:3)SODQ(cid:17)(cid:3)(cid:3):LWKRXW(cid:3)VXFK(cid:3)SODQV(cid:15)(cid:3)WKH(cid:3)6WDWH ZRXOG(cid:3) LQHYLWDEO\(cid:3) PDQDJH(cid:3) E\(cid:3) §HYHQW¤(cid:3) UDWKHU(cid:3) WKDQ(cid:3) JXLGLQJ DFFRUGLQJ(cid:3) WR(cid:3) JRDOV(cid:15)(cid:3) UHVXOWLQJ(cid:3) LQ(cid:3) D(cid:3) SURMHFW(cid:3) WKDW(cid:3) LV(cid:3) ODWH(cid:15)(cid:3) RYHU EXGJHW(cid:15)(cid:3)DQG(cid:3)XQDEOH(cid:3)WR(cid:3)GHOLYHU(cid:3)SURPLVHG(cid:3)EHQHILWV(cid:17) $SSHQGL[(cid:3) &(cid:3) RI(cid:3) ’2,7“V(cid:3) 3URMHFW(cid:3) 0DQDJHPHQW(cid:3) 0HWKRGRORJ\ PDQXDO(cid:3)SURYLGHV(cid:3)PRUH(cid:3)JXLGDQFH(cid:3)RQ(cid:3)SURMHFW(cid:3)FKDUWHUV(cid:17) (VWDEOLVK(cid:3)0HDVXUDEOH(cid:3)*RDOV DQG(cid:3)2EMHFWLYHV(cid:3)IRU(cid:3)WKH(cid:3)3URMHFW 7R(cid:3)HYDOXDWH(cid:3)WKH(cid:3)VXFFHVV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHPHQW WHDP(cid:3) VKRXOG(cid:3) DOVR(cid:3) HVWDEOLVK(cid:3) PHDVXUDEOH(cid:3) SHUIRUPDQFH(cid:3) JRDOV DQG(cid:3) REMHFWLYHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) IHGHUDO(cid:3) JRYHUQPHQW(cid:3) PDQGDWHG(cid:3) D(cid:3) VLQJOH VWDWHZLGH(cid:3)DXWRPDWHG(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)V\VWHP(cid:3)LQ(cid:3)WKH )DPLO\(cid:3)6XSSRUW(cid:3)$FW(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:27)(cid:27)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)QHYHU HVWDEOLVKHG(cid:3) VXFK(cid:3) PHDVXUDEOH(cid:3) JRDOV(cid:3) IRU(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW VXFK(cid:3) DV(cid:3) LPSURYLQJ(cid:3) WKH(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SURJUDP(cid:15) LQFUHDVLQJ(cid:3)FROOHFWLRQV(cid:15)(cid:3)RU(cid:3)UHGXFLQJ(cid:3)ODERU(cid:3)FRVWV(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15) 6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW(cid:3)GHYHORS(cid:3)VSHFLILF(cid:3)FULWHULD(cid:3)IRU(cid:3)PHDVXULQJ WKH(cid:3)VXFFHVV(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)HIIRUW(cid:3)DSSHDUHG(cid:3)WR IRFXV(cid:3) RQO\(cid:3) RQ(cid:3) FRPSO\LQJ(cid:3) ZLWK(cid:3) IHGHUDO(cid:3) UHTXLUHPHQWV(cid:3) UDWKHU WKDQ(cid:3) LPSURYLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) SHUIRUPDQFH(cid:3) DQG SURFHVVHV(cid:17) (cid:25)(cid:23) 3HUIRUPDQFH(cid:3)PHDVXUHV(cid:3)IRFXV(cid:3)RQ(cid:3)WKH(cid:3)EHQHILWV(cid:15)(cid:3)FRVWV(cid:15)(cid:3)DQG(cid:3)ULVNV(cid:3)RI LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:15)(cid:3)DQG(cid:3)DUH(cid:3)XVHG(cid:3)WR(cid:3) REMHFWLYHO\ HYDOXDWH(cid:3)SURMHFW(cid:3)RXWFRPHV(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU(cid:3)ZRUGV(cid:15)(cid:3)WKHVH(cid:3)PHDVXUHV(cid:3)DUH 3HUIRUPDQFH(cid:3)PHDVXUHV GHVLJQHG(cid:3)WR(cid:3)LGHQWLI\(cid:3)DFFRPSOLVKPHQWV(cid:3)(cid:11)IRU(cid:3)H[DPSOH(cid:15)(cid:3)LQFUHDVHG IRFXV(cid:3)RQ(cid:3)WKH(cid:3)EHQHILWV(cid:15) FROOHFWLRQV(cid:3)RU(cid:3)UHGXFHG(cid:3)ODERU(cid:3)FRVWV(cid:12)(cid:17)(cid:3)(cid:3)2QFH(cid:3)WKH(cid:3)ULJKW(cid:3)PHDVXUHV FRVWV(cid:15)(cid:3)DQG(cid:3)ULVNV(cid:3)RI DUH(cid:3)FKRVHQ(cid:15)(cid:3)WKH\(cid:3)DFW(cid:3)DV(cid:3)D(cid:3)FRPPRQ(cid:3)IRFXV(cid:3)IRU(cid:3)PDQDJHPHQW(cid:3)WR LQIRUPDWLRQ(cid:3)WHFKQRORJ\ WDUJHW(cid:3) SUREOHP(cid:3) DUHDV(cid:15)(cid:3) KLJKOLJKW(cid:3) VXFFHVVHV(cid:15)(cid:3) DQG(cid:3) JHQHUDOO\ SURMHFWV(cid:3)DQG(cid:3)DUH(cid:3)XVHG(cid:3)WR LQFUHDVH(cid:3) WKH(cid:3) UDWH(cid:3) RI(cid:3) SHUIRUPDQFH(cid:3) LPSURYHPHQW(cid:3) WKURXJK REMHFWLYHO\(cid:3)PHDVXUH HQKDQFHG(cid:3)OHDUQLQJ(cid:17)(cid:3)(cid:3)8OWLPDWHO\(cid:15)(cid:3)SHUIRUPDQFH(cid:3)PHDVXUHV(cid:3)HQDEOH RUJDQL]DWLRQV(cid:3) WR(cid:3) REMHFWLYHO\(cid:3) GHWHUPLQH(cid:3) ZKHWKHU(cid:3) LQIRUPDWLRQ SURMHFW(cid:3)RXWFRPHV(cid:17) V\VWHP(cid:3) SURMHFWV(cid:3) DUH(cid:3)UHDOO\(cid:3) PDNLQJ(cid:3) D(cid:3) GLIIHUHQFH(cid:17)(cid:3) (cid:3) &RQYHUVHO\(cid:15) ZLWKRXW(cid:3)SHUIRUPDQFH(cid:3)PHDVXUHV(cid:15)(cid:3)LW(cid:3)LV(cid:3)RIWHQ(cid:3)GLIILFXOW(cid:3)WR(cid:3)GHWHUPLQH WKH(cid:3)VXFFHVV(cid:3)RU(cid:3)IDLOXUH(cid:3)RI(cid:3)DQ(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFW(cid:17) ’HYHORS(cid:3)3URMHFW(cid:3)3ROLFLHV 7KH(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) WHDP(cid:3) VKRXOG(cid:3) UHDFK(cid:3) FRQVHQVXV(cid:3) RQ VWDQGDUG(cid:3) SUDFWLFHV(cid:3) LW(cid:3) ZLOO(cid:3) XVH(cid:3) WKURXJKRXW(cid:3) WKH(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) 7KH SROLFLHV(cid:3)VKRXOG(cid:3)VHUYH(cid:3)DV(cid:3)UHIHUHQFH(cid:3)SRLQWV(cid:3)IRU(cid:3)DOO(cid:3)WHDP(cid:3)PHPEHUV WR(cid:3)GHWHUPLQH(cid:3)KRZ(cid:3)WKH\(cid:3)VKRXOG(cid:3)KDQGOH(cid:3)VSHFLILF(cid:3)DVSHFWV(cid:3)RI(cid:3)WKH SURMHFW(cid:17)(cid:3) (cid:3) 7KH(cid:3) IROORZLQJ(cid:3) OLVW(cid:3) LQFOXGHV(cid:3) VRPH(cid:3) RI(cid:3) WKH(cid:3) DUHDV(cid:3) WR FRQVLGHU(cid:3)IRU(cid:3)IRUPDO(cid:3)SROLFLHV(cid:29) • 3URMHFW(cid:3) UHFRUGNHHSLQJ(cid:3) (cid:11)VXFK(cid:3) DV(cid:3) PDLQWDLQLQJ(cid:3) D(cid:3) SURMHFW OLEUDU\(cid:12)(cid:17)(cid:13)(cid:13) • 3URMHFW(cid:3)WLPHNHHSLQJ(cid:3)DQG(cid:3)FRVW(cid:3)DFFRXQWLQJ(cid:17)(cid:13)(cid:13) • 3URMHFW(cid:3)VWDWXV(cid:16)UHSRUWLQJ(cid:3)SUDFWLFHV(cid:17)(cid:13)(cid:13) • &KDQJH(cid:3)FRQWURO(cid:3)SURFHGXUHV(cid:17) • 4XDOLW\(cid:3)FRQWURO(cid:3)SURFHGXUHV(cid:17) • 5LVN(cid:3)PDQDJHPHQW(cid:3)SURFHGXUHV(cid:17) • ,GHQWLILFDWLRQ(cid:3) RI(cid:3) WRROV(cid:3) VWDII(cid:3) ZLOO(cid:3) XVH(cid:3) (cid:11)VXFK(cid:3) DV(cid:3) SURMHFW PDQDJHPHQW(cid:3)VRIWZDUH(cid:15)(cid:3)FRPSXWHU(cid:16)DLGHG(cid:3)VRIWZDUH(cid:3)HQJLQHHULQJ WRROV(cid:15)(cid:3)DQG(cid:3)VR(cid:3)IRUWK(cid:12)(cid:17) • 6WDQGDUGV(cid:3) WKH(cid:3) VWDII(cid:3) ZLOO(cid:3) IROORZ(cid:3) (cid:11)VXFK(cid:3) DV(cid:3) SURJUDPPLQJ VWDQGDUGV(cid:3)DQG(cid:3)GRFXPHQWDWLRQ(cid:3)VWDQGDUGV(cid:12)(cid:17) BBBBBBBBBBBBBBBBBBBBB (cid:13)(cid:13):H(cid:3)GLVFXVV(cid:3)WKHVH(cid:3)LWHPV(cid:3)LQ(cid:3)PRUH(cid:3)GHWDLO(cid:3)RQ(cid:3)WKH(cid:3)IROORZLQJ(cid:3)SDJHV(cid:17) (cid:25)(cid:24) • 3URMHFW(cid:3) PHHWLQJV(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKH(cid:3) PHHWLQJV“(cid:3) IUHTXHQF\(cid:15) DWWHQGHHV(cid:15)(cid:3)DQG(cid:3)IRUPDW(cid:17) • &RRUGLQDWLRQ(cid:3)ZLWK(cid:3)H[WHUQDO(cid:3)HQWLWLHV(cid:17) • (VWLPDWLRQ(cid:3)SUDFWLFHV(cid:3)DQG(cid:3)VWDQGDUGV(cid:17) 8VH(cid:3)6KRUWHU(cid:3)3URMHFW(cid:3)3KDVHV 7KH(cid:3)6WDWH(cid:3)QHHGV(cid:3)WR(cid:3)GLYLGH(cid:3)ODUJH(cid:3)DXWRPDWLRQ(cid:3)SURMHFWV(cid:3)OLNH(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)LQWR(cid:3)D(cid:3)VHULHV(cid:3)RI(cid:3)VPDOOHU(cid:15)(cid:3)PRUH(cid:3)PDQDJHDEOH 6KRUW(cid:3)SURMHFW(cid:3)SKDVHV VHJPHQWV(cid:3)RU(cid:3)SKDVHV(cid:3)WKDW(cid:3)ODVW(cid:3)QR(cid:3)ORQJHU(cid:3)WKDQ(cid:3)VL[(cid:3)PRQWKV(cid:17)(cid:3)(cid:3)$ UHGXFH(cid:3)ULVN(cid:3)E\(cid:3)DOORZLQJ WDQJLEOH(cid:3) GHOLYHUDEOH(cid:3) VKRXOG(cid:3) EH(cid:3) SURYLGHG(cid:3) DQG(cid:3) HYDOXDWHG(cid:3) DW WKH(cid:3)6WDWH(cid:3)WR(cid:3)LGHQWLI\ WKH(cid:3)FRPSOHWLRQ(cid:3)RI(cid:3)HDFK(cid:3)SKDVH(cid:17)(cid:3)(cid:3)0DNLQJ(cid:3)VKRUW(cid:3)SURMHFW(cid:3)SKDVHV SUREOHPV(cid:3)HDUO\(cid:17) UHGXFHV(cid:3)ULVN(cid:3)E\(cid:3)DOORZLQJ(cid:3)WKH(cid:3)6WDWH(cid:3)WR(cid:3)LGHQWLI\(cid:3)SUREOHPV(cid:3)HDUO\(cid:17) 7KH(cid:3)SURMHFW(cid:3)SODQ(cid:3)DOVR(cid:3)VKRXOG(cid:3)H[SODLQ(cid:3)WKH(cid:3)ZD\V(cid:3)LQ(cid:3)ZKLFK(cid:3)SURMHFW PDQDJHPHQW(cid:3)FDQ(cid:3)GHFLGH(cid:3)IRUPDOO\(cid:3)WR(cid:3)VWRS(cid:15)(cid:3)SURFHHG(cid:15)(cid:3)RU(cid:3)FKDQJH GLUHFWLRQV(cid:3) DW(cid:3) WKH(cid:3) FRPSOHWLRQ(cid:3) RI(cid:3) HDFK(cid:3) PLOHVWRQH(cid:3) RU(cid:3) SKDVH(cid:17) $(cid:3) VXLWDEOH(cid:3) DQDORJ\(cid:3) LV(cid:3) EXLOGLQJ(cid:3) DQ(cid:3) LQIRUPDWLRQ(cid:3) §KLJKZD\¤ IURP(cid:3) H[LW(cid:3) WR(cid:3) H[LW(cid:3) DQG(cid:3) QRW(cid:3) IURP(cid:3) FRDVW(cid:3) WR(cid:3) FRDVW(cid:17)(cid:3) (cid:3) 6XFK(cid:3) DQ DSSURDFK(cid:3)DYRLGV(cid:3)ORFNLQJ(cid:3)LQWR(cid:3)WKH(cid:3)HQWLUH(cid:3)V\VWHP(cid:3)XS(cid:3)IURQW(cid:15)(cid:3)WKXV PDNLQJ(cid:3) LW(cid:3) LPSRVVLEOH(cid:3) WR(cid:3) LQFRUSRUDWH(cid:3) LQWR(cid:3) WKH(cid:3) KLJKZD\ VXEVHTXHQW(cid:3)WHFKQRORJLFDO(cid:3)LPSURYHPHQWV(cid:17)(cid:3)(cid:3) ,I(cid:3) WKH(cid:3) 6WDWH(cid:3)XVHV(cid:3) D VLPLODU(cid:3)DSSURDFK(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)WHDP(cid:3)VKRXOG(cid:3)HQVXUH WKDW(cid:3)WKH\(cid:3)KDYH(cid:3)DFFHVV(cid:3)WR(cid:3)PXOWLSOH(cid:3)§H[LW(cid:3)UDPSV¤(cid:3)IURP(cid:3)WKH(cid:3)6WDWH“V FRQWUDFWV(cid:3)ZLWK(cid:3)YHQGRUV(cid:17) ’HYHORS(cid:3)D(cid:3)0DVWHU(cid:3)3ODQ(cid:3)IRU(cid:3)$OO RI(cid:3)WKH(cid:3)3KDVHV(cid:3)RI(cid:3)WKH(cid:3)3URMHFW %HFDXVH(cid:3) WKH(cid:3) PDQDJHPHQW(cid:3) WHDP(cid:3) ZLOO(cid:3) QHHG(cid:3) WR(cid:3) EUHDN(cid:3) WKLV SURMHFW(cid:3)LQWR(cid:3)D(cid:3)VHULHV(cid:3)RI(cid:3)SKDVHV(cid:15)(cid:3)WKH(cid:3)WHDP(cid:3)VKRXOG(cid:3)DOVR(cid:3)GHYHORS D(cid:3)PDVWHU(cid:3)SODQ(cid:3)WR(cid:3)VKRZ(cid:3)KRZ(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)SKDVHV(cid:3)ZLOO(cid:3)ILW(cid:3)WRJHWKHU(cid:17) 7KH(cid:3) PDVWHU(cid:3) SODQ(cid:3) VKRXOG(cid:3) SURYLGH(cid:3) KLJK(cid:16)OHYHO(cid:3) HVWLPDWHV(cid:3) RI(cid:3) WKH VWDUW(cid:3) DQG(cid:3) ILQLVK(cid:3) GDWHV(cid:15)(cid:3) WKH(cid:3) FRQWUDFWRUV“(cid:3) PDMRU(cid:3) GHOLYHUDEOHV(cid:15) DQG(cid:3) WKH(cid:3) UHVRXUFHV(cid:3) UHTXLUHG(cid:3) IRU(cid:3) HDFK(cid:3) SKDVH(cid:17)(cid:3) (cid:3) 7KH(cid:3) SODQ(cid:3) DOVR VKRXOG(cid:3)FRPPXQLFDWH(cid:3)DQ(cid:3)XQGHUVWDQGLQJ(cid:3)RI(cid:3)KRZ(cid:3)HDFK(cid:3)SKDVH(cid:3)ZLOO DGYDQFH(cid:3)WKH(cid:3)SURMHFW(cid:3)WRZDUGV(cid:3)WKH(cid:3)XOWLPDWH(cid:3)JRDO(cid:17)(cid:3)(cid:3)7KH(cid:3)/HJLVODWXUH RU(cid:3)VWDWH(cid:3)DQG(cid:3)IHGHUDO(cid:3)FRQWURO(cid:3)DJHQFLHV(cid:3)VKRXOG(cid:3)QRW(cid:3)FRQVLGHU(cid:3)WKH PDVWHU(cid:3)SODQ(cid:3)DQG(cid:3)LWV(cid:3)HVWLPDWHV(cid:3)ILQDO(cid:30)(cid:3)LQVWHDG(cid:15)(cid:3)WKRVH(cid:3)ZKR(cid:3)UHYLHZ LW(cid:3) VKRXOG(cid:3) FRQVLGHU(cid:3) WKH(cid:3) SODQ(cid:3) D(cid:3) OLYLQJ(cid:3) GRFXPHQW(cid:3) WKDW(cid:3) WKH PDQDJHPHQW(cid:3) WHDP(cid:3) PD\(cid:3) UHYLVH(cid:3) DV(cid:3) WKH(cid:3) SURMHFW(cid:3) SURJUHVVHV(cid:3) DQG EHWWHU(cid:3) LQIRUPDWLRQ(cid:3) EHFRPHV(cid:3) DYDLODEOH(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15)(cid:3) SURMHFW PDQDJHPHQW(cid:3)VKRXOG(cid:3)UHYLVH(cid:3)WKLV(cid:3)PDVWHU(cid:3)SODQ(cid:3)DW(cid:3)WKH(cid:3)FRPSOHWLRQ(cid:3)RI HDFK(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17) (cid:25)(cid:25) 3UHSDUH(cid:3)’HWDLOHG(cid:3)3ODQ(cid:3)IRU(cid:3)(DFK(cid:3)3KDVH %HIRUH(cid:3) WKH(cid:3) EHJLQQLQJ(cid:3) RI(cid:3) HDFK(cid:3) QHZ(cid:3) SKDVH(cid:15)(cid:3) WKH(cid:3) SURMHFW(cid:3) WHDP VKRXOG(cid:3)GHYHORS(cid:3)D(cid:3)GHWDLOHG(cid:3)SODQ(cid:3)IRU(cid:3)WKDW(cid:3)SKDVH(cid:17)(cid:3)(cid:3)7KH(cid:3)IROORZLQJ DUH(cid:3)VRPH(cid:3)RI(cid:3)WKH(cid:3)LWHPV(cid:3)WKDW(cid:3)WKH(cid:3)GHWDLOHG(cid:3)SODQ(cid:3)VKRXOG(cid:3)GHVFULEH(cid:29) • 7KH(cid:3)REMHFWLYH(cid:3)IRU(cid:3)WKLV(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17) • 7KH(cid:3)VFRSH(cid:3)RI(cid:3)WKLV(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17) • $(cid:3) VFKHGXOH(cid:3) IRU(cid:3) PDMRU(cid:3) WDVNV(cid:15)(cid:3) DFWLYLWLHV(cid:15)(cid:3) DQG(cid:3) PLOHVWRQHV WKURXJKRXW(cid:3)WKH(cid:3)SKDVH(cid:17) • 3URMHFW(cid:3) UHVRXUFHV(cid:15)(cid:3) LQFOXGLQJ(cid:3) IXQGLQJ(cid:15)(cid:3) VWDII(cid:15)(cid:3) HTXLSPHQW(cid:15) IDFLOLWLHV(cid:15)(cid:3)DQG(cid:3)FRQWUDFWRUV(cid:17) • ’HOLYHUDEOHV(cid:3)GHILQHG(cid:3)LQ(cid:3)TXDQWLWDWLYH(cid:3)DQG(cid:3)TXDOLWDWLYH(cid:3)WHUPV(cid:3)VR WKDW(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)DQG(cid:3)WKH(cid:3)6WDWH(cid:3)FDQ(cid:3)HYDOXDWH(cid:3)HDFK GHOLYHUDEOH(cid:3)REMHFWLYHO\(cid:17) • &RPSOHWLRQ(cid:3) FULWHULD(cid:3) GHILQHG(cid:3) LQ(cid:3) VXFK(cid:3) D(cid:3) PDQQHU(cid:3) WKDW(cid:3) WKH SURMHFW(cid:3) WHDP(cid:3) DQG(cid:3) VSRQVRUV(cid:3) NQRZ(cid:3) ZKHQ(cid:3) WKH(cid:3) VWDII(cid:3) RU WKH(cid:3)FRQWUDFWRU(cid:3)KDV(cid:3)DFKLHYHG(cid:3)WKH(cid:3)REMHFWLYH(cid:3)RI(cid:3)WKH(cid:3)SKDVH(cid:17) • $OO(cid:3)VLJQLILFDQW(cid:3)DVVXPSWLRQV(cid:3)XVHG(cid:3)LQ(cid:3)SUHSDULQJ(cid:3)WKH(cid:3)GHWDLOHG SODQ(cid:17) • $Q\(cid:3)UHODWHG(cid:3)RU(cid:3)VXSSRUWLQJ(cid:3)GRFXPHQWV(cid:17) 7KH(cid:3)GHWDLOHG(cid:3)SODQ(cid:3)IRU(cid:3)HDFK(cid:3)SKDVH(cid:3)VKRXOG(cid:3)EHFRPH(cid:3)WKH(cid:3)EXGJHW DQG(cid:3) SODQQLQJ(cid:3) GRFXPHQW(cid:3) XVHG(cid:3) E\(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) DQG(cid:3) E\ VWDWH(cid:3)DQG(cid:3)IHGHUDO(cid:3)FRQWURO(cid:3)DJHQFLHV(cid:17)(cid:3) (cid:3)7KH(cid:3) SURMHFW(cid:3) WHDP(cid:3) FRXOG SUHSDUH(cid:3)WKH(cid:3)SODQV(cid:3)RU(cid:3)WKH(cid:3)SURMHFW“V(cid:3)FRQWUDFWRUV(cid:3)FRXOG(cid:3)GHYHORS(cid:3)WKH SODQV(cid:3)LQ(cid:3)WKH(cid:3)IRUP(cid:3)RI(cid:3)D(cid:3)SURSRVDO(cid:17) (VWDEOLVK(cid:3)3URMHFW(cid:3)/LEUDU\ 7R(cid:3) SUHVHUYH(cid:3) SURMHFW(cid:3) NQRZOHGJH(cid:15)(cid:3) WKH(cid:3) SURMHFW(cid:3) WHDP(cid:3) QHHGV(cid:3) WR HVWDEOLVK(cid:3)D(cid:3)OLEUDU\(cid:3)IRU(cid:3)DOO(cid:3)PDMRU(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:17) $V(cid:3)QRWHG(cid:3)LQ(cid:3)&KDSWHU(cid:3)(cid:22)(cid:15)(cid:3)QHLWKHU(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)QRU(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3) HVWDEOLVKHG(cid:3) DQ\(cid:3) SROLF\(cid:3) RU(cid:3) PHFKDQLVP(cid:3) WR(cid:3) FDSWXUH(cid:3) DQG VWRUH(cid:3)LPSRUWDQW(cid:3)SURMHFW(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)6$&66 SURMHFW(cid:3) WHDP(cid:3) FRXOG(cid:3) QRW(cid:3) SURYLGH(cid:3) RU(cid:3) KDG(cid:3) GLIILFXOW\(cid:3) SURYLGLQJ DGHTXDWH(cid:3)GRFXPHQWDWLRQ(cid:3)WR(cid:3)UHVSRQG(cid:3)WR(cid:3)PDQ\(cid:3)RI(cid:3)RXU(cid:3)LQTXLULHV(cid:17) (cid:25)(cid:26) 0RUH(cid:3) LPSRUWDQWO\(cid:15)(cid:3) SURMHFW(cid:3) WHDP(cid:3) PHPEHUV(cid:3) GLG(cid:3) QRW(cid:3) KDYH(cid:3) WKH EHQHILW(cid:3) RI(cid:3) OHDUQLQJ(cid:3) IURP(cid:3) KLVWRULFDO(cid:3) LQIRUPDWLRQ(cid:3) WKDW(cid:3) SUHFHGHG WKHLU(cid:3)WHQXUH(cid:3)ZLWK(cid:3)WKH(cid:3)SURMHFW(cid:17) ,Q(cid:3)DGGLWLRQ(cid:3)WR(cid:3)FUHDWLQJ(cid:3)D(cid:3)OLEUDU\(cid:15)(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)VKRXOG GHYHORS(cid:3) SROLFLHV(cid:3) DQG(cid:3) SURFHGXUHV(cid:3) IRU(cid:3) REWDLQLQJ(cid:15)(cid:3) PDLQWDLQLQJ(cid:15) DQG(cid:3)XVLQJ(cid:3)WKH(cid:3)SURMHFW(cid:3)LQIRUPDWLRQ(cid:3)LQ(cid:3)WKH(cid:3)OLEUDU\(cid:17)(cid:3)(cid:3)7KH(cid:3)OLEUDU\ VKRXOG(cid:3) VWRUH(cid:3) DOO(cid:3) UHODWHG(cid:3) LQIRUPDWLRQ(cid:3) LQFOXGLQJ(cid:3) DOO(cid:3) SURMHFW PHHWLQJ(cid:3)PLQXWHV(cid:15)(cid:3)DJHQGDV(cid:15)(cid:3)DQG(cid:3)UHSRUWV(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)LW(cid:3)VKRXOG VWRUH(cid:3)DOO(cid:3)GRFXPHQWV(cid:3)VXSSOLHG(cid:3)E\(cid:3)FRQWUDFWRUV(cid:30)(cid:3)DOO(cid:3)SODQV(cid:15)(cid:3)LQFOXGLQJ XSGDWHG(cid:3) SURMHFW(cid:3) FKDUWHUV(cid:3) DQG(cid:3) VWUDWHJLF(cid:3) SODQV(cid:30)(cid:3) DQQXDO UHSRUWV(cid:30)(cid:3)XSGDWHG(cid:3)DQG(cid:3)FRPSOHWH(cid:3)FRVW(cid:16)EHQHILW(cid:3)DQDO\VHV(cid:30)(cid:3)FRQWUDFWV DQG(cid:3) VXSSRUWLQJ(cid:3) GRFXPHQWV(cid:3) IRU(cid:3) FRQWUDFW(cid:3) FRVWV(cid:30)(cid:3) FRQWUDFWRU LQYRLFHV(cid:30)(cid:3)DQG(cid:3)VXPPDUL]HG(cid:3)DFFRXQWLQJ(cid:3)H[SHQGLWXUH(cid:3)VFKHGXOHV(cid:3)IRU DOO(cid:3) FRVWV(cid:3) LQFXUUHG(cid:15)(cid:3) LQFOXGLQJ(cid:3) DPRXQWV(cid:3) SDLG(cid:3) WR(cid:3) FRQWUDFWRUV(cid:17) )LQDOO\(cid:15)(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)VKRXOG(cid:3)GHVLJQDWH(cid:3)RQH(cid:3)SHUVRQ(cid:3)DV SURMHFW(cid:3)OLEUDULDQ(cid:3)WR(cid:3)PDLQWDLQ(cid:3)DQG(cid:3)FRQWURO(cid:3)WKH(cid:3)GRFXPHQWV(cid:3)DQG LQIRUPDWLRQ(cid:3)LQ(cid:3)WKH(cid:3)OLEUDU\(cid:17) $FFRXQW(cid:3)IRU(cid:3)$OO(cid:3)3URMHFW(cid:3)&RVWV $Q\(cid:3)HQWLW\(cid:3)PDQDJLQJ(cid:3)DQ(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFW(cid:3)VKRXOG HPSOR\(cid:3) D(cid:3) FRPSUHKHQVLYH(cid:3) PHWKRGRORJ\(cid:3) IRU(cid:3) SURMHFW(cid:3) FRVW DFFRXQWLQJ(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)VKRXOG(cid:3)XVH(cid:3)WKH FRVW(cid:16)DFFRXQWLQJ(cid:3)V\VWHP(cid:3)WR(cid:3)FRPSDUH(cid:3)SHULRGLFDOO\(cid:3)WKH(cid:3)EXGJHWHG H[SHQGLWXUHV(cid:3)ZLWK(cid:3)DFWXDO(cid:3)H[SHQGLWXUHV(cid:3)VR(cid:3)WKDW(cid:3)PDQDJHPHQW(cid:3)FDQ LGHQWLI\(cid:3) DQ\(cid:3) YDULDQFHV(cid:3) DQG(cid:3) LQYHVWLJDWH(cid:3) WKH(cid:3) UHDVRQV(cid:3) IRU(cid:3) VXFK YDULDQFHV(cid:17) $(cid:3) IXQGDPHQWDO(cid:3) UXOH(cid:3) RI(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) LV(cid:3) WKDW(cid:3) \RX FDQQRW(cid:3) FRQWURO(cid:3) \RXU(cid:3) UHVRXUFHV(cid:3) LI(cid:3) \RX(cid:3) GR(cid:3) QRW(cid:3) NQRZ(cid:3) KRZ 5HVRXUFHV(cid:3)FDQQRW(cid:3)EH WKRVH(cid:3)UHVRXUFHV(cid:3)DUH(cid:3)EHLQJ(cid:3)FRQVXPHG(cid:3)DQG(cid:3)E\(cid:3)ZKRP(cid:17)(cid:3)(cid:3)<HW(cid:15)(cid:3)WKDW(cid:3)LV FRQWUROOHG(cid:3)LI(cid:3)\RX(cid:3)GR(cid:3)QRW SUHFLVHO\(cid:3)WKH(cid:3)VLWXDWLRQ(cid:3)ZH(cid:3)IRXQG(cid:3)DW(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15) NQRZ(cid:3)KRZ(cid:3)WKH\(cid:3)DUH 6RFLDO(cid:3) 6HUYLFHV(cid:3) VWLOO(cid:3) FDQQRW(cid:3) DFFXUDWHO\(cid:3) GHWHUPLQH(cid:3) WKH(cid:3) WRWDO FRQVXPHG(cid:3)DQG(cid:3)E\(cid:3)ZKRP(cid:17) DPRXQW(cid:3)WKH(cid:3)6WDWH(cid:3)KDV(cid:3)VSHQW(cid:3)RQ(cid:3)6$&66(cid:3)WR(cid:3)GDWH(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)ZH FDQQRW(cid:3) GHWHUPLQH(cid:3) ZKHWKHU(cid:3) DOO(cid:3) H[SHQGLWXUHV(cid:3) DUH(cid:3) UHDVRQDEOH DQG(cid:3)DSSURSULDWH(cid:17)(cid:3)(cid:3),Q(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)ZH(cid:3)UHSRUWHG(cid:3)WKLV(cid:3)VDPH(cid:3)SUREOHP(cid:3)DW 6RFLDO(cid:3)6HUYLFHV(cid:3)LQ(cid:3)FRQQHFWLRQ(cid:3)ZLWK(cid:3)RXU(cid:3)DXGLW(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH $XWRPDWHG(cid:3):HOIDUH(cid:3)6\VWHP(cid:17) 7UDFN(cid:3)(PSOR\HH(cid:3)DQG(cid:3)&RQWUDFWRU 7LPH(cid:3)RQ(cid:3)WKH(cid:3)3URMHFW $OO(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:3)VKRXOG(cid:3)HVWDEOLVK(cid:3)D(cid:3)V\VWHP RI(cid:3) WUDFNLQJ(cid:3) WKH(cid:3) WLPH(cid:3) VSHQW(cid:3) RQ(cid:3) WKH(cid:3) YDULRXV(cid:3) WDVNV(cid:3) WKDW(cid:3) PDNH XS(cid:3) WKH(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) $V(cid:3) LQ(cid:3) WKH(cid:3) FDVH(cid:3) RI(cid:3) PDQ\(cid:3) RWKHU(cid:3) LQIRUPDWLRQ WHFKQRORJ\(cid:3)SURMHFWV(cid:15)(cid:3)KXPDQ(cid:3)UHVRXUFHV(cid:3)FRQVXPHG(cid:3)WKH(cid:3)PDMRULW\(cid:3)RI (cid:25)(cid:27) UHVRXUFHV(cid:3) IRU(cid:3) WKH(cid:3) 6$&66(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) $OWKRXJK(cid:3) HPSOR\HH(cid:3) DQG FRQWUDFWRU(cid:3)WLPH(cid:3)FRPSRVHG(cid:3)D(cid:3)ODUJH(cid:3)SURSRUWLRQ(cid:3)RI(cid:3)SURMHFW(cid:3)FRVWV(cid:15) ZH(cid:3)FRXOG(cid:3)ILQG(cid:3)QR(cid:3)VLJQLILFDQW(cid:3)HYLGHQFH(cid:3)WKDW(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)WKH GDWD(cid:3)FHQWHU(cid:15)(cid:3)DQG(cid:3)/RFNKHHG(cid:3)NHSW(cid:3)WUDFN(cid:3)RI(cid:3)KRZ(cid:3)WKH(cid:3)UHVRXUFHV(cid:3)ZHUH EHLQJ(cid:3) XVHG(cid:17)(cid:3) (cid:3) $JDLQ(cid:15)(cid:3) \RX(cid:3) FDQQRW(cid:3) FRQWURO(cid:3) WKH(cid:3) XVH(cid:3) RI(cid:3) \RXU UHVRXUFHV(cid:3)LI(cid:3)\RX(cid:3)GR(cid:3)QRW(cid:3)NQRZ(cid:3)KRZ(cid:3)WKRVH(cid:3)UHVRXUFHV(cid:3)DUH(cid:3)EHLQJ XVHG(cid:3)DQG(cid:3)E\(cid:3)ZKRP(cid:17) ,Q(cid:3) DGGLWLRQ(cid:3) WR(cid:3) LQVWLWXWLQJ(cid:3) D(cid:3) WLPHNHHSLQJ(cid:3) V\VWHP(cid:15)(cid:3) WKH(cid:3) SURMHFW PDQDJHPHQW(cid:3)WHDP(cid:3)QHHGV(cid:3)WR(cid:3)FUHDWH(cid:3)D(cid:3)EXGJHW(cid:3)IRU(cid:3)HDFK(cid:3)WDVN(cid:3)DQG WKHQ(cid:3)SHULRGLFDOO\(cid:3)FRPSDUH(cid:3)EXGJHWHG(cid:3)WLPH(cid:3)YHUVXV(cid:3)DFWXDO(cid:3)WLPH(cid:3)WR LGHQWLI\(cid:3) DQ\(cid:3) VLJQLILFDQW(cid:3) YDULDQFHV(cid:3) DQG(cid:3) WR(cid:3) LQYHVWLJDWH(cid:3) VXFK YDULDQFHV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)VKRXOG(cid:3)UHTXLUH(cid:3)WKDW(cid:3)LWV FRQWUDFWRUV(cid:3)PDLQWDLQ(cid:3)VLPLODU(cid:3)PHWKRGV(cid:3)RI(cid:3)GHWDLOHG(cid:3)WLPH(cid:3)UHSRUWLQJ(cid:17) 5HDVVHVV(cid:3)WKH(cid:3)3URMHFW(cid:3):KHQ 6LJQLILFDQW(cid:3)(YHQWV(cid:3)2FFXU $V(cid:3)ZH(cid:3)H[SODLQ(cid:3)LQ(cid:3)&KDSWHU(cid:3)(cid:22)(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)DGHTXDWHO\ UHDVVHVV(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:3)ZKHQ(cid:3)LW(cid:3)DFTXLUHG(cid:3)WKH(cid:3)SURMHFW(cid:3)IURP 6RFLDO(cid:3)6HUYLFHV(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)DQG(cid:3)LWV(cid:3)SURMHFW(cid:3)PDQDJHUV(cid:3)VKRXOG(cid:3)XVH VLJQLILFDQW(cid:3)HYHQWV(cid:3)DIIHFWLQJ(cid:3)D(cid:3)SURMHFW(cid:3)DV(cid:3)RSSRUWXQLWLHV(cid:3)WR(cid:3)UHDVVHVV WKH(cid:3)SURMHFW(cid:3)SODQ(cid:3)DQG(cid:3)GLUHFWLRQ(cid:17)(cid:3)(cid:3)([DPSOHV(cid:3)RI(cid:3)VLJQLILFDQW(cid:3)HYHQWV FRXOG(cid:3) LQFOXGH(cid:3) FKDQJHV(cid:3) LQ(cid:3) IHGHUDO(cid:3) RU(cid:3) VWDWH(cid:3) ODZV(cid:15)(cid:3) FKDQJHV(cid:3) LQ WHFKQRORJ\(cid:3)DIIHFWLQJ(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)RU(cid:3)DOWHUDWLRQV(cid:3)LQ(cid:3)WKH(cid:3)SURMHFW PDQDJHPHQW(cid:17)(cid:3)(cid:3)7KHVH(cid:3)FKDQJHV(cid:3)SURYLGH(cid:3)RSSRUWXQLWLHV(cid:3)WR(cid:3)UHDVVHVV WKH(cid:3)SURMHFW“V(cid:3)GLUHFWLRQ(cid:3)DQG(cid:3)WR(cid:3)GHWHUPLQH(cid:3)ZKHWKHU(cid:3)WKH(cid:3) SURMHFW VKRXOG(cid:3)PRYH(cid:3)IRUZDUG(cid:15)(cid:3)FKDQJH(cid:3)GLUHFWLRQV(cid:15)(cid:3)RU(cid:3)VWRS(cid:17)(cid:3)(cid:3)$W(cid:3)WKH(cid:3)SRLQW RI(cid:3) FKDQJH(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) PDQDJLQJ(cid:3) WKH(cid:3) SURMHFW(cid:3) VKRXOG FRPSOHWH(cid:3) D(cid:3) WKRURXJK(cid:3) HYDOXDWLRQ(cid:3) WR(cid:3) HQVXUH(cid:3) WKDW(cid:3) WKH(cid:3) SURMHFW“V GLUHFWLRQ(cid:3)VWLOO(cid:3)PHHWV(cid:3)WKH(cid:3)FXUUHQW(cid:3)JRDOV(cid:3)DQG(cid:3)WKDW(cid:3)SURJUHVV(cid:3)WR(cid:3)GDWH VXSSRUWV(cid:3)WKRVH(cid:3)JRDOV(cid:17) +HHG(cid:3):DUQLQJ(cid:3)6LJQV 3URMHFW(cid:3)PDQDJHPHQW(cid:3)PXVW(cid:3)EH(cid:3)DWWHQWLYH(cid:3)WR(cid:3)ZDUQLQJV(cid:3)DERXW(cid:3)DFWXDO RU(cid:3)SRWHQWLDO(cid:3)SUREOHPV(cid:3)DQG(cid:3)WDNH(cid:3)DGHTXDWH(cid:3)FRUUHFWLYH(cid:3)DFWLRQ(cid:3)WR UHVROYH(cid:3) DQ\(cid:3) GHILFLHQFLHV(cid:3) EHIRUH(cid:3) WKH(cid:3) WHDP(cid:3) SURFHHGV(cid:3) ZLWK(cid:3) WKH SURMHFW(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)WKLV(cid:3)VWDWHPHQW(cid:3)VHHPV(cid:3)REYLRXV(cid:15)(cid:3)ZH(cid:3)KDYH(cid:3)IRXQG WKDW(cid:3)ZDUQLQJV(cid:3)RQ(cid:3)6$&66(cid:3)DQG(cid:3)RWKHU(cid:3)LQIRUPDWLRQ(cid:3)SURMHFWV(cid:3)ZHQW XQKHHGHG(cid:3)DQG(cid:3)VXEVHTXHQWO\(cid:3)FUHDWHG(cid:3)SUREOHPV(cid:17)(cid:3)(cid:3)6XFK(cid:3)ZDUQLQJ VLJQV(cid:3)FDQ(cid:3)WDNH(cid:3)D(cid:3)YDULHW\(cid:3)RI(cid:3)IRUPV(cid:15)(cid:3)LQFOXGLQJ(cid:3)WKHVH(cid:29) • 3UREOHPV(cid:3)LGHQWLILHG(cid:3)E\(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:15)(cid:3)TXDOLW\(cid:3)DVVXUDQFH (cid:11)4$(cid:12)(cid:3)FRQWUDFWRUV(cid:15)(cid:3)RU(cid:3)LQGHSHQGHQW(cid:3)YHULILFDWLRQ(cid:3)DQG(cid:3)YDOLGDWLRQ (cid:11),9(cid:9)9(cid:12)(cid:3)FRQWUDFWRUV(cid:17) (cid:25)(cid:28) • 4XHVWLRQV(cid:3)RU(cid:3)FRQFHUQV(cid:3)UDLVHG(cid:3)E\(cid:3)FRQWURO(cid:3)DJHQFLHV(cid:17) • 6LJQLILFDQW(cid:3)YDULDQFHV(cid:3)LQ(cid:3)VFKHGXOH(cid:3)RU(cid:3)EXGJHW(cid:17) • /DFN(cid:3)RI(cid:3)NQRZOHGJH(cid:3)RU(cid:3)H[SHULHQFH(cid:3)RQ(cid:3)WKH(cid:3)SDUW(cid:3)RI(cid:3)WKH(cid:3)SURMHFW WHDP(cid:3)RU(cid:3)FRQWUDFWRUV(cid:17) • )DLOXUH(cid:3)RI(cid:3)D(cid:3)FRQWUDFWRU“V(cid:3)GHOLYHUDEOHV(cid:3)WR(cid:3)PHHW(cid:3)WHFKQLFDO(cid:3)DQG SHUIRUPDQFH(cid:3)VSHFLILFDWLRQV(cid:3)DQG(cid:3)UHTXLUHPHQWV(cid:17) • ’HYLDWLRQV(cid:3)IURP(cid:3)WKH(cid:3)SURMHFW(cid:3)SODQ(cid:3)RU(cid:3)VWDQGDUG(cid:3)GHYHORSPHQW SURFHGXUHV(cid:17) • 6LJQLILFDQW(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)V\VWHP(cid:3)RU(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) • )DLOXUH(cid:3) RI(cid:3) WKH(cid:3) FRQWUDFWRU(cid:3) DQG(cid:3) WKH(cid:3) 6WDWH(cid:3) WR(cid:3) IROORZ(cid:3) XS(cid:3) RQ SUHYLRXVO\(cid:3)LGHQWLILHG(cid:3)LVVXHV(cid:17) • 3URPLVHV(cid:3)E\(cid:3)WKH(cid:3)FRQWUDFWRU(cid:3)WR(cid:3)FRUUHFW(cid:3)NQRZQ(cid:3)GHILFLHQFLHV GXULQJ(cid:3)ODWHU(cid:3)SKDVHV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17) 8VH(cid:3),QGHSHQGHQW(cid:3)9HULILFDWLRQ(cid:3)DQG 9DOLGDWLRQ(cid:3)&RQWUDFWRUV 7KH(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) WHDP(cid:3) VKRXOG(cid:3) FRQWLQXH(cid:3) WR(cid:3) XVH(cid:3) WKH VHUYLFHV(cid:3) RI(cid:3) ,9(cid:9)9(cid:3) FRQWUDFWRUV(cid:3) IRU(cid:3) IXWXUH(cid:3) FKLOG(cid:3) VXSSRUW HQIRUFHPHQW(cid:3) DXWRPDWLRQ(cid:3) HIIRUWV(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WR(cid:3) HQVXUH(cid:3) WKH LQGHSHQGHQFH(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFWRU(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\ (cid:11)DJHQF\(cid:12)(cid:15)(cid:3)UDWKHU(cid:3)WKDQ(cid:3)WKH(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:15)(cid:3)VKRXOG(cid:3)VHOHFW(cid:3)WKH ,9(cid:9)9(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)WR(cid:3)PDNH(cid:3)FHUWDLQ(cid:3)WKDW(cid:3)FRQFHUQV DERXW(cid:3)WKH(cid:3)SURMHFW(cid:3)DUH(cid:3)HOHYDWHG(cid:3)WR(cid:3)WKH(cid:3)SURSHU(cid:3)OHYHO(cid:3)RI(cid:3)DWWHQWLRQ(cid:15) WKH(cid:3),9(cid:9)9(cid:3)FRQWUDFWRUV(cid:3)VKRXOG(cid:3)UHSRUW(cid:3)FRQFXUUHQWO\(cid:3)WR(cid:3)WKH(cid:3)SURMHFW PDQDJHPHQW(cid:3)WHDP(cid:15)(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3) FRXQFLO(cid:15)(cid:3)WKH(cid:3) DJHQF\(cid:15)(cid:3) WKH ’2,7(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3))LQDQFH(cid:3)(cid:11)’2)(cid:12)(cid:17) 3UHSDUH(cid:3)3HULRGLF(cid:3)3URJUHVV(cid:3)5HSRUWV 7KH(cid:3)SURMHFW(cid:3)WHDP(cid:3)VKRXOG(cid:3)SUHSDUH(cid:3)SURJUHVV(cid:3)UHSRUWV(cid:3)IRU(cid:3)D(cid:3)YDULHW\(cid:3)RI XVHUV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)NH\(cid:3)SURMHFW(cid:3)WHDP(cid:3)PHPEHUV(cid:3)VKRXOG(cid:3)SUHSDUH WKH(cid:3)PRVW(cid:3)GHWDLOHG(cid:3)UHSRUWV(cid:15)(cid:3)ZKLFK(cid:3)VXPPDUL]H(cid:3)WKH(cid:3)VWDWXV(cid:3)RI(cid:3)ZRUN LQ(cid:3)WKHLU(cid:3)DUHDV(cid:3)RI(cid:3)UHVSRQVLELOLW\(cid:17)(cid:3)(cid:3)*HQHUDOO\(cid:15)(cid:3)WKH(cid:3)UHSRUWV(cid:3)VKRXOG IRFXV(cid:3) RQ(cid:3) H[FHSWLRQV(cid:3) RU(cid:3) GHYLDWLRQV(cid:3) IURP(cid:3) SODQV(cid:17)(cid:3) (cid:3) 7KH(cid:3) LVVXHV GLVFXVVHG(cid:3) LQ(cid:3) D(cid:3) GHWDLOHG(cid:3) SURJUHVV(cid:3) UHSRUW(cid:3) LQFOXGH(cid:15)(cid:3) EXW(cid:3) DUH(cid:3) QRW OLPLWHG(cid:3)WR(cid:15)(cid:3)WKH(cid:3)IROORZLQJ(cid:29) (cid:26)(cid:19) • ’HVFULSWLRQV(cid:3)RI(cid:3)WDVNV(cid:3)VWDUWHG(cid:3)DQG(cid:3)FRPSOHWHG(cid:17) • ’DWHV(cid:3)RQ(cid:3)ZKLFK(cid:3)GHOD\HG(cid:3)WDVNV(cid:3)DUH(cid:3)H[SHFWHG(cid:3)WR(cid:3)VWDUW(cid:17) • ’DWHV(cid:3)H[SHFWHG(cid:3)IRU(cid:3)FRPSOHWLRQ(cid:3)RI(cid:3)RQJRLQJ(cid:3)WDVNV(cid:17) • 1XPEHU(cid:3)RI(cid:3)KRXUV(cid:3)ZRUNHG(cid:3)E\(cid:3)VWDII(cid:3)RQ(cid:3)HDFK(cid:3)WDVN(cid:3)GXULQJ(cid:3)WKH UHSRUWLQJ(cid:3)SHULRG(cid:17) • (VWLPDWHG(cid:3)KRXUV(cid:3)WR(cid:3)FRPSOHWH(cid:3)RQJRLQJ(cid:3)WDVNV(cid:17) • $PRXQWV(cid:3)RI(cid:3)PDWHULDOV(cid:15)(cid:3)HTXLSPHQW(cid:15)(cid:3)IDFLOLWLHV(cid:15)(cid:3)RU(cid:3) FRQWUDFWRU H[SHQVHV(cid:3)LQFXUUHG(cid:3)RQ(cid:3)WKH(cid:3)WDVN(cid:3)DQG(cid:3)WKH(cid:3)HVWLPDWHG(cid:3)FRVWV(cid:3)WR FRPSOHWH(cid:3)WKH(cid:3)WDVN(cid:3)(cid:11)SURMHFW(cid:3)FRVW(cid:3)DFFRXQWLQJ(cid:12)(cid:17) • ’LVFXVVLRQ(cid:3) RI(cid:3) DQ\(cid:3) YDULDQFHV(cid:3) LQ(cid:3) EXGJHWHG(cid:3) YHUVXV(cid:3) DFWXDO H[SHQGLWXUHV(cid:17) • 6LJQLILFDQW(cid:3)SURMHFW(cid:3)SUREOHPV(cid:3)DQG(cid:3)FKDQJH(cid:3)UHTXHVWV(cid:3)LGHQWLILHG GXULQJ(cid:3)WKH(cid:3)UHSRUWLQJ(cid:3)SHULRG(cid:17) :KHQ(cid:3)DSSURSULDWH(cid:15)(cid:3)WKH(cid:3)SURMHFW(cid:3)WHDP(cid:3)FDQ(cid:3)VXPPDUL]H(cid:3)WKH(cid:3)GHWDLOHG SURJUHVV(cid:3)UHSRUWV(cid:3)IRU(cid:3)KLJKHU(cid:3)OHYHOV(cid:3)RI(cid:3)PDQDJHPHQW(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15) WKH(cid:3)WHDP(cid:3)VKRXOG(cid:3)SHULRGLFDOO\(cid:3)VXEPLW(cid:3)WKHVH(cid:3)KLJK(cid:16)OHYHO(cid:3)SURJUHVV UHSRUWV(cid:3)WR(cid:3)DSSURSULDWH(cid:3)FRQWURO(cid:3)DJHQFLHV(cid:17)(cid:3)(cid:3),Q(cid:3)RWKHU(cid:3)ZRUGV(cid:15)(cid:3)DW(cid:3)WKH HQG(cid:3)RI(cid:3)HDFK(cid:3)SKDVH(cid:3)RU(cid:3)PDMRU(cid:3)PLOHVWRQH(cid:15)(cid:3)WKHVH(cid:3)UHSRUWV(cid:3)VKRXOG(cid:3)JR WR(cid:3)WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:15)(cid:3)WKH(cid:3)DJHQF\(cid:15)(cid:3)WKH(cid:3)’2)(cid:15)(cid:3)WKH(cid:3)’2,7(cid:15) DQG(cid:3)WKH(cid:3)/HJLVODWLYH(cid:3)$QDO\VW“V(cid:3)2IILFH(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)LQIRUPDWLRQ(cid:3)LQ D(cid:3)SURJUHVV(cid:3)UHSRUW(cid:3)LV(cid:3)RQO\(cid:3)XVHIXO(cid:3)LI(cid:3)LW(cid:3)LV(cid:3)GHOLYHUHG(cid:3)LQ(cid:3)D(cid:3)WLPHO\ PDQQHU(cid:15)(cid:3) WKH(cid:3) SURMHFW(cid:3) WHDP(cid:3) PXVW(cid:3) SUHSDUH(cid:3) DQG(cid:3) GLVWULEXWH(cid:3) WKHVH UHSRUWV(cid:3) WR(cid:3) WKH(cid:3) DSSURSULDWH(cid:3) SHRSOH(cid:3) DQG(cid:3) HQWLWLHV(cid:3) WKH(cid:3) GD\ LPPHGLDWHO\(cid:3)IROORZLQJ(cid:3)WKH(cid:3)HQG(cid:3)RI(cid:3)WKH(cid:3)UHSRUWLQJ(cid:3)SHULRG(cid:17) 8VH(cid:3)D(cid:3)9DOXH(cid:16)%DVHG(cid:3)3URFXUHPHQW(cid:3)$SSURDFK 7KH(cid:3) 6WDWH“V(cid:3) WUDGLWLRQDO(cid:3) FRQWUDFWLQJ(cid:3) SURFHVV(cid:3) UHTXLUHV(cid:3) WRR PXFK(cid:3) WLPH(cid:3) DQG(cid:3) LV(cid:3) WRR(cid:3) LQIOH[LEOH(cid:3) WR(cid:3) PHHW(cid:3) WKH(cid:3) GHPDQGV(cid:3) RI(cid:3) D 7KH(cid:3)6WDWH“V(cid:3)WUDGLWLRQDO SURMHFW(cid:3) LQYROYLQJ(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) DXWRPDWLRQ(cid:17) FRQWUDFWLQJ(cid:3)SURFHVV(cid:3)LV 0RUHRYHU(cid:15)(cid:3) WKH(cid:3) WUDGLWLRQDO(cid:3) SURFXUHPHQW(cid:3) SURFHVV(cid:3) KDV(cid:3) \HW(cid:3) WR WRR(cid:3)WLPH(cid:16)FRQVXPLQJ VXFFHVVIXOO\(cid:3) SURGXFH(cid:3) PDQ\(cid:3) ODUJH(cid:15)(cid:3) QRWHZRUWK\(cid:3) DXWRPDWLRQ DQG(cid:3)LQIOH[LEOH(cid:3)WR(cid:3)PHHW SURMHFWV(cid:3) LQ(cid:3) &DOLIRUQLD(cid:17)(cid:3) (cid:3) 7KH(cid:3) 6WDWH(cid:3) VKRXOG(cid:3) VHOHFW(cid:3) D(cid:3) FRQWUDFWRU WKH(cid:3)GHPDQGV(cid:3)RI(cid:3)D(cid:3)FKLOG EDVHG(cid:3) RQ(cid:3) ZKR(cid:3) KDV(cid:3) WKH(cid:3) EHVW(cid:3) DSSURDFK(cid:3) DQG(cid:3) PRVW(cid:3) TXDOLILHG VXSSRUW(cid:3)HQIRUFHPHQW SHRSOH(cid:3)(cid:11)YDOXH(cid:16)EDVHG(cid:3)SURFXUHPHQW(cid:12)(cid:15)(cid:3)QRW(cid:3)ZKR(cid:3)TXRWHV(cid:3)WKH(cid:3)ORZHVW SURMHFW(cid:17) SULFH(cid:3)(cid:11)WUDGLWLRQDO(cid:3)SURFXUHPHQW(cid:12)(cid:17)(cid:3)(cid:3)7KH(cid:3)H[SHUWLVH(cid:3)DQG(cid:3)H[SHULHQFH RI(cid:3)WKH(cid:3)LQGLYLGXDOV(cid:3)RQ(cid:3) D(cid:3)SURMHFW(cid:3) WHDP(cid:3) DUH(cid:3) PRUH(cid:3) LPSRUWDQW(cid:3) WR SURMHFW(cid:3)VXFFHVV(cid:3)WKDQ(cid:3)WKH(cid:3)UHSXWDWLRQ(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3)3URMHFW PDQDJHPHQW(cid:3)QHHGV(cid:3)WKH(cid:3)IOH[LELOLW\(cid:3)WR(cid:3)VHOHFW(cid:3)FRQWUDFWRUV(cid:3)ZKR(cid:3)FDQ (cid:26)(cid:20) EHVW(cid:3)DGGUHVV(cid:3)WKH(cid:3)EXVLQHVV(cid:3)QHHGV(cid:3)RI(cid:3)WKH(cid:3)SURMHFW(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH(cid:3)VKRXOG EDVH(cid:3) LWV(cid:3) ILQDO(cid:3) FKRLFH(cid:3) RI(cid:3) D(cid:3) FRQWUDFWRU(cid:3) RQ(cid:3) WKH(cid:3) FRQWUDFWRU“V H[SHULHQFH(cid:3)LQ(cid:3)DXWRPDWLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)SURJUDPV(cid:15) UHOHYDQW(cid:3) H[SHUWLVH(cid:3) DQG(cid:3) H[SHULHQFH(cid:3) RI(cid:3) LWV(cid:3) VWDII(cid:15)(cid:3) SURMHFW PDQDJHPHQW(cid:3) H[SHUWLVH(cid:3) DQG(cid:3) PHWKRGV(cid:15)(cid:3) DQG(cid:3) LWV(cid:3) WUDFN(cid:3) UHFRUG(cid:3) RI VXFFHVVIXO(cid:3)DXWRPDWLRQ(cid:3)SURMHFWV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH(cid:3)FRQWUDFW(cid:3)VKRXOG(cid:3)EH EDVHG(cid:3)RQ(cid:3)WKH(cid:3)EXVLQHVV(cid:3)QHHGV(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:15)(cid:3)QRW(cid:3)WKH(cid:3)WHFKQLFDO VSHFLILFDWLRQV(cid:17) 3D\(cid:3)&RQWUDFWRUV(cid:3)IRU(cid:3)3HUIRUPDQFH 3URMHFW(cid:3) PDQDJHPHQW(cid:3) VKRXOG(cid:3) RQO\(cid:3) DXWKRUL]H(cid:3) SD\PHQWV(cid:3) WR(cid:3) D FRQWUDFWRU(cid:3) DIWHU(cid:3) LW(cid:3) KDV(cid:3) VXFFHVVIXOO\(cid:3) SURYLGHG(cid:3) D(cid:3) VSHFLILHG 3URMHFW(cid:3)PDQDJHPHQW GHOLYHUDEOH(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKURXJKRXW(cid:3)WKH(cid:3)OLIH(cid:3)RI(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:15) VKRXOG(cid:3)RQO\(cid:3)DXWKRUL]H 6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)IRU(cid:3)ZRUN SD\PHQWV(cid:3)DIWHU(cid:3)WKH WKHVH(cid:3)DJHQFLHV(cid:3)NQHZ(cid:3)WR(cid:3)EH(cid:3)GHILFLHQW(cid:3)RU(cid:3)QRQH[LVWHQW(cid:17)(cid:3)(cid:3):H(cid:3)QRWHG FRQWUDFWRU(cid:3)VXFFHVVIXOO\ QXPHURXV(cid:3) H[DPSOHV(cid:3) LQ(cid:3) ZKLFK(cid:3) WKH(cid:3) DJHQFLHV(cid:3) SDLG(cid:3) /RFNKHHG FRPSOHWHV(cid:3)GHOLYHUDEOHV(cid:17) PLOOLRQV(cid:3) RI(cid:3) GROODUV(cid:3) IRU(cid:3) LQFRPSOHWH(cid:15)(cid:3) XQDFFHSWDEOH(cid:3) SODQQLQJ GRFXPHQWV(cid:30)(cid:3) LQDGHTXDWH(cid:3) RU(cid:3) LQFRPSOHWH(cid:3) WHVWLQJ(cid:30)(cid:3) DQG(cid:3) SRRU WUDLQLQJ(cid:3)FODVVHV(cid:17)(cid:3)(cid:3):H(cid:3)GLG(cid:3)QRW(cid:3)VHH(cid:3)DQ\(cid:3)VLJQLILFDQW(cid:3)HYLGHQFH(cid:3)WKDW 6RFLDO(cid:3)6HUYLFHV(cid:3)RU(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)KHOG(cid:3)/RFNKHHG(cid:3)DFFRXQWDEOH IRU(cid:3)VXFFHVVIXOO\(cid:3)GHOLYHULQJ(cid:3)SURGXFWV(cid:3)RU(cid:3)VHUYLFHV(cid:3)XQWLO(cid:3)ODWH(cid:3)LQ(cid:3)WKH SURMHFW(cid:17) 7KH(cid:3)6WDWH“V(cid:3)FRQWUDFWV(cid:3)QHHG(cid:3)WR(cid:3)FOHDUO\(cid:3)SURYLGH(cid:3)WKH(cid:3)IROORZLQJ(cid:29) • $(cid:3) GHWDLOHG(cid:3) GHVFULSWLRQ(cid:3) RI(cid:3) DOO(cid:3) GHOLYHUDEOHV(cid:3) GHILQHG(cid:3) LQ TXDQWLWDWLYH(cid:3)DQG(cid:3)TXDOLWDWLYH(cid:3)WHUPV(cid:3)WR(cid:3)IDFLOLWDWH(cid:3)LQGHSHQGHQW DVVHVVPHQW(cid:3)RI(cid:3)FRPSOHWLRQ(cid:17) • ’ROODU(cid:3)DPRXQWV(cid:3)WR(cid:3)EH(cid:3)SDLG(cid:3)WR(cid:3)WKH(cid:3)FRQWUDFWRU(cid:3)XSRQ(cid:3)VXFFHVVIXO FRPSOHWLRQ(cid:3)RI(cid:3)HDFK(cid:3)GHOLYHUDEOH(cid:17) • §6WRS(cid:3)RU(cid:3)JR¤(cid:3)GHFLVLRQ(cid:3)SRLQWV(cid:3)DQG(cid:3)FDQFHOODWLRQ(cid:3)FODXVHV(cid:3)LI(cid:3)WKH FRQWUDFWRU(cid:3)IDLOV(cid:3)WR(cid:3)SURYLGH(cid:3)WKH(cid:3)GHOLYHUDEOHV(cid:3)DV(cid:3)UHTXLUHG(cid:17) 7KH(cid:3) JRYHUQDQFH(cid:3) FRXQFLO(cid:3) VKRXOG(cid:3) DOVR(cid:3) FRQVLGHU(cid:3) IXUWKHU(cid:3) XVH(cid:3) RI LQQRYDWLYH(cid:3) FRQWUDFWLQJ(cid:3) WHFKQLTXHV(cid:3) WKDW(cid:3) SURYLGH(cid:3) ILQDQFLDO LQFHQWLYHV(cid:3)WR(cid:3)WKH(cid:3)FRQWUDFWRUV(cid:3) IRU(cid:3) VXFFHVVIXO(cid:3) FRPSOHWLRQ(cid:17)(cid:3) (cid:3) )RU H[DPSOH(cid:15)(cid:3) WKH(cid:3) )UDQFKLVH(cid:3) 7D[(cid:3) %RDUG(cid:3) LPSOHPHQWHG(cid:3) D(cid:3) ODUJH(cid:15) VWDWHZLGH(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFW(cid:15)(cid:3)SD\LQJ(cid:3)WKH(cid:3)FRQWUDFWRU RQO\(cid:3)IURP(cid:3)WKH(cid:3)VDYLQJV(cid:3)UHDOL]HG(cid:3)DIWHU(cid:3)LQVWDOOLQJ(cid:3)WKH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)$OVR(cid:15) WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)7UDQVSRUWDWLRQ(cid:3)KDV(cid:3)EHHQ(cid:3)VXFFHVVIXO(cid:3)LQ(cid:3)XVLQJ FDVK(cid:3)LQFHQWLYHV(cid:3)WR(cid:3)FRQWUDFWRUV(cid:3)ZKR(cid:3)ILQLVK(cid:3)EULGJH(cid:3)UHSDLUV(cid:3)DKHDG(cid:3)RI VFKHGXOH(cid:17) (cid:26)(cid:21) 6KDUH(cid:3)5LVN(cid:3):LWK(cid:3)&RQWUDFWRUV $V(cid:3)D(cid:3)UHVXOW(cid:3) RI(cid:3) 6$&66(cid:3)DQG(cid:3) RWKHU(cid:3) KLJK(cid:16)SURILOH(cid:3) SURMHFW(cid:3)IDLOXUHV(cid:15) PXFK(cid:3) DWWHQWLRQ(cid:3) KDV(cid:3) IRFXVHG(cid:3) RQ(cid:3) VKDULQJ(cid:3) WKH(cid:3) ULVNV(cid:3) ZLWK FRQWUDFWRUV(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) GLVFXVVLRQV(cid:3) WHQG(cid:3) WR(cid:3) IRFXV(cid:3) RQ OLTXLGDWHG(cid:3)GDPDJHV(cid:3)SURYLVLRQV(cid:3)DQG(cid:3)VHFXULW\(cid:3)LQVWUXPHQWV(cid:3)VXFK(cid:3)DV OHWWHUV(cid:3)RI(cid:3)FUHGLW(cid:3)DQG(cid:3)SHUIRUPDQFH(cid:3)ERQGV(cid:17)(cid:3)(cid:3):H(cid:3)GLG(cid:3)QRW(cid:3)WKRURXJKO\ H[SORUH(cid:3)WKHVH(cid:3)LVVXHV(cid:3)WR(cid:3)PDNH(cid:3)VSHFLILF(cid:3)UHFRPPHQGDWLRQV(cid:3)DV(cid:3)WR ZKHWKHU(cid:3) RU(cid:3) KRZ(cid:3) WR(cid:3) FKDQJH(cid:3) WKH(cid:3) 6WDWH“V(cid:3) OLTXLGDWHG(cid:3) GDPDJHV DQG(cid:3) LWV(cid:3) SHUIRUPDQFH(cid:3) ERQG(cid:3) SUDFWLFHV(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) ZH(cid:3) DUH FRQFHUQHG(cid:3)WKDW(cid:3)RYHUHPSKDVLV(cid:3)RQ(cid:3) WKHVH(cid:3) WHFKQLTXHV(cid:3) PD\(cid:3) KDYH DGYHUVH(cid:3)HIIHFWV(cid:3)IRU(cid:3)WKH(cid:3)6WDWH(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)UHTXLULQJ(cid:3)KLJK(cid:3)GROODU DPRXQWV(cid:3)IRU(cid:3)OLTXLGDWHG(cid:3)GDPDJHV(cid:3)DQG(cid:3)SHUIRUPDQFH(cid:3)ERQGV(cid:3)FRXOG OLPLW(cid:3)FRPSHWLWLRQ(cid:3)WR(cid:3)RQO\(cid:3)WKRVH(cid:3)ILUPV(cid:3)ZLWK(cid:3)YHU\(cid:3)GHHS(cid:3)SRFNHWV(cid:17) 0RUHRYHU(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)ZLOO(cid:3)OLNHO\(cid:3)SD\(cid:3)D(cid:3)SUHPLXP(cid:3)IRU(cid:3)D(cid:3)FRQWUDFWRU WDNLQJ(cid:3)RQ(cid:3)PRUH(cid:3)WKDQ(cid:3)LWV(cid:3)FXVWRPDU\(cid:3)VKDUH(cid:3)RI(cid:3)ULVN(cid:3)LQ(cid:3)D(cid:3)SURMHFW(cid:17) )LQDOO\(cid:15)(cid:3) ZKLOH(cid:3) WKHVH(cid:3) LQVWUXPHQWV(cid:3) SURYLGH(cid:3) IRU(cid:3) VRPH(cid:3) OHYHO(cid:3) RI UHLPEXUVHPHQW(cid:3)LI(cid:3)WKH(cid:3)SURMHFW(cid:3)IDLOV(cid:15)(cid:3)WKH\(cid:3)GR(cid:3)QRW(cid:3)HQVXUH(cid:3)VXFFHVV RI(cid:3)WKH(cid:3)SURMHFW(cid:17) 1HYHUWKHOHVV(cid:15)(cid:3) RWKHU(cid:3) WHFKQLTXHV(cid:3) FRXOG(cid:3) KHOS(cid:3) DFKLHYH(cid:3) VRPH(cid:3) RI WKH(cid:3)VDPH(cid:3)JRDOV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)VRPH(cid:3)RI(cid:3)RXU(cid:3)UHFRPPHQGDWLRQV VKRXOG(cid:3) VKLIW(cid:3) D(cid:3) SURSRUWLRQDWH(cid:3) VKDUH(cid:3) RI(cid:3) WKH(cid:3) SURMHFW(cid:3) ULVN(cid:3) EDFN WR(cid:3)WKH(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)RXU(cid:3)UHFRPPHQGDWLRQV(cid:3)WR(cid:3)EUHDN 6RPH(cid:3)SURSRUWLRQDWH(cid:3)VKDUH WKH(cid:3)SURMHFW(cid:3)DQG(cid:3)FRQWUDFW(cid:3)LQWR(cid:3)VKRUWHU(cid:3)SKDVHV(cid:15)(cid:3)SD\(cid:3)WKH(cid:3)FRQWUDFWRU RI(cid:3)WKH(cid:3)SURMHFW(cid:3)ULVN(cid:3)VKRXOG IRU(cid:3)SHUIRUPDQFH(cid:15)(cid:3)DQG(cid:3)DGGLQJ(cid:3)§VWRS(cid:3)RU(cid:3)JR¤(cid:3)GHFLVLRQ(cid:3)SRLQWV(cid:3)LQ(cid:3)WKH EH(cid:3)ERUQH(cid:3)E\(cid:3)WKH FRQWUDFW(cid:3)ZLOO(cid:3)KHOS(cid:3)WKH(cid:3)FRQWUDFWRUV(cid:3)XQGHUVWDQG(cid:3)WKDW(cid:3)WKH\(cid:3)ZLOO(cid:3)RQO\ FRQWUDFWRU(cid:17) UHFHLYH(cid:3) SD\PHQW(cid:3) IRU(cid:3) VXFFHVVIXO(cid:3) SHUIRUPDQFH(cid:17)(cid:3) (cid:3) 7KH(cid:3) ULVN(cid:3) HDFK FRQWUDFWRU(cid:3) ZRXOG(cid:3) DVVXPH(cid:3) LV(cid:3) WKDW(cid:3) LW(cid:3) ZLOO(cid:3) QRW(cid:3) UHFHLYH(cid:3) SD\(cid:3) IRU XQVXFFHVVIXO(cid:3) RU(cid:3) XQVDWLVIDFWRU\(cid:3) ZRUN(cid:3) DQG(cid:3) WKDW(cid:3) LWV(cid:3) PRVW(cid:3) UHFHQW GHOLYHUDEOH(cid:3)FRXOG(cid:3)EH(cid:3)LWV(cid:3)ODVW(cid:17)(cid:3)(cid:3)7KH(cid:3)ULVN(cid:3)IRU(cid:3)WKH(cid:3)6WDWH(cid:15)(cid:3)LQ(cid:3)WKH(cid:3)HYHQW WKH(cid:3)FRQWUDFWRU(cid:3)GRHV(cid:3)QRW(cid:3)PHHW(cid:3)LWV(cid:3)REOLJDWLRQV(cid:15)(cid:3)LV(cid:3)WKH(cid:3)ORVV(cid:3)RI(cid:3)WLPH DQG(cid:3)WKH(cid:3)QHHG(cid:3)WR(cid:3)ILQG(cid:3)D(cid:3)QHZ(cid:3)FRQWUDFWRU(cid:3)WR(cid:3)WDNH(cid:3)XS(cid:3)ZKHUH(cid:3)WKH IRUPHU(cid:3)FRQWUDFWRU(cid:3)OHIW(cid:3)RII(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)WKHVH(cid:3)WHFKQLTXHV(cid:3)GR(cid:3)QRW DGGUHVV(cid:3)WKH(cid:3)6WDWH“V(cid:3)QHHG(cid:3)WR(cid:3)EH(cid:3)FRPSHQVDWHG(cid:3)IRU(cid:3)GDPDJHV(cid:15)(cid:3)WKH\ GR(cid:3) OLPLW(cid:3) WKH(cid:3) 6WDWH“V(cid:3) H[SRVXUH(cid:3) E\(cid:3) HQVXULQJ(cid:3) PRUH(cid:3) IUHTXHQW HYDOXDWLRQV(cid:3)RI(cid:3)WKH(cid:3)FRQWUDFWRU“V(cid:3)HIIRUWV(cid:17) 5HYLHZ(cid:3)DQG(cid:3)$SSURYH(cid:3)$OO(cid:3)6WDIILQJ(cid:3)&KDQJHV $OO(cid:3)VWDWH(cid:3)FRQWUDFWV(cid:3)QHHG(cid:3)WR(cid:3)FRQWDLQ(cid:3)SURYLVLRQV(cid:3)WKDW(cid:3)DOORZ(cid:3)WKH 6WDWH(cid:3)WR(cid:3)UHYLHZ(cid:3)DQG(cid:3)DSSURYH(cid:3)DQ\(cid:3)FKDQJHV(cid:3)LQ(cid:3)D(cid:3)FRQWUDFWRU“V(cid:3)VWDII RQ(cid:3) WKH(cid:3) SURMHFW(cid:17)(cid:3) (cid:3) 0RUHRYHU(cid:15)(cid:3) SURMHFW(cid:3) PDQDJHPHQW(cid:3) VKRXOG FRQWLQXDOO\(cid:3)HQIRUFH(cid:3)WKHVH(cid:3)SURYLVLRQV(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)SURSRVHG VWDII(cid:3) PHPEHUV(cid:15)(cid:3) SDUWLFXODUO\(cid:3) WKRVH(cid:3) LQ(cid:3) NH\(cid:3) SRVLWLRQV(cid:15)(cid:3) KDYH(cid:3) WKH H[SHULHQFH(cid:3)DQG(cid:3)H[SHUWLVH(cid:3)QHHGHG(cid:3)IRU(cid:3)WKH(cid:3)SURMHFW(cid:17) (cid:26)(cid:22) :H(cid:3)IRXQG(cid:3)WKDW(cid:3)DOWKRXJK(cid:3)WKH(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)/RFNKHHG(cid:3)GLG(cid:3)FRQWDLQ D(cid:3)SURYLVLRQ(cid:3)WKDW(cid:3)DOORZHG(cid:3)WKH(cid:3)6WDWH(cid:3)WR(cid:3)DSSURYH(cid:3)DQG(cid:3)GLVDSSURYH FKDQJHV(cid:3) LQ(cid:3) WKH(cid:3) FRQWUDFWRU“V(cid:3) VWDII(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) GLG(cid:3) QRW(cid:3) DOZD\V HQIRUFH(cid:3)WKLV(cid:3)SURYLVLRQ(cid:17)(cid:3)(cid:3):H(cid:3)DOVR(cid:3)IRXQG(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)GLG(cid:3)QRW FRRSHUDWH(cid:3) ZLWK(cid:3) DQ(cid:3) DVVHVVPHQW(cid:3) RI(cid:3) WKH(cid:3) H[SHULHQFH(cid:3) DQG TXDOLILFDWLRQV(cid:3)RI(cid:3)LWV(cid:3)VWDII(cid:3)E\(cid:3)WKH(cid:3)6WDWH“V(cid:3)4$(cid:3)FRQWUDFWRU(cid:17)(cid:3)(cid:3)$V(cid:3)D UHVXOW(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)KDV(cid:3)QR(cid:3)DVVXUDQFH(cid:3)WKDW(cid:3)/RFNKHHG“V(cid:3)VWDII(cid:3)KDG(cid:3)WKH H[SHULHQFH(cid:3) DQG(cid:3) H[SHUWLVH(cid:3) QHFHVVDU\(cid:3) WR(cid:3) FRPSOHWH(cid:3) WKH(cid:3) 6$&66 SURMHFW(cid:3)VXFFHVVIXOO\(cid:17) 7KRURXJKO\(cid:3)5HYLHZ(cid:3)$OO(cid:3)&RQWUDFW(cid:3)$PHQGPHQWV $OWKRXJK(cid:3)WKLV(cid:3)UHFRPPHQGDWLRQ(cid:3)VKRXOG(cid:3)EH(cid:3)XQQHFHVVDU\(cid:15)(cid:3)ZH(cid:3)QHHG WR(cid:3)XQGHUVFRUH(cid:3)WKH(cid:3)LPSRUWDQFH(cid:3)RI(cid:3)SURMHFW(cid:3)PDQDJHPHQW(cid:3)FDUHIXOO\ H[DPLQLQJ(cid:3) WKH(cid:3) FRQWUDFWRU“V(cid:3) H[LVWLQJ(cid:3) REOLJDWLRQV(cid:3) XQGHU(cid:3) WKH FRQWUDFW(cid:3) EHIRUH(cid:3) DJUHHLQJ(cid:3) WR(cid:3) DQ\(cid:3) FRQWUDFW(cid:3) FKDQJHV(cid:17)(cid:3) (cid:3) 3URMHFW PDQDJHPHQW(cid:3) VKRXOG(cid:3) IXOO\(cid:3) VXSSRUW(cid:3) DOO(cid:3) DPHQGPHQWV(cid:3) WR(cid:3) WKH FRQWUDFW(cid:3)ZLWK(cid:3)H[SODQDWLRQV(cid:3)ZK\(cid:3)WKH(cid:3)DPHQGPHQW(cid:3)LV(cid:3)QHFHVVDU\(cid:15) ZK\(cid:3)WKH(cid:3)RULJLQDO(cid:3)DJUHHPHQW(cid:3)GRHV(cid:3)QRW(cid:3)FRYHU(cid:3)WKH(cid:3)DGGLWLRQDO(cid:3)ZRUN(cid:15) DQG(cid:3)FDOFXODWLRQV(cid:3)RI(cid:3)DQ\(cid:3)FKDQJHV(cid:3)LQ(cid:3)WKH(cid:3)DPRXQWV(cid:3)SD\DEOH(cid:3)XQGHU WKH(cid:3)FRQWUDFW(cid:17)(cid:3)’XULQJ(cid:3)WKH(cid:3)6$&66(cid:3)SURMHFW(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)DQG(cid:3)WKH GDWD(cid:3) FHQWHU(cid:3) PDGH(cid:3) PLOOLRQV(cid:3) RI(cid:3) GROODUV(cid:3) RI(cid:3) LQDSSURSULDWH(cid:3) DQG XQVXSSRUWHG(cid:3)FKDQJHV(cid:3)WR(cid:3)WKH(cid:3)/RFNKHHG(cid:3)FRQWUDFW(cid:17) 3HUPLVVLRQ(cid:3)WR(cid:3))DLO 7KH(cid:3) 6WDWH(cid:3) QHHGV(cid:3) WR(cid:3) FUHDWH(cid:3) DQ(cid:3) HQYLURQPHQW(cid:3) WKDW(cid:3) YDOXHV(cid:3) D SURMHFW(cid:3)PDQDJHU(cid:3)ZKR(cid:3)UHFRJQL]HV(cid:3)ZKHQ(cid:3)D(cid:3)WHFKQRORJ\(cid:3)SURMHFW(cid:3)LV RII(cid:3) FRXUVH(cid:3) RU(cid:3) KDV(cid:3) SUREOHPV(cid:3) DQG(cid:3) WKHQ(cid:3) WDNHV(cid:3) DFWLRQ(cid:3) WR(cid:3) VWRS 7KH(cid:3)IHDU(cid:3)RI(cid:3)IDLOXUH(cid:3)GULYHV WKH(cid:3)SURMHFW(cid:3)RU(cid:3)FKDQJH(cid:3)GLUHFWLRQV(cid:3)EHIRUH(cid:3)DQ\(cid:3)DGGLWLRQDO(cid:3)SUREOHPV VXUIDFH(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)DQ(cid:3)LQGXVWU\(cid:3)UHYLHZ(cid:3)RI(cid:3)FRPPHUFLDO(cid:3)DQG PDQ\(cid:3)SURMHFW(cid:3)PDQDJHUV JRYHUQPHQW(cid:3) WHFKQRORJ\(cid:3) SURMHFWV(cid:15)(cid:3) DV(cid:3) PDQ\(cid:3) DV(cid:3) (cid:22)(cid:19)(cid:3) SHUFHQW DQG(cid:3)H[HFXWLYHV(cid:3)WR RI(cid:3)LQIRUPDWLRQ(cid:3)WHFKQRORJ\(cid:3)SURMHFWV(cid:3)DUH(cid:3)FDQFHOHG(cid:3)EHIRUH(cid:3)WKH\(cid:3)DUH FRQWLQXH(cid:3)LQYHVWLQJ(cid:3)WLPH FRPSOHWHG(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)PRUH(cid:3)WKDQ(cid:3)KDOI(cid:3)RI(cid:3)WKRVH(cid:3)WKDW(cid:3)GR(cid:3)QRW(cid:3)§IDLO¤ DQG(cid:3)PRQH\(cid:3)LQ(cid:3)IDLOLQJ RXWULJKW(cid:3)DUH(cid:3)QHDUO\(cid:3)WZR(cid:3)WLPHV(cid:3)RYHU(cid:3)EXGJHW(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)PDQ\ SURMHFWV(cid:3)UDWKHU(cid:3)WKDQ SURMHFWV(cid:3)VXFK(cid:3)DV(cid:3)6$&66(cid:3)SURFHHG(cid:3)ORQJ(cid:3)DIWHU(cid:3)WKH(cid:3)VLJQV(cid:3)RI(cid:3)IDLOXUH DFNQRZOHGJH(cid:3)WKH DUH(cid:3) LGHQWLILHG(cid:15)(cid:3) UHVXOWLQJ(cid:3) LQ(cid:3) XQQHFHVVDU\(cid:3) ORVVHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) IHDU(cid:3) RI SUREOHPV(cid:17) IDLOXUH(cid:3)GULYHV(cid:3)PDQ\(cid:3)SURMHFW(cid:3)PDQDJHUV(cid:3)DQG(cid:3)H[HFXWLYHV(cid:3)WR(cid:3)FRQWLQXH LQYHVWLQJ(cid:3) WLPH(cid:3) DQG(cid:3) PRQH\(cid:3) LQ(cid:3) IDLOLQJ(cid:3) SURMHFWV(cid:3) UDWKHU(cid:3) WKDQ WR(cid:3)DFNQRZOHGJH(cid:3)WKH(cid:3)SUREOHPV(cid:17)(cid:3)(cid:3),I(cid:3)ZH(cid:3)H[SHFW(cid:3)SURMHFW(cid:3)PDQDJHUV(cid:3)WR PDNH(cid:3)JRRG(cid:3)GHFLVLRQV(cid:3)WR(cid:3)VWRS(cid:15)(cid:3)JR(cid:15)(cid:3)RU(cid:3)FKDQJH(cid:3)GLUHFWLRQV(cid:3)DW(cid:3)WKH FRPSOHWLRQ(cid:3)RI(cid:3)HDFK(cid:3)SKDVH(cid:3)RI(cid:3)D(cid:3)SURMHFW(cid:15)(cid:3)WKH\(cid:3)QHHG(cid:3)VRPH(cid:3)UHDVRQ WR(cid:3)EHOLHYH(cid:3)WKDW(cid:3)VXFK(cid:3)GHFLVLRQV(cid:3)ZLOO(cid:3)QRW(cid:3)HQG(cid:3)WKHLU(cid:3)FDUHHUV(cid:17) (cid:26)(cid:23) :H(cid:3) FRQGXFWHG(cid:3) WKLV(cid:3) UHYLHZ(cid:3) XQGHU(cid:3) WKH(cid:3) DXWKRULW\(cid:3) YHVWHG(cid:3) LQ(cid:3) WKH(cid:3) &DOLIRUQLD(cid:3) 6WDWH(cid:3) $XGLWRU(cid:3) E\ 6HFWLRQ(cid:3)(cid:27)(cid:24)(cid:23)(cid:22)(cid:3)HW(cid:3)VHT(cid:17)(cid:3)RI(cid:3)WKH(cid:3)&DOLIRUQLD(cid:3)*RYHUQPHQW(cid:3)&RGH(cid:3)DQG(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)JHQHUDOO\(cid:3)DFFHSWHG JRYHUQPHQWDO(cid:3)DXGLWLQJ(cid:3)VWDQGDUGV(cid:17)(cid:3)(cid:3):H(cid:3)OLPLWHG(cid:3)RXU(cid:3)UHYLHZ(cid:3)WR(cid:3)WKRVH(cid:3)DUHDV(cid:3)VSHFLILHG(cid:3)LQ(cid:3)WKH(cid:3)DXGLW VFRSH(cid:3)VHFWLRQ(cid:3)RI(cid:3)WKLV(cid:3)UHSRUW(cid:17) 5HVSHFWIXOO\(cid:3)VXEPLWWHG(cid:15) .857(cid:3)5(cid:17)(cid:3)6-2%(5* 6WDWH(cid:3)$XGLWRU ’DWH(cid:29) 0DUFK(cid:3)(cid:20)(cid:27)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:27) 6WDII(cid:29) )UHG(cid:3))RUUHU(cid:15)(cid:3)$VVLVWDQW(cid:3)6WDWH(cid:3)$XGLWRU(cid:15)(cid:3)&3$ 7DPP\(cid:3)%RZOHV(cid:15)(cid:3)&3$ 0LFKDHO(cid:3)7LOGHQ(cid:15)(cid:3)&3$ -DPHV(cid:3)%HDXVROHLO(cid:15)(cid:3)&3$ &KULVWRSKHU(cid:3)+DUULV(cid:15)(cid:3)&3$ *D\DWUL(cid:3)3DWHO (cid:26)(cid:24) 7KLV(cid:3)EODQN(cid:3)SDJH(cid:3)LQVHUWHG(cid:3)IRU(cid:3)UHSURGXFWLRQ(cid:3)SXUSRVHV(cid:3)RQO\(cid:17) (cid:26)(cid:25) Appendix A 7KH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU“V $QDO\VLV(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG 6XSSRUW(cid:3)6\VWHP(cid:3)$OWHUQDWLYHV(cid:3)+DV(cid:3)/LWWOH(cid:3)9DOXH 6XPPDU\ , Q(cid:3)VSULQJ(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU (cid:11)GDWD(cid:3)FHQWHU(cid:12)(cid:3)EHJDQ(cid:3)H[DPLQLQJ(cid:3)DOWHUQDWLYH(cid:3)FRPSXWHU(cid:3)V\VWHPV WKDW(cid:3) FRXQWLHV(cid:3) PLJKW(cid:3) XVH(cid:3) LQ(cid:3) WKH(cid:3) HYHQW(cid:3) WKDW(cid:3) WKH(cid:3) 6WDWHZLGH $XWRPDWHG(cid:3) &KLOG(cid:3) 6XSSRUW(cid:3) 6\VWHP(cid:3) (cid:11)6$&66(cid:12)(cid:3) IDLOHG(cid:17)(cid:3) 7KH(cid:3) GDWD FHQWHU“V(cid:3)JRDO(cid:3)ZDV(cid:3)WR(cid:3)KDYH(cid:3)LQIRUPDWLRQ(cid:3)UHDGLO\(cid:3)DYDLODEOH(cid:3)VR(cid:3)WKDW WKRVH(cid:3)LQ(cid:3)FKDUJH(cid:3)FRXOG(cid:3)PDNH(cid:3)D(cid:3)GHFLVLRQ(cid:3)LI(cid:3)6$&66(cid:3)ZDV(cid:3)IXUWKHU GHOD\HG(cid:3) RU(cid:3) WHUPLQDWHG(cid:17)(cid:3) (cid:3) 7KH(cid:3) GDWD(cid:3) FHQWHU(cid:3) LVVXHG(cid:3) LWV(cid:3) 6$&66 $OWHUQDWLYH(cid:3) 5HSRUW(cid:3) LQ(cid:3) 6HSWHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WKH(cid:3) 6WDWH VRRQ(cid:3)PDGH(cid:3)FOHDU(cid:3)WKDW(cid:3)LW(cid:3)ZRXOG(cid:3)QRW(cid:3)UHO\(cid:3)XSRQ(cid:3)WKH(cid:3)UHSRUW(cid:3)IRU(cid:3)LWV DQDO\VLV(cid:3) RI(cid:3) DOWHUQDWLYHV(cid:3) IRU(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW DXWRPDWLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)HYDOXDWLRQ(cid:3)FULWHULD(cid:3)XVHG(cid:3)LQ(cid:3)WKH(cid:3)DQDO\VLV(cid:3)DUH JHQHULF(cid:3)DQG(cid:3)DW(cid:3)VXFK(cid:3)D(cid:3)KLJK(cid:3)OHYHO(cid:3)WKDW(cid:3)RQH(cid:3)ZRXOG(cid:3)ILQG(cid:3)LW(cid:3)GLIILFXOW WR(cid:3)GUDZ(cid:3)FRQFOXVLRQV(cid:3)DERXW(cid:3)ZKLFK(cid:3)FRPSXWHU(cid:3)DSSOLFDWLRQ(cid:3)ZRXOG PDNH(cid:3)D(cid:3)JRRG(cid:3)FKRLFH(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU“V(cid:3)UHSRUW(cid:3)GRHV QRW(cid:3)SURYLGH(cid:3)D(cid:3)UHOLDEOH(cid:3)RU(cid:3)FRPSOHWH(cid:3) HVWLPDWH(cid:3) RI(cid:3) FRVWV(cid:3) IRU(cid:3) WKH DOWHUQDWLYHV(cid:15)(cid:3)WKXV(cid:3)GUDZLQJ(cid:3)DQ(cid:3)LQFRPSOHWH(cid:3)SLFWXUH(cid:3)RI(cid:3)WKH(cid:3)HIIRUW LQYROYHG(cid:3)LQ(cid:3)KHOSLQJ(cid:3)FRXQWLHV(cid:3)PDNH(cid:3)WKH(cid:3)WUDQVLWLRQ(cid:3)WR(cid:3)DQ(cid:3)LQWHULP VROXWLRQ(cid:17) %DFNJURXQG 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)EHJDQ(cid:3)ZRUN(cid:3)RQ(cid:3)WKH(cid:3)6$&66(cid:3)$OWHUQDWLYH(cid:3)5HSRUW(cid:3)LQ 0D\(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:3) ZKHQ(cid:3) LW(cid:3) EHFDPH(cid:3) DSSDUHQW(cid:3) WKDW(cid:3) 6$&66(cid:3) KDG(cid:3) D VLJQLILFDQW(cid:3) QXPEHU(cid:3) RI(cid:3) SUREOHPV(cid:3) WKDW(cid:3) /RFNKHHG(cid:3) 0DUWLQ ,QIRUPDWLRQ(cid:3)0DQDJHPHQW(cid:3)6\VWHPV(cid:3)(cid:11)/RFNKHHG(cid:12)(cid:3)KDG(cid:3)QRW(cid:3)UHVROYHG(cid:17) %HOLHYLQJ(cid:3)WKDW(cid:3)WKLV(cid:3)HIIRUW(cid:3)FRXOG(cid:3)EH(cid:3)FULWLFDO(cid:3)WR(cid:3)WKH(cid:3)6WDWH“V(cid:3)IXWXUH SODQV(cid:3)IRU(cid:3)DXWRPDWLQJ(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:15)(cid:3)ZH(cid:3)H[DPLQHG WKH(cid:3)UHSRUW(cid:3)WR(cid:3)GHWHUPLQH(cid:3)LWV(cid:3)XVHIXOQHVV(cid:3)LQ(cid:3)WKH(cid:3)HYHQW(cid:3)6$&66(cid:3)IDLOHG(cid:17) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DQG(cid:3)/RFNKHHG(cid:3)WHUPLQDWHG(cid:3)WKH(cid:3)6$&66(cid:3)FRQWUDFW(cid:3)LQ 1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)6WDWH(cid:3)QRZ(cid:3)ILQGV(cid:3)LWVHOI(cid:3)KDYLQJ(cid:3)WR(cid:3)DVVHVV DOWHUQDWLYHV(cid:15)(cid:3)MXVW(cid:3)DV(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DQWLFLSDWHG(cid:17) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LVVXHG(cid:3)WKH(cid:3)ILQDO(cid:3)6$&66(cid:3)$OWHUQDWLYH(cid:3)5HSRUW(cid:3)RQ 6HSWHPEHU(cid:3)(cid:20)(cid:25)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3)(cid:3)1HYHUWKHOHVV(cid:15)(cid:3)ZH(cid:3)EHOLHYH(cid:3)WKDW(cid:3)ZH(cid:3)QHHG(cid:3)WR SRLQW(cid:3)RXW(cid:3)WKH(cid:3)ZHDNQHVVHV(cid:3)LQ(cid:3)WKH(cid:3)UHSRUW(cid:3)WR(cid:3)DYRLG(cid:3)WKH(cid:3)SRVVLELOLW\ (cid:26)(cid:26) WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)RU(cid:3)WKH(cid:3)FRXQWLHV(cid:3)PLJKW(cid:3)UHO\(cid:3)XSRQ(cid:3)LQIRUPDWLRQ(cid:3)LQ(cid:3)LW DW(cid:3) VRPH(cid:3) ODWHU(cid:3) GDWH(cid:3) WR(cid:3) PDNH(cid:3) LPSRUWDQW(cid:3) GHFLVLRQV(cid:3) IRU(cid:3) PRYLQJ IRUZDUG(cid:3)ZLWK(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)DXWRPDWLRQ(cid:17) 7KH(cid:3)5HSRUW(cid:3)3URYLGHV(cid:3)D(cid:3):HDN $QDO\VLV(cid:3)RI(cid:3)$OWHUQDWLYHV $OWKRXJK(cid:3) WLPH(cid:3) DQG(cid:3) EXGJHW(cid:3) SUHYHQWHG(cid:3) DQ(cid:3) DQDO\VLV(cid:3) RI(cid:3) HYHU\ SRWHQWLDO(cid:3)RSWLRQ(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)PD\(cid:3)KDYH(cid:3)DUELWUDULO\(cid:3)OLPLWHG WKH(cid:3)DOWHUQDWLYHV(cid:3)LW(cid:3)FKRVH(cid:3)WR(cid:3)DQDO\]H(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LQFOXGHG HYHU\(cid:3)V\VWHP(cid:3)ZKLFK(cid:3)&DOLIRUQLD(cid:3)FRXQWLHV(cid:3)ZDQWHG(cid:3)DV(cid:3)D(cid:3)VROXWLRQ(cid:15) LQFOXGLQJ(cid:3) WZR(cid:3) V\VWHPV(cid:3) WKDW(cid:3) GLG(cid:3) QRW(cid:3) H[LVW(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WKH GDWD(cid:3)FHQWHU(cid:3)H[FOXGHG(cid:3)UHDO(cid:3)VROXWLRQV(cid:3)IURP(cid:3)RWKHU(cid:3)VWDWHV(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD FHQWHU(cid:3)HYDOXDWHG(cid:3)VL[(cid:3)H[LVWLQJ(cid:3)DXWRPDWHG(cid:3)V\VWHPV(cid:3)WKDW(cid:3)&DOLIRUQLD FRXQWLHV(cid:3) KDG(cid:3) GHYHORSHG(cid:3) RU(cid:3) XVHG(cid:3) DQG(cid:3) WKDW(cid:3) WKH(cid:3) FRXQWLHV(cid:3) KDG ZDQWHG(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)WR(cid:3)FRQVLGHU(cid:3)DV(cid:3)SRWHQWLDO(cid:3)VROXWLRQV(cid:17)(cid:3)(cid:3)7KH GDWD(cid:3) FHQWHU(cid:3) GLG(cid:3) QRW(cid:3) FRQVLGHU(cid:3) DQ\(cid:3) VRIWZDUH(cid:3) DSSOLFDWLRQ(cid:3) IURP DQRWKHU(cid:3)VWDWH(cid:3)LI(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)KDG(cid:3)QRW(cid:3)FHUWLILHG(cid:3)LW(cid:3)DV(cid:3)D §VWDWHZLGH¤(cid:3)DSSOLFDWLRQ(cid:3)(cid:11)NQRZQ(cid:3)DV(cid:3)§OHYHO(cid:3),,(cid:3)FHUWLILHG¤(cid:12)(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD FHQWHU(cid:3)WKHQ(cid:3)IXUWKHU(cid:3)OLPLWHG(cid:3)WKH(cid:3)ILHOG(cid:3)E\(cid:3)FKRRVLQJ(cid:3)WR(cid:3)HYDOXDWH RQO\(cid:3) :\RPLQJ“V(cid:3) V\VWHP(cid:15)(cid:3) ZKLFK(cid:3) ZDV(cid:3) MXVW(cid:3) (cid:20)(cid:3) RI(cid:3) WKH(cid:3) (cid:20)(cid:26)(cid:3) VWDWH V\VWHPV(cid:3) FHUWLILHG(cid:3) DV(cid:3) OHYHO(cid:3) ,,(cid:17)(cid:3) (cid:3) 2WKHU(cid:3) VWDWHV(cid:3) KDYH(cid:3) VRIWZDUH DSSOLFDWLRQV(cid:3)FHUWLILHG(cid:3)E\(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)IRU(cid:3)PHHWLQJ(cid:3)DOO WKH(cid:3))DPLO\(cid:3)6XSSRUW(cid:3)$FW(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:27)(cid:27)(cid:3)UHTXLUHPHQWV(cid:3)H[FHSW(cid:3)IRU(cid:3)WKH UHTXLUHPHQW(cid:3) WKDW(cid:3) WKH(cid:3) SURJUDP(cid:3) EH(cid:3) RSHUDWHG(cid:3) VWDWHZLGH(cid:17)(cid:3) (cid:3) 6XFK DSSOLFDWLRQV(cid:3)DUH(cid:3)§OHYHO(cid:3),(cid:3)FHUWLILHG(cid:17)¤(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)FKRVH(cid:3)WR UHTXLUH(cid:3)WKDW(cid:3)RXW(cid:16)RI(cid:16)VWDWH(cid:3)V\VWHPV(cid:3)EH(cid:3)OHYHO(cid:3),,(cid:3)FHUWLILHG(cid:3)EXW(cid:3)GLG(cid:3)QRW DSSO\(cid:3)WKLV(cid:3)VWDQGDUG(cid:3)ZKHQ(cid:3)LW(cid:3)SLFNHG(cid:3)WKH(cid:3)VL[(cid:3)DSSOLFDWLRQV(cid:3)XVHG E\(cid:3) &DOLIRUQLD(cid:3) FRXQWLHV(cid:15)(cid:3) QRQH(cid:3) RI(cid:3) ZKLFK(cid:3) LV(cid:3) FHUWLILHG(cid:3) DV(cid:3) HLWKHU OHYHO(cid:3),(cid:3)RU(cid:3),,(cid:17) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)VWDWHG(cid:3)H[SOLFLWO\(cid:3)RQ(cid:3)SDJH(cid:3)RQH(cid:3)RI(cid:3)WKH(cid:3)6$&66 $OWHUQDWLYH(cid:3)5HSRUW(cid:3)WKDW(cid:3)LW(cid:3)ZRXOG(cid:3)DVVHVV(cid:3)WKH(cid:3)FDSDELOLWLHV(cid:3)RI(cid:3)HDFK V\VWHP(cid:30)(cid:3)KRZHYHU(cid:15)(cid:3) WKH(cid:3)UHVXOWLQJ(cid:3)DQDO\VLV(cid:3) IDLOV(cid:3) WR(cid:3) VKRZ(cid:3) FOHDUO\ KRZ(cid:3) ZHOO(cid:3) HDFK(cid:3) DOWHUQDWLYH(cid:3) PHHWV(cid:3) FRXQW\(cid:3) EXVLQHVV(cid:3) SURFHVV UHTXLUHPHQWV(cid:17)(cid:3)(cid:3)7KH(cid:3)DQDO\VLV(cid:3)DOVR(cid:3)JLYHV(cid:3)D(cid:3)IDOVH(cid:3)LPSUHVVLRQ(cid:3)RI(cid:3)HDFK DSSOLFDWLRQ“V(cid:3)FDSDELOLWLHV(cid:17)(cid:3)(cid:3)7KH(cid:3)UHSRUW(cid:3)LQGLFDWHV(cid:3)WKDW(cid:3)DOO(cid:3)RI(cid:3)WKH &DOLIRUQLD(cid:3)VRIWZDUH(cid:3)DSSOLFDWLRQV(cid:3)HYDOXDWHG(cid:3)§XVH(cid:3)WKH(cid:3)&DOLIRUQLD EXVLQHVV(cid:3) PRGHO¤(cid:3) EXW(cid:3) GRHV(cid:3) QRW(cid:3) GHVFULEH(cid:3) WKLV(cid:3) PRGHO(cid:15)(cid:3) ZKLFK SURFHVVHV(cid:3)RI(cid:3)WKH(cid:3)PRGHO(cid:3)DUH(cid:3)PRVW(cid:3)LPSRUWDQW(cid:15)(cid:3)RU(cid:3)ZKLFK(cid:3)SURFHVVHV WKH(cid:3)DSSOLFDWLRQ(cid:3)PHHWV(cid:3)RU(cid:3)GRHV(cid:3)QRW(cid:3)PHHW(cid:17) 1R(cid:3) VLQJOH(cid:3) §&DOLIRUQLD(cid:3) EXVLQHVV(cid:3) PRGHO¤(cid:3) H[LVWV(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR WKH(cid:3) GDWD(cid:3) FHQWHU(cid:15)(cid:3) OHJDO(cid:3) SURFHVVHV(cid:3) DUH(cid:3) GLIIHUHQW(cid:3) DPRQJ(cid:3) WKH (cid:24)(cid:27)(cid:3)&DOLIRUQLD(cid:3)FRXQWLHV(cid:17)(cid:3)(cid:3)&RXUWV(cid:3)LQ(cid:3)HDFK(cid:3)FRXQW\(cid:3)UHTXLUH(cid:3)GLIIHUHQW VHTXHQFHV(cid:3) RI(cid:3) HYHQWV(cid:3) DQG(cid:3) GLIIHUHQW(cid:3) GRFXPHQWV(cid:17)(cid:3) (cid:3) ’LVWULFW DWWRUQH\V“(cid:3)RIILFHV(cid:3)PD\(cid:3)DVVLJQ(cid:3)FDVHV(cid:3)WR(cid:3)ZRUNHUV(cid:3)EDVHG(cid:3)RQ(cid:3)FKLOG VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)IXQFWLRQ(cid:15)(cid:3)RU(cid:3)WKH\(cid:3)PD\(cid:3)DVVLJQ(cid:3)HDFK(cid:3)FDVH(cid:3)WR D(cid:3)VLQJOH(cid:3)ZRUNHU(cid:3)ZKR(cid:3)KDQGOHV(cid:3)LW(cid:3)IURP(cid:3)§FUDGOH(cid:3)WR(cid:3)JUDYH(cid:17)¤ (cid:26)(cid:27) ,URQLFDOO\(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU(cid:3) VWDWHV(cid:3) LQ(cid:3) WKH(cid:3) 6$&66(cid:3) $OWHUQDWLYH 5HSRUW(cid:3)WKDW(cid:3)RQH(cid:3)RI(cid:3)WKH(cid:3)GLVDGYDQWDJHV(cid:3)RI(cid:3)XVLQJ(cid:3)PXOWLSOH(cid:3)FRPSXWHU V\VWHPV(cid:3)DV(cid:3)D(cid:3)VROXWLRQ(cid:3)LV(cid:3)WKH(cid:3)DGGLWLRQDO(cid:3)HIIRUW(cid:3)QHHGHG(cid:3)WR(cid:3)HQVXUH VWDQGDUG(cid:3) &DOLIRUQLD(cid:3) EXVLQHVV(cid:3) SROLFLHV(cid:3) DFURVV(cid:3) WKH(cid:3) FRXQWLHV(cid:17) +RZHYHU(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GRHV(cid:3)QRW(cid:3)GHVFULEH(cid:3)ZKDW(cid:3)WKHVH(cid:3)VWDQGDUG SROLFLHV(cid:3)DUH(cid:3)RU(cid:3)VKRXOG(cid:3)EH(cid:15)(cid:3)LQGLFDWH(cid:3)WKH(cid:3)HIIRUW(cid:3)RU(cid:3)FRVWV(cid:3)QHFHVVDU\ WR(cid:3)HQVXUH(cid:3)V\VWHPV(cid:3)PHHW(cid:3)FRXQW\(cid:3)EXVLQHVV(cid:3)SURFHVVHV(cid:15)(cid:3)RU(cid:3)H[SODLQ KRZ(cid:3) WKH(cid:3) 6WDWH(cid:3) ZRXOG(cid:3) JHW(cid:3) DOO(cid:3) FRXQWLHV(cid:3) WR(cid:3) DJUHH(cid:3) WR(cid:3) VWDQGDUG EXVLQHVV(cid:3)SROLFLHV(cid:3)DQG(cid:3)SURFHGXUHV(cid:17) )RU(cid:3)DQRWKHU(cid:3)PHDVXUH(cid:3)RI(cid:3)DQ(cid:3)DOWHUQDWLYH“V(cid:3)FDSDELOLWLHV(cid:15)(cid:3)WKH(cid:3)GDWD FHQWHU“V(cid:3)UHSRUW(cid:3)LQGLFDWHV(cid:3)WKDW(cid:3)DOO(cid:3)VL[(cid:3)VRIWZDUH(cid:3)DSSOLFDWLRQV(cid:3)XVHG E\(cid:3) &DOLIRUQLD(cid:3) FRXQWLHV(cid:3) KDYH(cid:3) XVHU(cid:3) GRFXPHQWDWLRQ(cid:15)(cid:3) DQG(cid:3) WKUHH RI(cid:3)WKH(cid:3)VL[(cid:3)KDYH(cid:3)WHFKQLFDO(cid:3)GRFXPHQWDWLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)JLYHV QR(cid:3)LQGLFDWLRQ(cid:3)RI(cid:3) WKH(cid:3) TXDOLW\(cid:3) RI(cid:3) WKLV(cid:3) GRFXPHQWDWLRQ(cid:3) EXW(cid:3) RQO\ VWDWHV(cid:3)ZKHWKHU(cid:3)D(cid:3)V\VWHP(cid:3)KDV(cid:3)LW(cid:17)(cid:3)(cid:3)$(cid:3)UHSUHVHQWDWLYH(cid:3)IURP(cid:3)D(cid:3)ODUJH &DOLIRUQLD(cid:3) FRXQW\(cid:3) LQGLFDWHG(cid:3) WKDW(cid:3) WKH(cid:3) TXDOLW\(cid:3) RI(cid:3) XVHU GRFXPHQWDWLRQ(cid:3) IRU(cid:3) WKH(cid:3) DOWHUQDWLYH(cid:3) DSSOLFDWLRQV(cid:3) UDQJHV(cid:3) IURP SRRU(cid:3) WR(cid:3) YHU\(cid:3) JRRG(cid:17)(cid:3) (cid:3) 0HUHO\(cid:3) LQGLFDWLQJ(cid:3) WKDW(cid:3) D(cid:3) V\VWHP(cid:3) KDV GRFXPHQWDWLRQ(cid:3)LV(cid:3)QRW(cid:3)VXIILFLHQW(cid:3)LQIRUPDWLRQ(cid:3)WR(cid:3)GHFLGH(cid:3)EHWZHHQ DOWHUQDWLYH(cid:3)VRIWZDUH(cid:17) 8QIRUWXQDWHO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)XVHG(cid:3)HYDOXDWLRQ(cid:3)FULWHULD(cid:3)LQ(cid:3)WKH DQDO\VLV(cid:3)WKDW(cid:3)DUH(cid:3)JHQHULF(cid:3)DQG(cid:3)DW(cid:3) VXFK(cid:3) D(cid:3) KLJK(cid:3) OHYHO(cid:3) WKDW(cid:3) LW(cid:3) LV GLIILFXOW(cid:3)WR(cid:3)GUDZ(cid:3)D(cid:3)FRQFOXVLRQ(cid:3)DERXW(cid:3)ZKLFK(cid:3)DSSOLFDWLRQ(cid:3)ZRXOG EH(cid:3)D(cid:3)JRRG(cid:3)VROXWLRQ(cid:17)(cid:3)(cid:3):H(cid:3)SUHVHQWHG(cid:3)WKH(cid:3)FRQFHUQV(cid:3)ZH(cid:3)KDYH(cid:3)ZLWK WZR(cid:3)RI(cid:3)WKH(cid:3)WHQ(cid:3)HYDOXDWLRQ(cid:3)FULWHULD(cid:3)LQ(cid:3)WKH(cid:3)SULRU(cid:3)SDUDJUDSKV(cid:17)(cid:3)(cid:3),Q DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) GDWD(cid:3) FHQWHU“V(cid:3) HYDOXDWLRQ(cid:3) DJDLQVW(cid:3) WKH(cid:3) FULWHULRQ §PHHWV(cid:3) IHGHUDO(cid:3) OHYHO(cid:3) ,(cid:3) UHTXLUHPHQWV¤(cid:3) JLYHV(cid:3) QR(cid:3) LQGLFDWLRQ(cid:3) RI ZKLFK(cid:3)RI(cid:3)WKH(cid:3)IXQFWLRQDO(cid:3)UHTXLUHPHQWV(cid:3)VSHFLILHG(cid:3)E\(cid:3)WKH(cid:3)IHGHUDO JRYHUQPHQW(cid:3)DUH(cid:3)PHW(cid:15)(cid:3)SDUWLDOO\(cid:3)PHW(cid:15)(cid:3)RU(cid:3)QRW(cid:3)PHW(cid:3)DW(cid:3)DOO(cid:3)E\(cid:3)HDFK V\VWHP(cid:17)(cid:3) (cid:3) 7KH(cid:3) GDWD(cid:3) FHQWHU“V(cid:3) HYDOXDWLRQ(cid:3) DJDLQVW(cid:3) WKH(cid:3) FULWHULRQ §VFDODELOLW\¤(cid:3) SURYLGHV(cid:3) QR(cid:3) LQGLFDWLRQ(cid:3) RI(cid:3) KRZ(cid:3) LW(cid:3) GHULYHG(cid:3) LWV FRQFOXVLRQ(cid:17)(cid:3)(cid:3)7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)SHUIRUP(cid:3)IRUPDO(cid:3)WHVWV(cid:3)WR SURYH(cid:3)VFDODELOLW\(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)FKRVH(cid:3)DQ(cid:3)HYDOXDWLRQ FULWHULRQ(cid:3)ODEHOHG(cid:3)§SURGXFWLRQ(cid:3)VWDWXV¤(cid:3)WR(cid:3)FRPSDUH(cid:3)V\VWHPV(cid:17)(cid:3)(cid:3)2I FRXUVH(cid:15)(cid:3)DOO(cid:3)VL[(cid:3)H[LVWLQJ(cid:3)DOWHUQDWLYHV(cid:3)DUH(cid:3)LQ(cid:3)SURGXFWLRQ(cid:30)(cid:3)WKDW(cid:3)LV(cid:3)ZK\ WKH\(cid:3)DUH(cid:3)EHLQJ(cid:3)FRQVLGHUHG(cid:3)DV(cid:3)DOWHUQDWLYHV(cid:17) )LQDOO\(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LQFOXGHG(cid:3)LQ(cid:3)LWV(cid:3)DQDO\VLV(cid:3)WKH(cid:3)6$&66(cid:18)(cid:21)(cid:19)(cid:19)(cid:19) SURSRVHG(cid:3)E\(cid:3)/RFNKHHG(cid:3)DQG(cid:3)D(cid:3)V\VWHP(cid:3)SODQQHG(cid:3)E\(cid:3)6DQ(cid:3)’LHJR(cid:3)DQG .HUQ(cid:3)FRXQWLHV(cid:15)(cid:3)ERWK(cid:3)RI(cid:3)ZKLFK(cid:3)DUH(cid:3)VRIWZDUH(cid:3)DSSOLFDWLRQV(cid:3)WKDW(cid:3)GR QRW(cid:3)\HW(cid:3)H[LVW(cid:17)(cid:3)(cid:3)6RIWZDUH(cid:3)WKDW(cid:3)GRHV(cid:3)QRW(cid:3)H[LVW(cid:3)LV(cid:3)QRW(cid:3)D(cid:3)VROXWLRQ(cid:3)WKDW FRXQWLHV(cid:3)FDQ(cid:3)SLFN(cid:3)WR(cid:3)VWDELOL]H(cid:3)WKHLU(cid:3)SURJUDP(cid:3)ZKLOH(cid:3)WKH\(cid:3)FRQYHUW WKH(cid:3)SURJUDP(cid:3)WR(cid:3)D(cid:3)VWDWHZLGH(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7KH(cid:3)UHSRUW“V(cid:3)LQFOXVLRQ(cid:3)RI DSSOLFDWLRQV(cid:3)WKDW(cid:3)H[LVW(cid:3)RQO\(cid:3)LQ(cid:3)FRQFHSW(cid:3)VHUYHV(cid:3)QR(cid:3)SXUSRVH(cid:3)LQ HYDOXDWLQJ(cid:3)DOWHUQDWLYHV(cid:3)DQG(cid:3)SURYLGHV(cid:3)QR(cid:3)PHDQLQJIXO(cid:3)LQIRUPDWLRQ WR(cid:3)WKH(cid:3)UHDGHU(cid:17) (cid:26)(cid:28) 7KH(cid:3)5HSRUWnV(cid:3)&RVW(cid:3)(VWLPDWHV $UH(cid:3)8QUHOLDEOH $OWKRXJK(cid:3)QXPHURXV(cid:3)FRVW(cid:3)HVWLPDWHV(cid:3)DSSHDU(cid:3)LQ(cid:3)WKH(cid:3)UHSRUW(cid:15)(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3) FRXOG(cid:3) QRW(cid:3) YDOLGDWH(cid:3) WKH(cid:3) HVWLPDWHV(cid:3) WR(cid:3) HQVXUH(cid:3) DQ §DSSOHV(cid:16)WR(cid:16)DSSOHV¤(cid:3) FRPSDULVRQ(cid:17)(cid:3) (cid:3) 7KDW(cid:3) LV(cid:15)(cid:3) WKH(cid:3) FRVWV(cid:3) IRU(cid:3) RQH DOWHUQDWLYH(cid:3)FDQQRW(cid:3)EH(cid:3)FRPSDUHG(cid:3)WR(cid:3)DQRWKHU(cid:3)EHFDXVH(cid:3)WKH(cid:3)GDWD FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)LQFOXGH(cid:3)DOO(cid:3)FRVWV(cid:3)IRU(cid:3)HDFK(cid:3)DOWHUQDWLYH(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15) HLWKHU(cid:3) E\(cid:3) GHVLJQ(cid:3) RU(cid:3) E\(cid:3) HUURU(cid:15)(cid:3) WKH(cid:3) UHSRUW(cid:3) IDLOV(cid:3) WR(cid:3) LQFOXGH VLJQLILFDQW(cid:3)FRVWV(cid:17)(cid:3)(cid:3)7KHUHIRUH(cid:15)(cid:3)SRWHQWLDO(cid:3)FRVWV(cid:3)FRXOG(cid:3)EH(cid:3)GLIIHUHQW WKDQ(cid:3)WKRVH(cid:3)VKRZQ(cid:3)LQ(cid:3)WKH(cid:3)UHSRUW(cid:15)(cid:3)DQG(cid:3)WKHVH(cid:3)GLIIHUHQFHV(cid:3)FRXOG(cid:3)EH VLJQLILFDQW(cid:17) )RU(cid:3)HDFK(cid:3)DOWHUQDWLYH(cid:3)FRQVLGHUHG(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)SUHVHQWV(cid:3)WHQ FDWHJRULHV(cid:3) RI(cid:3) FRVWV(cid:15)(cid:3) VXFK(cid:3) DV(cid:3) GHYHORSPHQW(cid:15)(cid:3) VXSSRUW(cid:15)(cid:3) DQG PDLQWHQDQFH(cid:3)DQG(cid:3)RSHUDWLRQ(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH GDWD(cid:3)FHQWHU(cid:15)(cid:3)ZKHQ(cid:3)LW(cid:3)ZDV(cid:3)XQDEOH(cid:3)WR(cid:3)HVWLPDWH(cid:3)UHOLDEO\(cid:3)WKH(cid:3)FRVWV IRU(cid:3) D(cid:3) SDUWLFXODU(cid:3) FDWHJRU\(cid:15)(cid:3) LW(cid:3) DVVXPHG(cid:3) D(cid:3) FRQVHUYDWLYH(cid:3) (cid:11)KLJKHU(cid:12) FRVW(cid:3) IRU(cid:3) WKHVH(cid:3) FDWHJRULHV(cid:17)(cid:3) (cid:3) ,Q(cid:3) WKH(cid:3) FDVH(cid:3) RI(cid:3) WZR(cid:3) RI(cid:3) WKH(cid:3) WKUHH DOWHUQDWLYHV(cid:3)HYDOXDWHG(cid:3)LQ(cid:3)WKH(cid:3)UHSRUW(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DVVXPHG WKDW(cid:3) WKHUH(cid:3) ZDV(cid:3) HVVHQWLDOO\(cid:3) QR(cid:3) GLIIHUHQFH(cid:3) LQ(cid:3) FRVWV(cid:3) IRU(cid:3) ILYH(cid:3) RI WKH(cid:3)WHQ(cid:3)FDWHJRULHV(cid:17)(cid:3)(cid:3)7KLV(cid:3)DVVXPSWLRQ(cid:3)GLPLQLVKHV(cid:3)WKH(cid:3)XVHIXOQHVV RI(cid:3) WKH(cid:3) FRVW(cid:3) FRPSDULVRQV(cid:3) EHFDXVH(cid:3) LW(cid:3) HOLPLQDWHV(cid:3) IURP FRQVLGHUDWLRQ(cid:3) DQ\(cid:3) UHDO(cid:3) GLIIHUHQFHV(cid:3) EHWZHHQ(cid:3) WKH(cid:3) DOWHUQDWLYHV(cid:17) &RQYHUVHO\(cid:15)(cid:3) WKH(cid:3) UHPDLQLQJ(cid:3) FRVW(cid:3) FRPSDULVRQV(cid:3) WDNH(cid:3) RQ(cid:3) HYHQ JUHDWHU(cid:3)DQG(cid:3)SHUKDSV(cid:3)XQPHULWHG(cid:3)LPSRUWDQFH(cid:17) 7KH(cid:3)GDWD(cid:3)FHQWHU“V(cid:3)UHSRUW(cid:3)DOVR(cid:3)H[FOXGHV(cid:3)D(cid:3)QXPEHU(cid:3)RI(cid:3)UHDO(cid:3)FRVWV(cid:15) XQGHUHVWLPDWLQJ(cid:3)WKH(cid:3)SRWHQWLDO(cid:3)IXOO(cid:3)FRVWV(cid:3)RI(cid:3)DQ(cid:3)DOWHUQDWLYH(cid:17)(cid:3)(cid:3))RU H[DPSOH(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)H[FOXGHV(cid:3)WKH(cid:3)IROORZLQJ(cid:3)FRVWV(cid:3)IURP(cid:3)LWV HYDOXDWLRQ(cid:29) • (cid:7)(cid:21)(cid:24)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)WKH(cid:3)VHFRQG(cid:3)WUDQVLWLRQ(cid:3)RI(cid:3) FRXQWLHV(cid:3) IURP(cid:3) D FRQVRUWLXP(cid:3) RI(cid:3) PXOWLSOH(cid:3) DXWRPDWHG(cid:3) V\VWHPV(cid:3) WR(cid:3) D(cid:3) VLQJOH(cid:15) VWDWHZLGH(cid:3)V\VWHP(cid:3)FXUUHQWO\(cid:3)UHTXLUHG(cid:3)E\(cid:3)IHGHUDO(cid:3)ODZ(cid:17) • (cid:7)(cid:20)(cid:19)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)D(cid:3)+HOS(cid:3)’HVN(cid:17) • (cid:7)(cid:21)(cid:25)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)FKDQJHV(cid:3)WR(cid:3)FRPSXWHU(cid:3)DSSOLFDWLRQV(cid:3)EHFDXVH RI(cid:3)IHGHUDO(cid:3)DQG(cid:3)VWDWH(cid:3)ZHOIDUH(cid:3)UHIRUP(cid:3)OHJLVODWLRQ(cid:17) • (cid:7)(cid:21)(cid:23)(cid:3)PLOOLRQ(cid:3)GXH(cid:3)WR(cid:3)DQ(cid:3)HUURU(cid:3)LQ(cid:3)FDOFXODWLQJ(cid:3)FRVWV(cid:3)ZKLFK(cid:3)WKH GDWD(cid:3) FHQWHU(cid:3) LGHQWLILHG(cid:3) DIWHU(cid:3) WKH(cid:3) 6$&66(cid:3) $OWHUQDWLYH(cid:3) 5HSRUW ZDV(cid:3)LVVXHG(cid:17) (cid:27)(cid:19) • 8QNQRZQ(cid:3)FRVWV(cid:3)IRU(cid:3)PRGLI\LQJ(cid:3) D(cid:3) FRPSXWHU(cid:3)V\VWHP(cid:3)MXGJHG LQFRPSOHWH(cid:3)E\(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:17)(cid:3)(cid:3),Q(cid:3)LWV(cid:3)HYDOXDWLRQ(cid:3)RI(cid:3)HDFK DOWHUQDWLYH(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)XVHG(cid:3)D(cid:3)SOXV(cid:3)(cid:11)§(cid:14)¤(cid:12)(cid:3)VLJQ(cid:3)WR(cid:3)LQGLFDWH WKH(cid:3)DOWHUQDWLYH(cid:3)V\VWHP(cid:3)PHW(cid:3)D(cid:3)VSHFLILF(cid:3)HYDOXDWLRQ(cid:3)FULWHULRQ(cid:15) D(cid:3)PLQXV(cid:3)(cid:11)§(cid:16)§(cid:12)(cid:3)VLJQ(cid:3)WR(cid:3)LQGLFDWH(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:15)(cid:3)DQG(cid:3)D(cid:3)GRW(cid:3)(cid:11)§ ¤(cid:12)(cid:3)VLJQ l WR(cid:3)LQGLFDWH(cid:3)WKH(cid:3)DOWHUQDWLYH(cid:3)SDUWLDOO\(cid:3)PHW(cid:3)WKH(cid:3)FULWHULRQ(cid:3)RU(cid:3)WKH GDWD(cid:3)FHQWHU(cid:3)GLG(cid:3)QRW(cid:3)NQRZ(cid:3)ZKHWKHU(cid:3)LW(cid:3)PHW(cid:3)WKH(cid:3)FULWHULRQ(cid:17)(cid:3)(cid:3)7R FRPSDUH(cid:3) FRPSDUDEOH(cid:3) V\VWHPV(cid:15)(cid:3) WKH(cid:3) UHSRUW(cid:3) QHHGHG(cid:3) WR(cid:3) DGG WR(cid:3) WKH(cid:3) FRVW(cid:3) RI(cid:3) WKDW(cid:3) DOWHUQDWLYH(cid:3) WKH(cid:3) H[SHQVH(cid:3) LQYROYHG(cid:3) LQ EULQJLQJ(cid:3)D(cid:3)§(cid:16)¤(cid:3)UDWLQJ(cid:3)WR(cid:3)D(cid:3)§(cid:14)¤(cid:3)UDWLQJ(cid:17)(cid:3)(cid:3)7KH(cid:3)UHSRUW(cid:3)GLG(cid:3)QRW LQFOXGH(cid:3)WKHVH(cid:3)FRVWV(cid:17) $V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)SUHVHQWV(cid:3)DQ(cid:3)LQFRPSOHWH(cid:3)SLFWXUH(cid:3)RI WKH(cid:3)HIIRUW(cid:3)LQYROYHG(cid:3)LQ(cid:3)WUDQVLWLRQLQJ(cid:3)FRXQWLHV(cid:3)WR(cid:3)DQ(cid:3)LQWHULP V\VWHP(cid:17) (cid:27)(cid:20) %ODQN(cid:3)SDJH(cid:3)LQVHUWHG(cid:3)IRU(cid:3)UHSURGXFWLRQ(cid:3)SXUSRVHV(cid:3)RQO\(cid:17) (cid:27)(cid:21) Appendix B &KURQRORJ\(cid:3)RI(cid:3)WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG &KLOG(cid:3)6XSSRUW(cid:3)6\VWHP(cid:3)3URMHFW 7LPH (YHQW ’HVFULSWLRQ $XWRPDWLRQ(cid:3)RI(cid:3)WKH(cid:3)&KLOG(cid:3)6XSSRUW(cid:3)(QIRUFHPHQW(cid:3)3URJUDP (cid:20)(cid:28)(cid:27)(cid:24)(cid:16)(cid:27)(cid:25) 7KH(cid:3)6WDWH“V(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV 7KH(cid:3)SXUSRVH(cid:3)RI(cid:3)WKH(cid:3)FRPPLWWHH(cid:3)ZDV(cid:3)WR (cid:11)6RFLDO(cid:3)6HUYLFHV(cid:12)(cid:3)DQG(cid:3)&DOLIRUQLD(cid:3)’LVWULFW RYHUVHH(cid:3)GHYHORSPHQW(cid:3)RI(cid:3)DXWRPDWLRQ(cid:3)IRU(cid:3)WKH $WWRUQH\V“(cid:3)$VVRFLDWLRQ(cid:3)(cid:11)DVVRFLDWLRQ(cid:12)(cid:3)DORQJ 6WDWH“V(cid:3)FKLOG(cid:3)VXSSRUW(cid:3)HQIRUFHPHQW(cid:3)(cid:11)&6((cid:12) ZLWK(cid:3)RWKHU(cid:3)RUJDQL]DWLRQV(cid:3)IRUPHG(cid:3)D(cid:3)MRLQW SURJUDP(cid:17) FRPPLWWHH(cid:17) -DQXDU\(cid:3)(cid:20)(cid:28)(cid:27)(cid:27) 7KH(cid:3)8QLWHG(cid:3)6WDWHV(cid:3)&RQJUHVV(cid:3)SDVVHG(cid:3)WKH 7KH(cid:3)DFW(cid:3)PDQGDWHG(cid:3)IXOO\(cid:3)RSHUDWLRQDO(cid:15) )DPLO\(cid:3)6XSSRUW(cid:3)$FW(cid:3)RI(cid:3)(cid:20)(cid:28)(cid:27)(cid:27)(cid:3)(cid:11)DFW(cid:12)(cid:17) DXWRPDWHG(cid:15)(cid:3)VLQJOH(cid:15)(cid:3)VWDWHZLGH(cid:3)&6((cid:3)V\VWHPV LQ(cid:3)HDFK(cid:3)VWDWH(cid:3)E\(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:30)(cid:3)LW(cid:3)JDYH (cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)WR(cid:3)WKH(cid:3)VWDWHV(cid:3)IRU GHVLJQLQJ(cid:15)(cid:3)GHYHORSLQJ(cid:15)(cid:3)DQG(cid:3)LPSOHPHQWLQJ WKH(cid:3)V\VWHPV(cid:17) -XO\(cid:3)(cid:20)(cid:28)(cid:27)(cid:27) 7KH(cid:3)DVVRFLDWLRQ(cid:3)HQGRUVHG(cid:3)D(cid:3)VWDWHZLGH ,Q(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:27)(cid:28)(cid:15)(cid:3)WKH(cid:3)DVVRFLDWLRQ(cid:3)VLJQHG(cid:3)D DXWRPDWLRQ(cid:3)SODQ(cid:17) UHVROXWLRQ(cid:3)WR(cid:3)DXWRPDWH(cid:3)WKH(cid:3)6WDWH“V(cid:3)&6( SURJUDP(cid:3)ZLWK(cid:3)D(cid:3)VLQJOH(cid:15)(cid:3)VWDWHZLGH(cid:3)V\VWHP(cid:17) 7KH(cid:3)3URMHFW(cid:3)3ODQQLQJ(cid:3)3KDVH -XQH(cid:3)(cid:20)(cid:28)(cid:27)(cid:28) 6RFLDO(cid:3)6HUYLFHV(cid:3)VXEPLWWHG(cid:3)WKH(cid:3)LQLWLDO 7KH(cid:3)$3’(cid:3)HVWLPDWHG(cid:3)SURMHFW(cid:3)FRVWV(cid:3)DW $GYDQFH(cid:3)3ODQQLQJ(cid:3)’RFXPHQW(cid:3)(cid:11)$3’(cid:12)(cid:3)IRU (cid:7)(cid:25)(cid:28)(cid:15)(cid:23)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:30)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW WKH(cid:3)6WDWHZLGH(cid:3)$XWRPDWHG(cid:3)&KLOG(cid:3)6XSSRUW GLVDSSURYHG(cid:3)WKH(cid:3)$3’(cid:17)(cid:3)(cid:3)6RFLDO(cid:3)6HUYLFHV 6\VWHP(cid:3)(cid:11)6$&66(cid:12)(cid:17) VXEPLWWHG(cid:3)DQ(cid:3)XSGDWHG(cid:3)$3’(cid:15)(cid:3)ZKLFK(cid:3)WKH IHGHUDO(cid:3)JRYHUQPHQW(cid:3)DSSURYHG(cid:3)LQ 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:27)(cid:28)(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:19) 6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)LQ(cid:3)FRQMXQFWLRQ(cid:3)ZLWK(cid:3)WKH 7KH(cid:3)UHSRUW(cid:3)DQG(cid:3)QHZ(cid:3)$3’(cid:3)HVWLPDWHG(cid:3)WRWDO SODQQLQJ(cid:3)FRQWUDFWRU(cid:3)(cid:11)’HORLWWH(cid:3)(cid:9)(cid:3)7RXFKH(cid:12)(cid:15) SURMHFW(cid:3)FRVWV(cid:3)DW(cid:3)(cid:7)(cid:28)(cid:28)(cid:15)(cid:20)(cid:27)(cid:22)(cid:15)(cid:22)(cid:25)(cid:20)(cid:15)(cid:3)H[FOXGLQJ SUHSDUHG(cid:3)D(cid:3))HDVLELOLW\(cid:3)6WXG\(cid:3)5HSRUW(cid:3)DQG(cid:3)D SODQQLQJ(cid:3)FRVWV(cid:30)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW ’HVLJQ(cid:18),PSOHPHQWDWLRQ(cid:3)$3’(cid:17) DSSURYHG(cid:3)WKH(cid:3)$3’(cid:3)LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:19)(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:19) 7KH(cid:3)JRYHUQRU(cid:3)DSSURYHG(cid:3)6HQDWH(cid:3)%LOO(cid:3)(cid:21)(cid:26)(cid:20)(cid:27)(cid:17) &DOLIRUQLD(cid:3)ODZ(cid:3)UHTXLUHG(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)WR GHYHORS(cid:3)6$&66(cid:3)E\(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)ZLWK FRQQHFWLRQV(cid:3)WR(cid:3)/RV(cid:3)$QJHOHV(cid:3)&RXQW\“V(cid:3)&6( V\VWHP(cid:17) (cid:27)(cid:22) 7LPH (YHQW ’HVFULSWLRQ 7KH(cid:3)3URMHFW(cid:3)’HVLJQ(cid:3)3KDVH 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:20) 7KH(cid:3)6WDWH(cid:3)SXEOLVKHG(cid:3)D(cid:3)UHTXHVW(cid:3)IRU(cid:3)SURSRVDOV 7KH(cid:3)6WDWH(cid:3)UHFHLYHG(cid:3)FRPSOHWH(cid:3)SURSRVDOV IRU(cid:3)LPSOHPHQWDWLRQ(cid:3)RI(cid:3)6$&66(cid:17) IURP(cid:3)IRXU(cid:3)YHQGRUV(cid:3)LQ(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:17)(cid:3)(cid:3)$IWHU HYDOXDWLQJ(cid:3)WKH(cid:3)SURSRVDOV(cid:15)(cid:3)6RFLDO(cid:3)6HUYLFHV LVVXHG(cid:3)LWV(cid:3)LQWHQW(cid:3)WR(cid:3)DZDUG(cid:3)WKH(cid:3)FRQWUDFW(cid:3)WR /RFNKHHG(cid:3)0DUWLQ(cid:3),QIRUPDWLRQ(cid:3)0DQDJHPHQW 6\VWHPV(cid:3)(cid:11)/RFNKHHG(cid:12)(cid:15)(cid:3)D(cid:3)GHFLVLRQ(cid:3)WKDW(cid:3)RQH(cid:3)RI WKH(cid:3)RWKHU(cid:3)YHQGRUV(cid:3)SURWHVWHG(cid:17)(cid:3)(cid:3)7KH(cid:3)SURWHVW ZDV(cid:3)UHVROYHG(cid:3)LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:17) -DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:21) 6RFLDO(cid:3)6HUYLFHV(cid:3)UHTXHVWHG(cid:3)D(cid:3)IHGHUDO(cid:3)ZDLYHU 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)DSSURYHG(cid:3)WKH WR(cid:3)H[FOXGH(cid:3)/RV(cid:3)$QJHOHV(cid:3)IURP(cid:3)LWV(cid:3)VWDWHZLGH UHTXHVW(cid:3)ZLWK(cid:3)D(cid:3)FRQGLWLRQ(cid:3)UHTXLULQJ(cid:3)WKH V\VWHP(cid:17) 6WDWH(cid:3)WR(cid:3)GHYHORS(cid:3)D(cid:3)V\VWHP(cid:3)WKDW(cid:3)KDV FRPSXWHU(cid:3)FRQQHFWLRQV(cid:3)WR(cid:3)/RV(cid:3)$QJHOHV“ V\VWHP(cid:17) 7KH(cid:3)3URMHFW(cid:3),PSOHPHQWDWLRQ(cid:3)3KDVH ’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:21) 6RFLDO(cid:3)6HUYLFHV(cid:3)H[HFXWHG(cid:3)LWV(cid:3)(cid:7)(cid:26)(cid:24)(cid:15)(cid:24)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19) 7KH(cid:3)FRQWUDFW(cid:3)FRYHUHG(cid:3)WKH(cid:3)V\VWHP“V FRQWUDFW(cid:3)ZLWK(cid:3)/RFNKHHG(cid:17) GHYHORSPHQW(cid:15)(cid:3)HTXLSPHQW(cid:15)(cid:3)LQVWDOODWLRQ(cid:15) WUDLQLQJ(cid:15)(cid:3)IHGHUDO(cid:3)FHUWLILFDWLRQ(cid:15)(cid:3)DQG(cid:3)RQJRLQJ PDLQWHQDQFH(cid:3)WKURXJK(cid:3))HEUXDU\(cid:3)(cid:21)(cid:19)(cid:19)(cid:19)(cid:17) 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:22) /RFNKHHG(cid:3)FRPSOHWHG(cid:3)YHULILFDWLRQ(cid:3)RI(cid:3)WKH /RFNKHHG(cid:3)EHJDQ(cid:3)WKH(cid:3)QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WKH 1HZ(cid:3)(QJODQG(cid:3)&6((cid:3)V\VWHP(cid:15)(cid:3)ZKLFK SURMHFWƒJHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17) /RFNKHHG(cid:3)SODQQHG(cid:3)WR(cid:3)WUDQVIHU(cid:3)WR(cid:3)&DOLIRUQLD(cid:17) -XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22) 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)SXEOLVKHG(cid:3)ILQDO 7LWOHG(cid:3)§$XWRPDWHG(cid:3)6\VWHPV(cid:3)IRU(cid:3)&KLOG UHTXLUHPHQWV(cid:3)IRU(cid:3)FHUWLILFDWLRQ(cid:3)RI(cid:3)DXWRPDWHG 6XSSRUW(cid:3)(QIRUFHPHQW(cid:29)(cid:3)(cid:3)$(cid:3)*XLGH(cid:3)IRU(cid:3)6WDWHV(cid:15)¤ &6((cid:3)V\VWHPV(cid:17) WKH(cid:3)GRFXPHQW(cid:3)LQFOXGHV(cid:3)(cid:21)(cid:25)(cid:28)(cid:3)UHTXLUHPHQWV(cid:17) $XJXVW(cid:3)(cid:20)(cid:28)(cid:28)(cid:22) 7KH(cid:3)6WDWH“V(cid:3)TXDOLW\(cid:3)DVVXUDQFH(cid:3)(cid:11)4$(cid:12) 7KH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)WKDW(cid:3)/RFNKHHG FRQWUDFWRU(cid:3)UDLVHG(cid:3)FRQFHUQV(cid:3)UHJDUGLQJ(cid:3)WKH VWDII(cid:3)GLG(cid:3)QRW(cid:3)XQGHUVWDQG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)IRU JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17) GHFHQWUDOL]HG(cid:3)GDWD(cid:3)DQG(cid:3)KDG(cid:3)QRW(cid:3)WDNHQ(cid:3)DQ\ FRUUHFWLYH(cid:3)DFWLRQV(cid:3)WR(cid:3)UHVROYH(cid:3)LVVXHV UHJDUGLQJ(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17) 1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22) /RFNKHHG(cid:3)GHOLYHUHG(cid:3)WKH(cid:3)JHQHUDO(cid:3)V\VWHP 6RFLDO(cid:3)6HUYLFHV(cid:3)FRQGLWLRQDOO\(cid:3)DSSURYHG(cid:3)WKH GHVLJQ(cid:17) JHQHUDO(cid:3)V\VWHP(cid:3)GHVLJQ(cid:3)DQG(cid:3)WKHQ(cid:3)SDLG /RFNKHHG(cid:3)(cid:7)(cid:20)(cid:17)(cid:21)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:30) KRZHYHU(cid:15)(cid:3)/RFNKHHG(cid:3)KDG(cid:3)QRW(cid:3)FRPSOHWHG WKLV(cid:3)GHVLJQ(cid:3)DV(cid:3)UHTXLUHG(cid:3)LQ(cid:3)WKH(cid:3)FRQWUDFW(cid:17) /RFNKHHG(cid:3)EHJDQ(cid:3)ZRUNLQJ(cid:3)RQ(cid:3)WKH(cid:3)QH[W SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFWƒWKH(cid:3)GHWDLOHG(cid:3)V\VWHP GHVLJQ(cid:17) (cid:27)(cid:23) 7LPH (YHQW ’HVFULSWLRQ 2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23) /RFNKHHG(cid:3)GHOLYHUHG(cid:3)WKH(cid:3)GHWDLOHG(cid:3)V\VWHP 6RFLDO(cid:3)6HUYLFHV(cid:3)SDLG(cid:3)/RFNKHHG GHVLJQ(cid:17) (cid:7)(cid:20)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)ZKHQ /RFNKHHG(cid:3)SURPLVHG(cid:3)WR(cid:3)IL[(cid:3)GHILFLHQFLHV(cid:3)LQ WKH(cid:3)GHWDLOHG(cid:3)V\VWHP(cid:3)GHVLJQ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15) WKH(cid:3)6WDWH(cid:3)GLG(cid:3)QRW(cid:3)DSSURYH(cid:3)WKLV(cid:3)GHVLJQ XQWLO(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:17) 2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:23) /RFNKHHG(cid:3)EHJDQ(cid:3)WHVWLQJ(cid:3)6$&66(cid:17) /RFNKHHG(cid:3)QRWLILHG(cid:3)WKH(cid:3)6WDWH(cid:3)WKDW(cid:3)6$&66 ZDV(cid:3)UHDG\(cid:3)DQG(cid:3)DYDLODEOH(cid:3)IRU(cid:3)XVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)LQ(cid:3)0DUFK(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3),Q 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)4$(cid:3)FRQWUDFWRU(cid:3)UHSRUWHG WKDW(cid:3)V\VWHP(cid:3)WHVWLQJ(cid:3)FRXOG(cid:3)QRW(cid:3)EH(cid:3)HYDOXDWHG DQG(cid:3)WKDW(cid:3)WKH(cid:3)V\VWHP(cid:3)ZDV(cid:3)QRW(cid:3)UHDG\(cid:3)IRU(cid:3)WKH QH[W(cid:3)SKDVH(cid:3)RI(cid:3)WKH(cid:3)SURMHFWƒXVHU DFFHSWDQFH(cid:3)WHVWLQJ(cid:17) $SULO(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) 7KH(cid:3)6WDWH(cid:3)EHJDQ(cid:3)XVHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)RI 8VHU(cid:3)DFFHSWDQFH(cid:3)WHVWLQJ(cid:3)ZDV(cid:3)FRPSOHWHG(cid:3)LQ 6$&66(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:30)(cid:3)KRZHYHU(cid:15)(cid:3)WKH(cid:3)4$ FRQWUDFWRU(cid:3)UHSRUWHG(cid:3)LQ(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:3)WKDW WKH(cid:3)WHVWLQJ(cid:3)IDLOHG(cid:17) 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) 7KH(cid:3)SURMHFW(cid:3)UHVSRQVLELOLWLHV(cid:3)WUDQVIHUUHG %HJLQQLQJ(cid:3)LQ(cid:3)0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)VHYHUDO(cid:3)SURMHFW IURP(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)WR(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG VWDII(cid:3)WUDQVIHUUHG(cid:3)IURP(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)WR(cid:3)WKH :HOIDUH(cid:3)$JHQF\(cid:3)’DWD(cid:3)&HQWHU(cid:3)(cid:11)GDWD(cid:3)FHQWHU(cid:12)(cid:17) GDWD(cid:3)FHQWHU(cid:3)ZLWK(cid:3)WKH(cid:3)SURMHFW(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)H[WHQGHG(cid:3)WR ,Q(cid:3)$XJXVW(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW 2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)GHDGOLQH(cid:3)IRU(cid:3)VWDWHV(cid:3)WR DOVR(cid:3)H[WHQGHG(cid:3)WKH(cid:3)IHGHUDO(cid:3)IXQGLQJ(cid:3)DOORZHG LPSOHPHQW(cid:3)VLQJOH(cid:15)(cid:3)VWDWHZLGH(cid:3)V\VWHPV(cid:17) DW(cid:3)WKH(cid:3)(cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)UDWH(cid:3)IRU(cid:3)H[SHQGLWXUHV LGHQWLILHG(cid:3)E\(cid:3)2FWREHU(cid:3)(cid:20)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)DQG(cid:3)VSHQW E\(cid:3)6HSWHPEHU(cid:3)(cid:22)(cid:19)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17) 2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) /RFNKHHG(cid:3)DQG(cid:3)WKH(cid:3)6WDWH(cid:3)EHJDQ %HWZHHQ(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:3)DQG LPSOHPHQWLQJ(cid:3)6$&66(cid:3)LQ(cid:3)WKH(cid:3)FRXQWLHV(cid:17) ’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)6$&66(cid:3)ZDV(cid:3)LQVWDOOHG(cid:3)LQ (cid:21)(cid:22)(cid:3)FRXQWLHV(cid:17) ’HFHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24) 7KH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)DPHQGHG(cid:3)WKH &RQWUDFW(cid:3)FRVWV(cid:3)LQFUHDVHG(cid:3)E\(cid:3)DSSUR[LPDWHO\ FRQWUDFW(cid:3)IRU(cid:3)WKH(cid:3)ODVW(cid:3)WLPH(cid:17) (cid:7)(cid:21)(cid:28)(cid:3)PLOOLRQ(cid:3)WR(cid:3)D(cid:3)WRWDO(cid:3)RI(cid:3)(cid:7)(cid:20)(cid:19)(cid:22)(cid:3)PLOOLRQ(cid:17) -DQXDU\(cid:16)$SULO 6$&66(cid:3)HQWHUHG(cid:3)DQ(cid:3)DVVHVVPHQW(cid:3)SHULRG(cid:3)IRU 7KH(cid:3)SXUSRVH(cid:3)RI(cid:3)WKH(cid:3)WHPSRUDU\(cid:3)VXVSHQVLRQ (cid:20)(cid:28)(cid:28)(cid:25) HYDOXDWLRQ(cid:3)RI(cid:3)DOO(cid:3)SURMHFW(cid:3)DUHDV(cid:17)(cid:3)(cid:3)7KH(cid:3)6WDWH ZDV(cid:3)WR(cid:3)VWDELOL]H(cid:3)WKH(cid:3)VHYHQ(cid:3)FRXQWLHV(cid:3)WKDW WHPSRUDULO\(cid:3)VXVSHQGHG(cid:3)IXUWKHU(cid:3)LQVWDOODWLRQ KDG(cid:3)6$&66(cid:3)LQVWDOOHG(cid:3)E\(cid:3)IL[LQJ(cid:3)H[LVWLQJ RI(cid:3)6$&66(cid:17) SUREOHPV(cid:17) /RFNKHHG(cid:3)GHYHORSHG(cid:3)D(cid:3)FRUUHFWLYH(cid:3)DFWLRQ SODQ(cid:17) 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:25) 7KH(cid:3)6WDWH(cid:3)UHVXPHG(cid:3)LQVWDOODWLRQ(cid:3)RI(cid:3)6$&66(cid:3)LQ WKH(cid:3)FRXQWLHV(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25) )HGHUDO(cid:3)V\VWHP(cid:3)FHUWLILFDWLRQ(cid:3)UHYLHZHUV 7KH(cid:3)IHGHUDO(cid:3)JRYHUQPHQW(cid:3)QRWHG(cid:3)LQ(cid:3)LWV(cid:3)GUDIW HYDOXDWHG(cid:3)6$&66(cid:3)WR(cid:3)GHWHUPLQH(cid:3)LI(cid:3)LW(cid:3)ZRXOG UHSRUW(cid:3)WKDW(cid:3)6$&66(cid:3)GLG(cid:3)QRW(cid:3)PHHW(cid:3)VHYHUDO PHHW(cid:3)DOO(cid:3)IHGHUDO(cid:3)IXQFWLRQDO(cid:3)UHTXLUHPHQWV(cid:17) IXQFWLRQDO(cid:3)UHTXLUHPHQWV(cid:17) (cid:27)(cid:24) 7LPH (YHQW ’HVFULSWLRQ -DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) ,Q(cid:3)D(cid:3)OHWWHU(cid:3)WR(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:15)(cid:3)WKH(cid:3)&DOLIRUQLD 7KH(cid:3)6WDWH(cid:3)DJDLQ(cid:3)VXVSHQGHG(cid:3)IXUWKHU )DPLO\(cid:3)6XSSRUW(cid:3)&RXQFLO(cid:15)(cid:3)RQ(cid:3)WKH(cid:3)FRXQWLHV“ LQVWDOODWLRQ(cid:3)RI(cid:3)6$&66(cid:3)LQ(cid:3)FRXQWLHV(cid:17) EHKDOI(cid:15)(cid:3)H[SUHVVHG(cid:3)GLVVDWLVIDFWLRQ(cid:3)ZLWK 6$&66(cid:17) -DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 7KH(cid:3)6WDWH(cid:3)HQJDJHG(cid:3)/RJLFRQ(cid:3)DV(cid:3)WKH(cid:3)6$&66 /RJLFRQ(cid:3)LVVXHG(cid:3)WZR(cid:3)UHSRUWV(cid:15)(cid:3)RQH(cid:3)LQ SURMHFW“V(cid:3)LQGHSHQGHQW(cid:3)YHULILFDWLRQ(cid:3)DQG )HEUXDU\(cid:3)DQG(cid:3)WKH(cid:3)RWKHU(cid:3)LQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:17)(cid:3)(cid:3)7KH YDOLGDWLRQ(cid:3)FRQWUDFWRU(cid:17) UHSRUWV(cid:3)GRFXPHQWHG(cid:3)D(cid:3)VLJQLILFDQW(cid:3)QXPEHU RI(cid:3)SUREOHPV(cid:3)ZLWK(cid:3)6$&66(cid:3)DQG(cid:3)FRQFOXGHG WKDW(cid:3)WKH(cid:3)SURMHFW(cid:3)KDG(cid:3)D(cid:3)KLJK(cid:3)ULVN(cid:3)RI(cid:3)IDLOLQJ(cid:17) )HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) /RFNKHHG(cid:3)GUDIWHG(cid:3)DQRWKHU(cid:3)FRUUHFWLYH(cid:3)DFWLRQ 7KH(cid:3)6WDWH(cid:3)GLVDSSURYHG(cid:3)WKH(cid:3)SODQ(cid:3)DQG SODQ(cid:17) VWRSSHG(cid:3)SD\LQJ(cid:3)/RFNKHHG(cid:3)IRU(cid:3)LQYRLFHV(cid:17) )HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)LVVXHG(cid:3)D(cid:3)OHWWHU(cid:3)RI(cid:3)FRQFHUQ 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DGYLVHG(cid:3)/RFNKHHG(cid:3)RI(cid:3)WKH DERXW(cid:3)6$&66“V(cid:3)IDLOXUH(cid:3)WR(cid:3)/RFNKHHG(cid:17) §IXQGDPHQWDO(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)6$&66 DSSOLFDWLRQ(cid:3)WR(cid:3)GDWH(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)UHVXOWLQJ LQDELOLW\(cid:3)RI(cid:3)FRXQWLHV(cid:3)WR(cid:3)XVH(cid:3)WKH(cid:3)DXWRPDWHG V\VWHP(cid:3)WR(cid:3)RSHUDWH(cid:3)PDQGDWHG(cid:3)FKLOG(cid:3)VXSSRUW HQIRUFHPHQW(cid:3)DFWLYLWLHV(cid:17)¤ 0D\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 6DQ(cid:3))UDQFLVFR(cid:3)ZDV(cid:3)WKH(cid:3)ILUVW(cid:3)FRXQW\(cid:3)WR %\(cid:3)$XJXVW(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)IRXU(cid:3)RWKHU(cid:3)FRXQWLHV GLVFRQWLQXH(cid:3)XVLQJ(cid:3)6$&66(cid:17) GLVFRQWLQXHG(cid:3)RSHUDWLQJ(cid:3)6$&66(cid:17) $XJXVW(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 7KH(cid:3)6WDWH(cid:3)LVVXHG(cid:3)D(cid:3)§(cid:23)(cid:24)(cid:16)GD\(cid:3)FXUH¤(cid:3)OHWWHU(cid:3)WR 7KH(cid:3)6WDWH(cid:3)JDYH(cid:3)/RFNKHHG(cid:3)(cid:23)(cid:24)(cid:3)GD\V(cid:3)WR /RFNKHHG(cid:17) FRUUHFW(cid:3)DOO(cid:3)GHILFLHQFLHV(cid:3)WKDW(cid:3)FRXOG(cid:3)EH FRUUHFWHG(cid:3)LQ(cid:3)6$&66(cid:3)DQG(cid:3)WR(cid:3)SURYLGH DGHTXDWH(cid:3)DVVXUDQFHV(cid:3)WKDW(cid:3)/RFNKHHG(cid:3)ZRXOG EH(cid:3)DEOH(cid:3)WR(cid:3)FXUH(cid:3)LWV(cid:3)RWKHU(cid:3)EUHDFKHV(cid:3)DQG SHUIRUP(cid:3)LWV(cid:3)IXWXUH(cid:3)REOLJDWLRQV(cid:3)RQ(cid:3)WKH 6$&66(cid:3)SURMHFW(cid:17) 6HSWHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 7KH(cid:3)GDWD(cid:3)FHQWHU(cid:3)FRPSOHWHG(cid:3)LWV(cid:3)6$&66 7KH(cid:3)UHSRUW(cid:3)FRQVLGHUHG(cid:3)WKUHH(cid:3)WHFKQLFDO $OWHUQDWLYH(cid:3)5HSRUW(cid:15)(cid:3)D(cid:3)ILQDO(cid:3)HYDOXDWLRQ(cid:3)RI DOWHUQDWLYHV(cid:29)(cid:3)D(cid:3)VLQJOH(cid:3)V\VWHP(cid:3)RSHUDWHG DOWHUQDWLYH(cid:3)FRPSXWHU(cid:3)V\VWHPV(cid:3)WKDW(cid:3)FRXQWLHV FHQWUDOO\(cid:15)(cid:3)D(cid:3)V\VWHP(cid:3)GLVWULEXWHG(cid:3)WR(cid:3)FRXQWLHV(cid:15) FRXOG(cid:3)XVH(cid:3)LQ(cid:3)WKH(cid:3)HYHQW(cid:3)6$&66(cid:3)IDLOHG(cid:17) DQG(cid:3)PXOWLSOH(cid:3)V\VWHPV(cid:3)RSHUDWHG(cid:3)E\(cid:3)JURXSV (cid:11)FRQVRUWLD(cid:12)(cid:3)RI(cid:3)FRXQWLHV(cid:17) 1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26) 7KH(cid:3)6WDWH(cid:3)DQG(cid:3)/RFNKHHG(cid:3)PXWXDOO\(cid:3)DJUHHG 7KH(cid:3)6WDWH(cid:3)KDG(cid:3)SDLG(cid:3)/RFNKHHG(cid:3)(cid:7)(cid:23)(cid:27)(cid:3)PLOOLRQ WR(cid:3)WHUPLQDWH(cid:3)WKH(cid:3)FRQWUDFW(cid:17) WR(cid:3)GDWH(cid:3)DQG(cid:3)LQFXUUHG(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:22)(cid:3)PLOOLRQ(cid:3)LQ NQRZQ(cid:3)6$&66(cid:3)FRVWV(cid:17) (cid:27)(cid:25) Agency(cid:146)s response to the report provided as text only: STATE OF CALIFORNIA Department of Aging HEALTH AND WELFARE AGENCY Department of Alcohol and Drug Programs Department of Community Services and Office of the Secretary Development 1600 Ninth Street, Room´ 460 Department of Developmental Services Emergency Medical Services Authority Sacramento, CA 95814 Employment Development Department Telephone (916) 654-3454 FAX (916) 654-3343 Department of Health Services Health and Welfare Data Center Managed Risk Medical Insurance Board March 11, 1998 Department of Mental Health Department of Rehabilitation Department of Social Services Mr. Kurt R. Sjoberg Office of Statewide Health Planning and Development California State Auditor Bureau of State Audits 660 J Street, Suite 300 Sacramento, California 95814 Dear Mr. Sjoberg: The Health and Welfare Agency has reviewed the Bureau of State Audits' draft report entitled, "Lockheed Martin Information Management Systems Failed To Deliver and the State Poorly Managed the Statewide Automated Child Support System" (SACSS). The Agency's response to the audit report is attached. We appreciate the thorough and professional efforts of the audit staff in reviewing the SACSS project as well as the constructive recommendations provided. In general, the State agrees with the recommendations of the Auditor. As described in our response, the State has already implemented many changes and improvements in the way it manages large application development projects, many of which are the result of the State's experience with SACSS. All of these improvements are aimed at reducing the risks associated with such projects and increasing their chances for success. If you have any questions regarding our response to the report, please feel free to contact us at (916) 654-3454. Sincerely, Thomas McCaffery For SANDRA R. SMOLEY, R.N. Secretary Enclosure 87 STATE’S RESPONSE TO THE STATE AUDITOR’S REPORT ON THE STATEWIDE AUTOMATED CHILD SUPPORT SYSTEM (SACSS) Introduction The problems with the SACSS project never went unrecognized and were never ignored, and the State has protected its interests throughout the project. The State’s termination of the SACSS project in November 1997 was the culmination of a long effort to salvage the project. For example, in January 1996 the State suspended the installation of SACSS for five months to address system defects experienced during the initial, small county implementation. Again in January 1997, the State suspended installation after Lockheed Martin IMS (Lockheed) failed to bring the system up in a large county as required by the contract. In February 1997, the State gave Lockheed notice of breach and stopped making contract payments for its services. Over the next few months, the State requested and reviewed Lockheed’s proposals to correct the system problems. In August 1997, the State formally asked Lockheed to provide assurances of its ability to meet its obligations. Finally, in November 1997, after concluding that Lockheed’s assurances were not adequate, the State terminated the project altogether. The State reached this decision only after lengthy negotiations with Lockheed, and after discussions and consultations with the counties, the Independent Verification and Validation (IV&V) vendor, the federal government, the Legislature, and others. The State’s efforts, however, were directed toward finding a solution that would meet the needs of all the stakeholders. The State reserved all rights in the termination process and is currently seeking compensation from Lockheed for all existing and future damages. Ensuring Future Success The State believes that an understanding of the history of SACSS is critical to the success of the State’s automation efforts in the future. Among the most important factors affecting SACSS were the following: • The SACSS vendor did not deliver the system it agreed to deliver. In the future, vendors and the staff they propose to use must be selected on the basis of a demonstrated and relevant history of successful contract performance. • The SACSS vendor assured the State that it could and would fix known defects in the SACSS software and in the system and, on that basis, moved forward to additional stages of the project. When faced with tough choices, state managers should not have to trust in the capability and willingness of a vendor to fix problems. Instead, they must be able to assess performance on the basis of measurable standards and have the authority to use those measurements to make and enforce decisions. • The SACSS project proceeded under the threat of the imposition of onerous penalties if federal certification deadlines were not met. The federal government must begin to recognize that inflexible and disproportionately severe penalty provisions can 88 significantly complicate decision-making when managers encounter serious vendor deficiencies. • The State’s procurement and contracting practices at the inception of the SACSS project were quite different than they are today. Procurement and contracting practices must protect the State’s rights and interests through the use of pre-qualifications of competing vendors; the inclusion of strong, clear contractual protections; and the use of specific and enforceable measurements of progress. • The State did not fully appreciate the importance of investing up front in project management infrastructure. The management environment in automation projects must be made flexible and adaptable by including essential project management tools and infrastructure throughout the life of the project. Since the termination of SACSS, the State has been working closely with the counties, the federal government, legislative staff, advocacy groups, and state control agencies to finalize a new plan to implement a successful child support automation system in California. The State believes this process demonstrates it has learned from its experience with SACSS, and this knowledge is shaping the way the State plans for the future. For example, the State’s plan for automating child support calls for the following: • Employing an alternative procurement process. • Writing contracts that expressly impose on the vendor the risks associated with the vendor’s failure to perform. • Dividing the project into more manageable phases. • Requiring rigorous pre-implementation testing of new or modified software applications. • Implementing full-time contract and document management functions. • Contracting for IV&V technical and programmatic consultants to review products as well as vendor system engineering through the life of the project. Based on the experience of SACSS and the input of many parties, the State is finalizing a plan that includes these elements to automate child support enforcement in California. This plan will meet the short-term business needs of the counties within existing constraints, and will result in a statewide system that will be certifiable by the federal government as well as acceptable to the county district attorneys, who are responsible for delivering child support services in California. Why SACSS Failed The State is committed to identifying the lessons to be learned from the project’s failure, and to avoiding a repetition of the failure in similar settings in the future. The following discussion summarizes the lessons to be learned. 89 Lockheed Failed to Deliver on its Promises The fundamental cause of the failure of the SACSS project was Lockheed’s inability to create and deliver the automated data processing system it agreed to deliver under its contract with the State. Lesson: The State, in negotiating future software design contracts, must ensure that it selects vendors with well-qualified personnel and a demonstrated history of successful contract performance, and that, at every step of the project, the State requires vendor compliance with contract specifications. The State is including in its future plans for child support automation all of the elements intended to ensure vendor compliance with contract obligations. Misplaced Faith in the Contractor At several stages in the SACSS project, the State accepted Lockheed’s representations that the vendor could and would fix known defects in the software and in the system. On that basis, the State moved forward to successive stages of the project. Some flexibility in contract administration is normal and desirable. In this case, however, the State’s desire to keep the project on schedule contributed to the State’s inclination to trust Lockheed’s assurances that it would deliver on its promises. Had the State understood earlier that the known software defects were symptomatic of fundamental flaws in the basic software application and, ultimately, that Lockheed would not be able to fix them, decisions at critical junctures would have been different and might have lead to an earlier decision to terminate the contract. Lesson: Instead of depending upon contractors’ assurances that they can and will perform, the State must institute processes for better qualifying responsible contractors during procurement. In addition, the State must write contracts that have clearly defined deliverables, adequate protections for the State, and performance-based measurements of success. Further, the State must institute project management processes, including standardized reporting systems. Finally, the State must require continuous independent validations of the work products and plans of its contractors. Federal Incentives and Penalties From the outset, the SACSS project was a response to Congress’s requirement in the Family Support Act of 1988 that all states implement statewide automated child support enforcement programs as a condition of qualifying for billions of dollars of federal aid for child support and welfare programs. Experience in California and elsewhere has demonstrated that the federally imposed certification deadlines - initially October 1, 1995, and later October 1, 1997, - were ambitious, particularly for large states with diverse service delivery models. Many management decisions in the course of the SACSS project were driven by a desire, in the face of deficient vendor performance, to keep the project on schedule and continue to qualify for federal funding. Lesson: The federal requirements, deadlines, and penalties for statewide automated child support enforcement systems may or may not be necessary to ensure that states meet the goals of Congress. But, if they are imposed, then other aspects or characteristics of such projects must counterbalance the effect of these constraints so that decision- 90 making entails a minimum level of risk. For example, projects should be divided into smaller and more manageable phases and components, so no single decision necessarily impacts the future course of the entire project. (The risk in this approach is that project phases will not necessarily coincide with standard state budget cycle processes.) Federal requirements should not drive decision-making if the effort to meet the requirements comes into competition with the goal of delivering a quality product. The State must establish the relative priority of conflicting goals, such as meeting federal requirements versus delivering a quality product. A Different Procurement and Contracting Environment in the Early 1990s The procurement and contracting practices in the late 1980s and early 1990s were quite different than they are today. Ten years ago, Requests for Proposal (RFP) and vendor contracts were generally standardized, often using inflexible “boilerplate” language that may or may not have been appropriate to the needs of large application development projects. Decisions to select a particular vendor were often based on the merits of imprecise marketing proposals and a bid price. Both procurements and contracts have traditionally tended to encompass all or most aspects of automation projects - including design, development, implementation, and, in some cases, even maintenance and operation - no matter how large and complex the project. Most importantly, it should be recognized that, since traditional procurements in California take one to two years, the negative financial and political consequences of contract termination are often much greater for the State than for the vendor. Such procurement and contracting factors can result in situations that require difficult “all-or-nothing” decisions, with only uncertain protections for the State and imprecise standards against which to evaluate options. The State believes such factors seriously limited the ability of state managers on the SACSS project to make appropriate decisions and to motivate the vendor to produce a quality product. Lesson: The State generally agrees with the Auditor’s recommendations in the areas of procurement and contracting. Already, in response to the Department of Information Technology’s (DOIT) and the Department of General Services’ (DGS) reforms, the State recognizes that vendor promises are not an acceptable substitute for demonstrated capability and specific performance-based measurements of progress. Similarly, contracts are starting to include strong protections of the State’s rights and interests, specific identification of deliverables, and performance-based measurements of progress. As the Auditor recommends, vendor compensation will be linked to the success of project phases (or the project overall) instead of poorly defined deliverables. Inadequate Investment in Project Management Infrastructure The failure of the SACSS project may have been less costly if the State had recognized the importance of investing up front in project infrastructure elements that are now beginning to be recognized as essential. These include elements such as the early, continuous and comprehensive involvement of IV&V contractors; full-time contract managers (as distinguished from project 91 managers) and document librarians; annual third party audits of projects; and automated budgeting and accounting systems. In the difficult budget environment of the early 1990s, when California was deep in a recession, such investments were viewed as non-essential relative to other, more urgent, priorities of the public. Lesson: Appropriate management tools must be available so that important decisions may be consistently made well. Such project management infrastructure is initially expensive, but it should routinely be included in all project plans and budgets. As the State plans for the future of child support enforcement automation, all of the project management infrastructure elements believed essential for sound decision-making and the ultimate success of the project will be included. The State considers the investment in project infrastructure to be an essential insurance policy against many of the problems that led to the termination of the SACSS project. The State’s Summary of Responses to Key Recommendations The State is committed to fully understanding and learning from the failure of the SACSS project. A detailed response to the Auditor’s recommendations is included later in this response. The following points summarize the State’s responses to the Auditor’s key recommendations: • The State supports the creation of a child support automation advisory council, including representation from the county district attorneys, rather than a governance council led by representatives of the district attorneys charged with responsibility for the automation effort. The State is ultimately accountable for the delivery of child support enforcement automation under federal regulations, and no subset of California’s 58 district attorneys could truly represent the interests of all the district attorneys. • The State supports efforts to change federal laws relating to child support automation and, in concert with the counties, has been actively working with congressional staff to propose legislation to reduce federal penalties and increase planning flexibility. The State also agrees that the State Legislature should actively support these efforts. • The Health and Welfare Agency (Agency) agrees that high-level sponsorship of child support enforcement and other major automation efforts is critical. The Agency and DOIT have been actively involved in planning for the future of child support automation. In addition, the Agency and its departments are assessing the best options to ensure that the counties meet their responsibilities and fully contribute to the success of the child support automation effort. • As discussed later in this response, the Health and Welfare Agency Data Center (Data Center) and the Department of Social Services (Social Services) have already introduced many changes in their policies and procedures to ensure that effective contract management and financial controls are in place. • The State is confident that the ongoing management of the child support automation effort, as well as of the other major automation efforts in the Agency, has taken into account all of the lessons of SACSS. The State’s overall response to the Auditor’s report specifies the numerous policies, processes, and management tools and techniques the State is employing in its effort to automate child support enforcement in California. 92 THE STATE’S RESPONSE TO CHAPTER 1 Lockheed Martin Information Management Systems failed to deliver on its promises for the Statewide Automated Child Support System The State agrees Lockheed materially breached its contract. Among Lockheed’s breaches were the following: • Lockheed missed significant contract milestones, including large county implementation. • Lockheed’s SACSS application was defective: (cid:132) The system’s financial accounts were not accurate; the system generated inaccurate billings and inaccurately accounted for and allocated receipts. (cid:132) The system generated inaccurate and unauditable summary reports in both the financial and case management areas. (cid:132) The system produced forms inaccurately, if at all. (cid:132) The system data was unstable and inaccurate; the system improperly transferred data from case to case, randomly and unpredictably. • Lockheed failed to design a system that would perform at speeds consistent with contract requirements or that could perform in counties with large caseloads and multiple system users. • Lockheed’s SACSS user interface was complex, non-intuitive, illogical, and inconsistent from screen to screen. • Lockheed failed to provide adequately functioning case management and system tools. • Lockheed failed to maintain adequate source code documentation, making defect repair and system maintenance impossible. All of these factors led the State ultimately to conclude that it had no choice other than contract termination. 93 THE STATE’S RESPONSE TO CHAPTER 2 The State did not heed the warning signs Finding: Figure 2.1 - The State’s inadequate action on early warning signs...Cost taxpayers millions of dollars The State responded to warning signs through all stages of the project. Project management worked to develop the best course of action in light of the serious deficiencies with the product and Lockheed’s assurances that the deficiencies would be resolved and the approaching federal deadline. The State believed Lockheed when it said that it had the technical and managerial resources to deliver a quality system. The implication of the audit finding is that the State should have dealt more aggressively with the vendor or terminated the contract at an earlier stage. In retrospect, this may be true. The State was attempting to make a complicated project work while under the threat of serious federal penalties. Finding: Social Services and the Data Center did not resolve staffing concerns The State agrees that staffing concerns were not always resolved. However, Social Services and the Data Center recognized the problems related to Lockheed’s staff skills and experience and the high turnover rate. Both Social Services and the Data Center raised staffing concerns with Lockheed and in some instances successfully induced Lockheed to make staffing changes. Soon after contract award, state managers met with Lockheed to express their concern regarding the experience of the technical and management staff Lockheed proposed. Lockheed replied that its staff exceeded the requirements set by the State in the RFP. On several occasions thereafter, the State’s project managers raised staffing concerns with Lockheed, especially the high staff turnover, the management team qualifications and technical staff experience. On two occasions, Lockheed agreed and replaced project managers at the State’s request. Finding: Social Services proceeded with the project without resolving significant deficiencies reported during design phase The State acknowledges there were deficiencies in the design phase. Although the State recognized the problems and raised concerns with Lockheed about the deficiencies, the State received Lockheed’s assurances that they could and would fix the problems. 94 Finding: Social Services proceeded with the project despite problems with system testing When the initial system test identified problems, Lockheed attempted to modify the software to correct them. After integration re-testing, Lockheed reported that the problems had been corrected, leading the State to believe that the software quality was better than the original system test results had indicated. Rather than repeat the lengthy system test process, project management required Lockheed to perform a requirements verification in parallel with the first phase of User Acceptance Testing (UAT). Management accepted Lockheed’s position that it could correct remaining system defects during pilot county conversion. Finding: SACSS failed User Acceptance Testing Project management determined that proceeding with the first phase of UAT would be acceptable provided Lockheed continued to correct problems identified during system testing and performed requirements validation testing. While SACSS failed the formal criteria for passing UAT, the State decided to proceed to test the application in pilot counties for a number of reasons. • The State felt it was imperative to test SACSS under realistic performance conditions, which required installing the application in a pilot county. Testing through UAT uses simulated case data, which lacks the complex interrelations of production data and cannot expose every application error. • The State believed the defects identified in the UAT would not prevent operational testing. • The State wanted to install the system in pilot counties before October 1, 1995, to try to avoid a loss of enhanced federal funding for the SACSS project. When SACSS was tested in a live environment in the six pilot counties, a number of the system’s application defects became apparent. In January 1996, four months after pilot county implementation began, the State suspended implementation and required Lockheed to develop the first Corrective Action Plan (CAP) to fix these defects. The State resumed implementation in May 1996 based on Lockheed’s corrections of some of the problems and its assertions that the remaining problems could be fixed in a short period. 95 THE STATE’S RESPONSE TO CHAPTER 3 The State mismanaged the SACSS project and wasted millions of taxpayers dollars * The State categorically disagrees with the suggestion that its management decisions contributed to the failure of SACSS. The SACSS project failed because Lockheed failed to deliver an automated data processing system in accordance with its contract. The State is currently in litigation with Lockheed to recover damages due to the failure of SACSS. Finding: The Department of Social Services did not establish goals and objectives for SACSS Social Services established programmatic goals for the SACSS program in 1990. The programmatic goals were published in the Statewide Automated Child Support System booklet prepared in January 1991. There were three primary goals: • Improve the quality of services to the public through automation. • Improve efficiency and effectiveness of the child support enforcement program. • Ensure compliance with federal and state requirements. In addition, each goal had several objectives. For example, one objective was to provide timely payments to the family. Another was to automatically provide prompt notification of case status to the family. Finding: The State did not plan for maintenance of project information The Auditor is correct in noting that the maintenance of project information has been inadequate. However, this has not been due to a lack of recognition of the problem. The immense volume of documentation overwhelmed the limited staff resources. In the fiscal year 1995/96 Budget Change Proposal, the project requested an administrative support position to manage the project’s documentation. The requested position was deleted in favor of other budget priorities. In Fall 1997, the Data Center made creation of a documentation tracking system a high priority and implemented an automated system to catalog and track all project documentation. As of February 1998, contract deliverables, project county data and all newly created documentation, including correspondence and financial records, are being actively managed and tracked. In addition, a project librarian has been assigned to maintain the project’s central library. All project managers, supervisors and key staff received the Department of General Services’ (DGS) records management training as part of an overall effort to improve management processes at the project. *California State Auditor(cid:146)s comments on this response begin on page 109. 96 Finding: The State did not establish satisfactory contract penalty and risk- sharing provisions The State agrees with the Auditor’s underlying goals. The State would benefit by requiring every vendor to bear a reasonable share of the risk of contract failure. Finding: The Department of Social Services failed to manage project costs While the SACSS cost management methodology met state and federal cost accounting standards, Social Services acknowledges that project costs must be managed more effectively. Social Services is committed to improving its cost reporting system for automation projects. Working with state and federal personnel, Social Services is instituting new cost control techniques, including internal controls. These will provide the task level cost detail needed to control project costs and support new ad hoc report generation with task level detail. Finding: Counties not using SACSS spent more than $13 million for personal computers and printers The State strongly disagrees with the notion that the counties not on SACSS received no child support enforcement benefits from the investment in personal computers (PCs) and printers. Counties used the new automated equipment to substantially improve the efficiency of their child support enforcement efforts. For example, San Diego County acquired nearly 600 new PCs through the SACSS project prior to the scheduled implementation of SACSS. Using these PCs in their child support collections activities prior to SACSS, San Diego County was able to achieve the following: Table 1. San Diego County, PC-assisted automation contributions SSSSSAAAAANNNNNDDDDDIIIIIEEEEEGGGGGOOOOO 11111999999999944444 11111999999999977777 COUNTY WITHOUTPCs WITHSACSSPCs Total (gross)collections F $45.5million $78.5million CasesfiledQ 4,000 40,000 Casesserved QG 1,000 37,000 Checksreceived Q 14,000/month 40,000/month AFDC(distributed)collections F $27.3million $50.6million F Total (gross) collections and AFDC (distributed) collections data based on State Child Support Management Information System data for state fiscal years 1993/94 and 1996/97 Q Based on (gross) collection data reported by San Diego County for calendar years 1994 and 1997 G Non-custodial parent issued summons and complaint regarding parental obligations The $23.2 million increase in Aid to Families with Dependent Children (AFDC) recouped, resulted in direct savings to the State of $10.9 million from San Diego County alone. At the same time, San Diego County reduced the number of days between receipt and disbursement of payments from 15 to 1. Without the SACSS PCs, these improvements could not 97 have been made. Also, the SACSS project was the only vehicle available to San Diego County to acquire PCs, as both the state and federal governments had frozen all other expenditures for child support automation. Given the fact the State fully expected to complete the SACSS project in all counties, and installation of PCs in San Diego County and other counties was one of the stated project goals (“improve the quality of services to the public through automation”), the State believes the purchases were fully appropriate and justified. The Auditor states the equipment in some counties has “never been used” and is “sitting in storage.” This statement is misleading. The Data Center contacted the two counties cited by the Auditor and confirmed that in one, the stored equipment consists of a single leased Voice Response Unit awaiting shipment to Lockheed. The other county is storing its SACSS PCs until a software licensing issue is resolved with Lockheed. The Auditor provided the State with no other instances of stored equipment. To the State’s knowledge, all other SACSS PCs are in productive use in the child support programs in the counties. In counties that never received the SACSS application, the full benefit of statewide child support enforcement automation may not have been realized. The counties have, however, installed and used the equipment effectively for child support enforcement. The Auditor’s implication that the investment was wasted is groundless. Finding: The Data Center did not assess SACSS project upon takeover The Data Center assessed the SACSS project when it assumed the management responsibility. The Auditor was provided copies of the transition documents. At the same time that the Data Center assumed responsibility for SACSS, the Data Center assumed responsibility for the Child Welfare Services/Case Management System (CWS/CMS), the Statewide Automated Welfare System (SAWS), and the Statewide Fingerprint Imaging System (SFIS). With limited resources, the Data Center initially and successfully focused its efforts on saving the CWS/CMS project, which was in imminent danger of failing. Finding: The State paid Lockheed for incomplete contract deliverables The Data Center has improved its contract management practices and will continue to implement effective processes. The Data Center has established a contract deliverables tracking system, which makes deliverables clear and consistent with contract intent. In addition, the Data Center has now assigned responsibility for contract management to one individual whose sole responsibility is to ensure that the contract deliverables are met before the vendor is paid. The State acknowledges that there is room for improvement. However, Social Services and the Data Center did critically review invoices, and there were many instances in which the State withheld payments on invoices due to unsatisfactory vendor deliverables. The data in the following table shows the total amount withheld from Lockheed exceeded $1.7 million. In addition to these amounts, the State cut off payments to Lockheed for contractual services in February 1997. 98 Table 2. Withheld payments due to unacceptable deliverables IIIIINNNNNVVVVVOOOOOIIIIICCCCCEEEEE DDDDDAAAAATTTTTEEEEE AAAAAMMMMMOOOOOUUUUUNNNNNTTTTT NUMBER OFINVOICE WITHHELD Fivepercentfor November1994 $107,838 DetailedDesign 501337 December8,1995 $113,457 501343 December8,1995 $35,540 501346 December8,1995 $12,367 501348 October12,1995 $4,632 501350 November15,1995 $1,200 501351 November15,1995 $92,353 501540 December8,1995 $324 501843 May10,1996 $75,980 501930 June7,1996 $100,925 502014 July9,1996 $12,025 502106 August15,1996 $10,308 502206 October2,1996 $18,039 502274 November5,1996 $117,950 502322 December2,1996 $170,124 502207s October2,1996 $516,732 502105 August15,1996 $378,841 TTTTTOOOOOTTTTTAAAAALLLLL $$$$$11111,,,,,777776666688888,,,,,666663333355555 Finding: Social Services paid Lockheed for incomplete design documents The State believed at the time that conditional approvals and partial payments were prudent management choices in light of the then-existing circumstances. Finding: The State paid for incomplete and unacceptable project plans The contract required Lockheed to deliver six distinct plans as a single deliverable. Lockheed provided all six, four in final and two in draft. The State accepted the four plans delivered in final. Of the two draft plans, the State concluded the IV&V vendor, not Lockheed, should develop one-the Risk Analysis Plan. The State partially accepted the other draft plan-Disaster Recovery Plan. Because Lockheed had substantially completed the unified deliverable, the State paid Lockheed the contract price, less the normal ten percent withholding. 99 Finding: The Data Center poorly negotiated and executed Amendment Six (and other related findings) The Auditor in these sections of the report criticizes the State for several decisions made during the course of the negotiation of Amendment Six to the Lockheed contract. The negotiation of the amendment was a long and complex process, and the State elects not to attempt to explain each individual decision in this response. The negotiations arose out of the experiences of the vendor and the State during the early phases of the project and, from the State’s perspective, out of the strong desire to ensure that the project would continue to move forward. As with any negotiation, the two sides frequently held different views with respect to the issues being addressed in the negotiation and with respect to the most appropriate means of addressing the issues in Amendment Six. The final terms of the amendment were the product of negotiation, and were not (and could not have been) dictated by either the State or the vendor. The Auditor does not criticize every aspect of Amendment Six. As to those provisions the Auditor does criticize, the State exercised its best judgment in attempting to negotiate provisions that would best accomplish the State’s goal of implementing a statewide child support enforcement automated system within the federal imposed time constraints. Finding: The State failed to fully review prices listed in Amendment Six The Auditor cites no examples of inappropriate payments for these equipment leases. The terms of the contract required that the equipment lease costs be reconciled against the actual hardware and software inventory once Lockheed submitted an invoice. The Data Center reconciled the lease costs submitted on the invoices against the actual inventory. Again, no inappropriate payments were made. Finding: The State allowed Lockheed to perform work before executing Amendment Six The Data Center allowed Lockheed to perform work before the execution of Amendment Six in its efforts to meet the federal deadlines. Finding: The Data Center does not have adequate controls over its accounting processing The Data Center acknowledges that in 1995 it did not have adequate accounting systems to handle projects the size of SACSS. The Data Center has improved its accounting processes since that time and is looking at further improvements. On July 1, 1997, the Data Center installed PeopleSoft, a project cost and accounting system, which will be fully integrated by June 30, 1998. This system will help identify duplicate payments, and track project costs and encumbrances. 100 THE STATE’S RESPONSE TO CHAPTER 4 Child Support Automation: Where do we go from here? Over the past year, the Data Center has initiated changes similar to those recommended by the Auditor in this audit. The table below shows the Data Center’s actions. Table 3. Recommendation action status AAAAAUUUUUDDDDDIIIIITTTTTOOOOORRRRR'''''SSSSS RRRRREEEEECCCCCOOOOOMMMMMMMMMMEEEEENNNNNDDDDDAAAAATTTTTIIIIIOOOOONNNNN AAAAACCCCCTTTTTIIIIIOOOOONNNNN AAAAACCCCCTTTTTIIIIIOOOOONNNNN TAKEN PLANNED CreateaGovernanceCounciltooverseefutureeffortsatchildsupport Donotagree enforcementautomation. Seekchangesinfederallawsgoverningchildsupportenforcement 33 automation. Providehighlevelsponsorshipandcreateincentivesforimprovement. • 33 Improvepoliciesandproceduresovercontractamendmentsandpayments. 33 Establishaprojectcharter. 33 Establishmeasurablegoalsandobjectivesfortheproject. • 33 Establishprojectpolicies. • 33 3 Useshorterprojectphases. • 3 Developamasterplanforallthephasesoftheproject. 3 Prepareadetailedplanforeachphase. 3 Establishaprojectlibrary. 3 Accountforallprojectcosts. Trackemployeeandcontractortimeontheproject. 3 Reassesstheprojectwhensignificanteventsoccur. 3 3 Heedwarningsigns. 3 UseindependentIV&Vcontractors. 3 Prepareperiodicprogressreports. 3 Utilizeavalue-basedprocurementapproach. 3 Payforperformanceforcontractors. 3 Shareriskwithcontractors. Reviewandapproveallstaffingchanges. 3 Thoroughlyreviewallcontractamendments. 3 3 Permissiontofail. 101 Recommendation: Create a governance council to oversee future efforts at child support enforcement automation The State understands the intent of this recommendation and agrees that the district attorneys must be continuously involved in the effort to achieve statewide automation of the child support enforcement program in California. However, it is not clear a governance council such as that proposed by the Auditor could be successful. Under federal regulations, Social Services is ultimately accountable for the delivery of the State’s child support enforcement automation system. Certainly, the involvement of the district attorneys is critical. But, in the State’s experience, a governance body is only effective when it has the authority to make final decisions, is ultimately responsible for success, and has the authority to propose budgets. The proposed governance council would not have these attributes. Furthermore, it is not appropriate that a council led by the district attorneys should make decisions and commitments about the direction and staffing of the project when the State is accountable for the outcome. Given that the State’s 58 district attorneys are individually accountable to the counties they represent, it may be impossible to identify any subset of the district attorneys that could truly be accountable for the interests and actions of all the district attorneys. In the case of other automation projects in the Agency, including the SAWS and CWS/CMS projects, the involvement of critical stakeholders is ensured through advisory bodies that meet at regular internals to assess the progress of the projects and to advise the project managers on outstanding project issues. For example, the SAWS project has the County Automated Welfare Systems Advisory Council which meets monthly and includes representatives from each of the four county consortia, the California Welfare Directors Association, Social Services, and the Data Center. In the case of CWS/CMS, an executive steering committee also has monthly meetings. The State suggests a similar advisory body for child support enforcement automation could serve the same ends as the Auditor’s proposed governance council without the difficulties associated with a council, as described above. Recommendation: Seek changes in federal laws governing child support enforcement automation The State has been actively seeking legislative changes that would reduce the penalties California could incur for failure to meet the October 1, 1997, federal deadline. Legislation to accomplish this goal was passed by the U.S. House of Representatives on March 4, 1998. Along with the counties, the State will continue to work with congressional members to ensure that this new legislation, which would provide for reduced penalties and flexible funding to support California’s proposed alternative configuration system, will become law. The State agrees with the Auditor’s recommendation that the Legislature support efforts to amend federal law to address penalties and improvement of the child support enforcement process. Recommendation: The State should provide high-level sponsorship and create incentives for improvement The State has brought together stakeholders including the district attorneys, legislative staff, federal government staff, etc., to help set the direction for the new statewide child support 102 enforcement system. The State will continue to involve stakeholders in the setting of the goals and priorities. Project management will turn the high-level goals into measurable goals and milestones. As a partner in the success of the new statewide child support enforcement system, the counties are expected to meet their responsibilities. The State is assessing methods for ensuring compliance with federal and state requirements. Recommendation: The Agency should improve policies and procedures over contract amendments and payments The State has made improvements in its contract management policies and procedures. For example, at the project level: • Increased investment in the project’s infrastructure (tools and processes; project librarian; improved budgeting process; contract tracking tool; and improved accounting tool). • Improved internal oversight (IV&V and a proposed yearly project audit). • Improved RFP process and contract negotiations (alternative procurement process; cost and schedule control; shorter phases; measurable deliverables; project plans and milestones). • Initiated payment recoupment steps (including stop payments and partial payment of invoices). Recommendation: Establish a project charter A charter for the new statewide child support enforcement system will be included in the federally required Advance Planning Documents (APD), DOIT required project oversight reports, and other appropriate documents. Recommendation: Establish measurable goals and objective for the project In accordance with the requirements of both DOIT and the federal government, the project will establish measurable goals and objectives. These goals and measurements will be described in the charter, the APD, and the Feasibility Study Report (FSR). The project’s conceptual design for the new statewide child support enforcement system includes the automated collection of performance metrics, which allows state and federal agencies to assess the State’s and counties’ compliance and performance. Recommendation: Develop project policies Since the fall of 1997, the project has been developing policies consistent with DOIT’s Project Management Methodology, on which the Auditor’s recommendations are based. These include library procedures, cost accounting, documentation standards, software standards, project status reporting, and internal fiscal and accounting policies. The project has developed a programming guide for software toolset, and a vendor guide designed to standardize vendor status reporting and deliverable submittals. 103 Recommendation: Use shorter project phases For the new statewide child support enforcement system, the Data Center has proposed to approach the activities required to implement the State Disbursement Unit (SDU), State Central Registry (SCR) and achieve Level II certification as discrete phases that have short timelines. The duration of each phase is twelve months or less, and is divided into sub-phases with milestones and deliverables that occur at three to four month intervals. Recommendation: Develop a master plan for all of the phases of the project The Data Center will use a contract management methodology consistent with DOIT’s Project Management Methodology. Each vendor will provide a master project plan and regular updates and a work breakdown structure for all tasks on the project plan. The State will develop a Contract Data Requirements List (for the SDU/SCR state procurement) which lists every deliverable required from the vendor and the date at which it is due. The vendor will use this to derive their master plan. For each task on the master plan, the vendor will include all deliverables, all internal and external milestones, and all dependencies. Recommendation: Prepare detailed plan for each phase The Data Center will require the vendor to prepare a detailed project plan with subsidiary phases and a detailed task description for every task within that phase. Cost and schedule control plans will detail personnel, resources, schedule and dependencies for a task, as well as a method for evaluating task progress. Recommendation: Establish a project library In Fall 1997, the Data Center made creation of a project library and project tracking system a high priority. A comprehensive system was developed to catalog and track all project documentation. Currently, contract deliverables are being tracked using this new tool, and newly created documentation, including correspondence and financial records, are being actively managed and tracked. The project’s current budget documents include funding requests for project librarian and consultant resources to maintain and enhance the project’s management software tools. Recommendation: Account for all project costs While the SACSS cost management methodology met state and federal cost accounting standards, Social Services acknowledges the project costs must be managed more effectively. Social Services is working to improve its cost reporting system for future automation projects. 104 Social Services is looking at a methodology for the California State Accounting and Reporting System (CALSTARS) that will incorporate unique coding structures including: • New Program Cost Accounts (PCA). • Development of new reporting tools that can produce detailed ad hoc reports. • Modified federal financial working papers containing accumulated federal reporting data to provide improved project information. The Data Center has already installed PeopleSoft, which accounts for costs at the project level. Recommendation: Track employee and contractor time on the project Both Social Services and the Data Center track state employee time by PCAs, which are linked to categories such as: administrative, project management, meetings, conversion, and training. The State intends to require all vendors to comply with a formal Cost/Schedule Status Reporting (C/SSR) methodology, as recommended by the Program Management Institute, a nationally recognized information technology (IT) standards body. This industry standard process requires the vendor to develop a work breakdown structure for the entire project and assign resources and start/end dates for each phase. Recommendation: Reassess the project when significant events occur The Data Center’s project management has already begun to implement the processes necessary to reliably track project status and identify problems early. These processes are consistent with DOIT’s Project Management Methodology including the development of project plans, cost and schedule control, and IV&V. Working with the oversight agencies, Social Services and the Data Center will determine those events that require project reassessment and the criteria for reporting to the oversight agencies. Events under consideration include failure to meet a major milestone, failure to correct cost or schedule variances, or submission of an unacceptable significant deliverable. Recommendation: Heed warning signs The State agrees prudent project management requires a process to detect problems and to initiate actions to resolve the problems before they become critical. For the new statewide child support enforcement system, project management will follow a process to detect and resolve problems by collecting critical data, using the following process: • Determine key metrics, such as C/SSR variances, milestones, and quality metrics. • Develop monthly reports that display the key metrics gathered against the anticipated values of the key metrics. • Distribute the monthly reports to control agencies and the IV&V vendor. 105 Recommendation: Use independent verification and validation contractors The Data Center has been using IV&V vendors on major automation projects since 1996. Currently, the project’s IV&V vendor reports independently to DOIT and other control agencies. The State concurs with this recommendation and intends to continue to use IV&V vendors on IT projects. Recommendation: Prepare periodic progress reports The State agrees timely information is essential for both the project management and the oversight agencies. The State is requiring that the SDU/SCR adhere to a cost/schedule control methodology, as recommended by the Project Management Institute and required by the Department of Defense on high-risk projects. This methodology requires the vendor to generate schedule and cost status reports on a monthly basis. Recommendation: Use a value-based procurement approach In January 1998, the Data Center began planning a procurement strategy based on obtaining the best value for the State. The Data Center proposed an alternative procurement approach using an initial Concept Definition/Validation (CD/V) phase followed by a Full-Scale Development (FSD) phase. The CD/V phase will be performed, in parallel, by two to four vendor teams. Each team will independently prepare a General System Design document, a Concept of Operations document, an Interface Requirements Specification, a technical proposal and cost proposal. Upon completion of the CD/V phase, the State will select the best vendor team to perform the FSD. The contract award will be based on the Office of Federal Procurement Policy guidelines for a “Best Value” contract. This procurement strategy has been reviewed favorably by DGS as well as the California Child Support Automation Advisory Group. Recommendation: Pay for performance for contractors The Data Center has proposed to DGS and DOIT an alternative procurement strategy that would address this recommendation. This strategy is based on clearly defined and measurable deliverables, standard cost/schedule control methodologies, and vendor incentives. For example, the Data Center intends to structure the contract to entice the vendor to finish early and, in addition, to decrease the amount the vendor can earn if the vendor does not meet contract completion deadlines. Recommendation: Share risk with contractors The State concurs with the Auditor regarding the potential negative consequences of over- dependency on the use of liquidated damages and security instruments. As described previously, the Data Center is working with DGS and DOIT to implement an alternative procurement strategy based on innovative methods of risk sharing. For example, the Data Center is separating the contract into several phases with “stop or go” points. In addition, as noted above, the contract will incorporate provisions designed to encourage the vendor to meet or beat schedule deadlines and to discourage the vendor from missing schedule deadlines. 106 Recommendation: Review and approve all staffing changes In all of its current consultant contracts, the project’s management maintains and exercises the right to review and approve all staffing changes. Any future contracts that are entered into will contain the necessary provisions, and project management will monitor all key positions carefully to ensure that the contractor’s staff maintains sufficient expertise to successfully complete the project. Recommendation: Thoroughly review all contract amendments This recommendation addresses the need to document the rationale for contract amendments that change the scope of work or modify tasks or deliverables. While Social Services and the Data Center have challenged some of the Auditor’s findings that specific SACSS payments were inappropriate or unsupported, the State concurs that a review of all contract amendments is a basic requirement. Recommendation: Permission to fail The State believes that such an environment exists today for decision-making on all major IT projects. Project managers consult regularly and frequently on important decisions with advisory committees that include all stakeholders; with senior department and control agency managers; and with the Agency. 107 THE STATE’S RESPONSE TO APPENDIX A The Health and Welfare Agency Data Center’s analysis of SACSS alternatives has little value The Data Center’s alternatives analysis was begun as a preliminary examination of possible options to SACSS in light of the problems with the project. However, the State decided to postpone completing a full analysis of the options while it was in the final stages of the negotiations with Lockheed. As a consequence, the September 16, 1997, report was not intended to be a complete and comprehensive evaluation of the options. The Auditor attaches more weight to this report than it was intended to have, interpreting it as a significant state and county planning document. The report had value as a preliminary alternatives analysis. 108 Comments &DOLIRUQLD(cid:3)6WDWH(cid:3)$XGLWRU“V(cid:3)&RPPHQWV RQ(cid:3)WKH(cid:3)5HVSRQVH(cid:3))URP(cid:3)WKH +HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\ 7 R(cid:3)SURYLGH(cid:3)FODULW\(cid:3)DQG(cid:3)SHUVSHFWLYH(cid:15)(cid:3)ZH(cid:3)DUH(cid:3)FRPPHQWLQJ(cid:3)RQ WKH(cid:3)+HDOWK(cid:3)DQG(cid:3):HOIDUH(cid:3)$JHQF\“V(cid:3)(cid:11)6WDWH(cid:12)(cid:3)UHVSRQVH(cid:3)WR(cid:3)RXU DXGLW(cid:3)UHSRUW(cid:17)(cid:3)(cid:3)7KH(cid:3)QXPEHUV(cid:3)FRUUHVSRQG(cid:3)WR(cid:3)WKH(cid:3)QXPEHUV(cid:3)ZH KDYH(cid:3)SODFHG(cid:3)LQ(cid:3)WKH(cid:3)UHVSRQVH(cid:17) ,Q(cid:3)&KDSWHUV(cid:3)(cid:21)(cid:3)DQG(cid:3)(cid:22)(cid:15)(cid:3)ZH(cid:3)UHSHDWHGO\(cid:3)LGHQWLI\(cid:3)SRRU(cid:3)PDQDJHPHQW GHFLVLRQV(cid:3)PDGH(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:3)WKDW(cid:3)FRQWULEXWHG(cid:3)WR(cid:3)WKH(cid:3)SURMHFW“V IDLOXUH(cid:3)DQG(cid:3)UHVXOWHG(cid:3)LQ(cid:3)PLOOLRQV(cid:3)RI(cid:3)WD[SD\HU(cid:3)GROODUV(cid:3)ZDVWHG(cid:17) 2XU(cid:3)SRLQW(cid:3)LV(cid:3)WKDW(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)6RFLDO(cid:3)6HUYLFHV(cid:3)GLG(cid:3)QRW HVWDEOLVK(cid:3) PHDVXUDEOH(cid:3) JRDOV(cid:3) DQG(cid:3) REMHFWLYHV(cid:3) IRU(cid:3) WKH(cid:3) 6WDWHZLGH $XWRPDWHG(cid:3) &KLOG(cid:3) 6XSSRUW(cid:3) 6\VWHP(cid:3) (cid:11)6$&66(cid:12)(cid:17)(cid:3) (cid:3) 7KH(cid:3) EURDG(cid:3) DQG XQTXDQWLILHG(cid:3) JRDOV(cid:3) OLVWHG(cid:3)LQ(cid:3) WKH(cid:3) UHVSRQVH(cid:3) ZRXOG(cid:3) QRW(cid:3) KHOS(cid:3) WR REMHFWLYHO\(cid:3)HYDOXDWH(cid:3)WKH(cid:3)VXFFHVV(cid:3)RU(cid:3)IDLOXUH(cid:3)RI(cid:3)WKH(cid:3)V\VWHP(cid:17) &RQWUDU\(cid:3)WR(cid:3)WKH(cid:3)6WDWH“V(cid:3)DVVHUWLRQ(cid:15)(cid:3)ZH(cid:3)GLG(cid:3)QRW(cid:3)UHSRUW(cid:3)WKDW(cid:3)FRXQWLHV UHFHLYHG(cid:3) QR(cid:3) FKLOG(cid:3) VXSSRUW(cid:3) HQIRUFHPHQW(cid:3) EHQHILWV(cid:3) IURP(cid:3) WKH LQYHVWPHQW(cid:3)LQ(cid:3)6$&66(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:17) 7KH(cid:3)6WDWH(cid:3)LV(cid:3)PLVVLQJ(cid:3)RXU(cid:3)SRLQW(cid:17)(cid:3)(cid:3)2XU(cid:3)FRQFHUQ(cid:3)LV(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH GLUHFWHG(cid:3)FRXQWLHV(cid:3)WR(cid:3)SXUFKDVH(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:3)SUHPDWXUHO\ WR(cid:3)WDNH(cid:3)DGYDQWDJH(cid:3)RI(cid:3)IHGHUDO(cid:3)HQKDQFHG(cid:3)IXQGLQJ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH FRXQWLHV(cid:3) DUH(cid:3) QRW(cid:3) XVLQJ(cid:3) WKLV(cid:3) FRPSXWHU(cid:3) HTXLSPHQW(cid:3) WR(cid:3) RSHUDWH 6$&66(cid:17) C:H(cid:3) FDQQRW(cid:3) DFFRXQW(cid:3) IRU(cid:3) WKH(cid:3) GLVFUHSDQFLHV(cid:3) EHWZHHQ(cid:3) WKH LQIRUPDWLRQ(cid:3) SURYLGHG(cid:3) E\(cid:3) WKH(cid:3) 6WDWH(cid:3) DQG(cid:3) WKH(cid:3) FRXQW\(cid:3) UHJDUGLQJ WKH(cid:3)VWRUDJH(cid:3)DQG(cid:3)WKH(cid:3)XVH(cid:3)RI(cid:3)FRPSXWHU(cid:3)HTXLSPHQW(cid:17)(cid:3)(cid:3),Q(cid:3)RXU(cid:3)VXUYH\(cid:15) WKLV(cid:3)FRXQW\(cid:3)LQIRUPHG(cid:3)XV(cid:3)WKDW(cid:3)LW(cid:3)SXUFKDVHG(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:22)(cid:25)(cid:21)(cid:15)(cid:19)(cid:19)(cid:19) RI(cid:3) FRPSXWHU(cid:3) HTXLSPHQW(cid:15)(cid:3) LQFOXGLQJ(cid:3) SHUVRQDO(cid:3) FRPSXWHUV(cid:3) DQG SULQWHUV(cid:15)(cid:3)WKDW(cid:3)KDV(cid:3)QRW(cid:3)EHHQ(cid:3)XVHG(cid:17) 7KH(cid:3)+HDOWK(cid:3) DQG(cid:3) :HOIDUH(cid:3) $JHQF\(cid:3) ’DWD(cid:3) &HQWHU“V(cid:3) (cid:11)GDWD(cid:3) FHQWHU(cid:12) ZULWWHQ(cid:3) UHVSRQVH(cid:3) DV(cid:3) VKRZQ(cid:3) RQ(cid:3) SDJH(cid:3) (cid:23)(cid:24)(cid:3) RI(cid:3) WKH(cid:3) UHSRUW(cid:15)(cid:3) LV LQGLFDWLYH(cid:3)RI(cid:3)WKH(cid:3)OHYHO(cid:3)RI(cid:3)LQDGHTXDWH(cid:3)DVVHVVPHQW(cid:3)LW(cid:3)FRQGXFWHG XSRQ(cid:3) WDNHRYHU(cid:17)(cid:3) (cid:3) :H(cid:3) UHYLHZHG(cid:3) WKH(cid:3) WUDQVLWLRQ(cid:3) GRFXPHQWV SURYLGHG(cid:3)E\(cid:3)WKH(cid:3)GDWD(cid:3)FHQWHU(cid:3)DQG(cid:3)IRXQG(cid:3)QR(cid:3)HYLGHQFH(cid:3)WKDW(cid:3)LW(cid:3)KDG SHUIRUPHG(cid:3)D(cid:3)PHDQLQJIXO(cid:3)RU(cid:3)VLJQLILFDQW(cid:3)DQDO\VLV(cid:3)RI(cid:3)DQ\(cid:3)DUHD(cid:3)RI(cid:3)WKH 6$&66(cid:3)SURMHFW(cid:17) (cid:20)(cid:19)(cid:28) :H(cid:3) FDQQRW(cid:3) XQGHUVWDQG(cid:3) WKH(cid:3) 6WDWH“V(cid:3) MXVWLILFDWLRQ(cid:3) LQ(cid:3) SD\LQJ /RFNKHHG(cid:3)IRU(cid:3)LQFRPSOHWH(cid:3)DQG(cid:3)XQDFFHSWDEOH(cid:3)SODQV(cid:17)(cid:3)(cid:3)7KH(cid:3)FRQWUDFW VSHFLILFDOO\(cid:3) VWDWHG(cid:3) WKDW(cid:3) WKH(cid:3) 6WDWH(cid:3) ZRXOG(cid:3) SD\(cid:3) RQO\(cid:3) XSRQ DFFHSWDQFH(cid:3)RI(cid:3)ILQDO(cid:3)YHUVLRQV(cid:3)RI(cid:3)DOO(cid:3)VL[(cid:3)SODQV(cid:3)IRU(cid:3)ZKLFK(cid:3)/RFNKHHG ZDV(cid:3)UHVSRQVLEOH(cid:17) :H(cid:3)LQWHQWLRQDOO\(cid:3)OHIW(cid:3)PDQ\(cid:3)GHWDLOV(cid:3)RI(cid:3)WKH(cid:3)SRZHUV(cid:3)DQG(cid:3)GXWLHV(cid:3)RI WKH(cid:3)JRYHUQDQFH(cid:3)FRXQFLO(cid:3)XQVSHFLILHG(cid:3)EHFDXVH(cid:3)WKH\(cid:3)ZRXOG(cid:3)QHHG WR(cid:3)EH(cid:3)QHJRWLDWHG(cid:3)DQG(cid:3)DJUHHG(cid:3)XSRQ(cid:3)E\(cid:3)WKH(cid:3)HOHFWHG(cid:3)RIILFLDOV(cid:3)RI(cid:3)WKH 6WDWH(cid:17)(cid:3) (cid:3) 1HYHUWKHOHVV(cid:15)(cid:3) ZH(cid:3) VHH(cid:3) QR(cid:3) UHDVRQ(cid:3) ZK\(cid:3) D(cid:3) JRYHUQDQFH FRXQFLO(cid:3)FRXOG(cid:3)QRW(cid:3)EH(cid:3)YHVWHG(cid:3)ZLWK(cid:3)WKH(cid:3)DWWULEXWHV(cid:3)WKH(cid:3)DJHQF\(cid:3)ILQGV ODFNLQJ(cid:3)LQ(cid:3)RXU(cid:3)UHFRPPHQGDWLRQ(cid:17) (cid:20)(cid:20)(cid:19) cc: Members of the Legislature Office of the Lieutenant Governor Attorney General State Controller Legislative Analyst Assembly Office of Research Senate Office of Research Assembly Majority/Minority Consultants Senate Majority/Minority Consultants Capitol Press Corps