CSA
Summary
Read the report at California State Auditor ↗
Department of
Health Services:
The Genetic Disease Branch(cid:146)s
Fee Setting, Billing, and Collection
Processes Need Improvement, and
Its Regulations Do Not Warrant
Emergency Status
September 1997
97105
rotiduA
etatS
ainrofilaC
The first printed copy of each California State Auditor report is free.
Additional copies are $3 each.
Printed copies of this report can be obtained by contacting:
California State Auditor
Bureau of State Audits
660 J Street, Suite 300
Sacramento, California 95814
(916)445-0255 or TDD (916)445-0255 x 248
Permission is granted to reproduce reports.
C S A
ALIFORNIA TATE UDITOR
KURT R. SJOBERG MARIANNE P. EVASHENK
STATE AUDITOR CHIEF DEPUTY STATE AUDITOR
September 4, 1997 97105
The Governor of California
President pro Tempore of the Senate
Speaker of the Assembly
State Capitol
Sacramento, California 95814
Dear Governor and Legislative Leaders:
As requested by the Joint Legislative Audit Committee, the Bureau of State Audits presents its
audit report concerning the Department of Health Services(cid:146) Genetic Disease Branch (branch).
This report concludes that the branch has weaknesses in fee setting, billing, and collection. As a
result, the public may be paying more than necessary for prenatal screening services.
Additionally, the branch has written off $9.7 million in prenatal testing fees since July 1993
and may not collect an additional $6.5 million. Moreover, branch staff neglected to bill Medi-Cal
promptly for another $1.1 million and these fees may now be uncollectable. Finally, branch
regulations no longer warrant emergency status because most of them concern administrative
changes rather than true emergencies.
Respectfully submitted,
KURT R. SJOBERG
State Auditor
BUREAU OF STATE AUDITS
660 J Street, Suite 300, Sacramento, California 95814 Telephone: (916) 445-0255 Fax: (916) 327-0019
Table of Contents
6XPPDU\ 6(cid:16)(cid:20)
,QWURGXFWLRQ (cid:20)
&KDSWHU(cid:3)(cid:20)
7KH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)(VWDEOLVKHG(cid:3))HHV
7KDW(cid:3)6LJQLILFDQWO\(cid:3)([FHHG(cid:3),WV(cid:3)&RVWV (cid:26)
5HFRPPHQGDWLRQV (cid:20)(cid:20)
&KDSWHU(cid:3)(cid:21)
7KH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)+DV(cid:3)DQ(cid:3),QHIIHFWLYH
3URFHVV(cid:3)IRU(cid:3)%LOOLQJ(cid:3)DQG(cid:3)&ROOHFWLRQV (cid:20)(cid:22)
5HFRPPHQGDWLRQV (cid:20)(cid:27)
&KDSWHU(cid:3)(cid:22)
*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)5HJXODWLRQV
’R(cid:3)1RW(cid:3):DUUDQW(cid:3)(PHUJHQF\(cid:3)6WDWXV (cid:21)(cid:20)
5HFRPPHQGDWLRQV (cid:21)(cid:26)
5HVSRQVHV(cid:3)WR(cid:3)WKH(cid:3)$XGLW
’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV (cid:21)(cid:28)
&DOLIRUQLD(cid:3)6WDWH(cid:3)$XGLWRU“V(cid:3)&RPPHQWV
RQ(cid:3)WKH(cid:3)5HVSRQVH(cid:3))URP(cid:3)WKH
’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV (cid:23)(cid:20)
Summary
5HVXOWV(cid:3)LQ(cid:3)%ULHI
7
KH(cid:3) ’HSDUWPHQW(cid:3) RI(cid:3) +HDOWK(cid:3) 6HUYLFHV“(cid:3) *HQHWLF(cid:3) ’LVHDVH
%UDQFK(cid:3)(cid:11)EUDQFK(cid:12)(cid:15)(cid:3)ZKLFK(cid:3)SURYLGHV(cid:3)D(cid:3)YDOXDEOH(cid:3)SXEOLF(cid:3)VHUYLFH
$XGLW(cid:3)+LJKOLJKWV(cid:3)(cid:17)(cid:3)(cid:17)(cid:3)(cid:17) E\(cid:3)VFUHHQLQJ(cid:3)IRU(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:15)(cid:3)KDV(cid:3)GLVSOD\HG(cid:3)VHULRXV
ZHDNQHVVHV(cid:3)LQ(cid:3)WKH(cid:3)PHWKRGV(cid:3)LW(cid:3)XVHV(cid:3)WR(cid:3)HVWDEOLVK(cid:3)IHHV(cid:3)IRU(cid:3)LWV
,Q(cid:3)DGPLQLVWHULQJ(cid:3)LWV(cid:3)VFUHHQLQJ SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)DOVR
SURJUDPV(cid:15)(cid:3)WKH(cid:3)*HQHWLF XVHV(cid:3)IDXOW\(cid:3)SURFHGXUHV(cid:3)WR(cid:3)ELOO(cid:3)DQG(cid:3)FROOHFW(cid:3)IHHV(cid:3)IURP(cid:3)SDWLHQWV(cid:3)ZKR
’LVHDVH(cid:3)%UDQFK(cid:3)XVHV WDNH(cid:3) SUHQDWDO(cid:3) WHVWV(cid:17)(cid:3) (cid:3) ,Q(cid:3) IDFW(cid:15)(cid:3) EHFDXVH(cid:3) IHHV(cid:3) KDYH(cid:3) VLJQLILFDQWO\
LQDGHTXDWH(cid:3)PHWKRGV(cid:3)IRU(cid:3)IHH H[FHHGHG(cid:3)FRVWV(cid:3)IRU(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)SURJUDP(cid:15)(cid:3)WKH(cid:3)SXEOLF(cid:3)PD\
VHWWLQJ(cid:15)(cid:3)ELOOLQJ(cid:15)(cid:3)DQG
EH(cid:3) SD\LQJ(cid:3) PRUH(cid:3) WKDQ(cid:3) QHFHVVDU\(cid:3) IRU(cid:3) SURJUDP(cid:3) VHUYLFHV(cid:17)(cid:3) (cid:3) ,Q
FROOHFWLRQ(cid:17)(cid:3)(cid:3)2XU(cid:3)UHYLHZ
DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)ZULWWHQ(cid:16)RII(cid:3)(cid:7)(cid:28)(cid:17)(cid:26)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)SUHQDWDO
LQGLFDWHG(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:29)
WHVWLQJ(cid:3)IHHV(cid:3)VLQFH(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)DQG(cid:3)LW(cid:3)PD\(cid:3)QRW(cid:3)EH(cid:3)DEOH(cid:3)WR(cid:3)FROOHFW(cid:3)IURP
SDWLHQWV(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:7)(cid:25)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)EUDQFK(cid:3)UHJXODWLRQV
(cid:230) &KDUJHG(cid:3)WKH(cid:3)SXEOLF(cid:3)IHHV
DGRSWHG(cid:3)E\(cid:3)WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV(cid:3)(cid:11)’+6(cid:12)(cid:3)QR(cid:3)ORQJHU
WKDW(cid:3)H[FHHGHG(cid:3)FRVWV(cid:3)E\
(cid:20)(cid:22)(cid:3)DQG(cid:3)(cid:20)(cid:21)(cid:3)SHUFHQW(cid:17) QHHG(cid:3) HPHUJHQF\(cid:3) VWDWXV(cid:3) EHFDXVH(cid:3) PRVW(cid:3) LQYROYH(cid:3) DGPLQLVWUDWLYH
FKDQJHV(cid:3)DQG(cid:3)GR(cid:3)QRW(cid:3)DGGUHVV(cid:3)HPHUJHQFLHV(cid:17)
(cid:230) :URWH(cid:3)RII(cid:3)(cid:7)(cid:28)(cid:17)(cid:26)(cid:3)PLOOLRQ(cid:3)LQ
XQFROOHFWDEOH(cid:3)SDWLHQW 8QGHU(cid:3) WKH(cid:3) GHSDUWPHQW“V(cid:3) GLUHFWLRQ(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) RIIHUV(cid:3) WR
IHHV(cid:3)VLQFH(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:3)DQG &DOLIRUQLD(cid:3) UHVLGHQWV(cid:3) YDULRXV(cid:3) JHQHWLF(cid:3) VHUYLFHV(cid:15)(cid:3) LQFOXGLQJ(cid:3) WKRVH
PD\(cid:3)QRW(cid:3)FROOHFW(cid:3)DQRWKHU IXUQLVKHG(cid:3)E\(cid:3)LWV(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3))RU
(cid:7)(cid:25)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:17)
D(cid:3) VLQJOH(cid:3) IHH(cid:3) IRU(cid:3) HDFK(cid:3) SDWLHQW(cid:15)(cid:3) WKH(cid:3) SURJUDPV(cid:3) VFUHHQ(cid:3) SUHJQDQW
ZRPHQ(cid:3)DQG(cid:3)QHZERUQ(cid:3)EDELHV(cid:3)WR(cid:3)GHWHFW(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:3)DQG
(cid:230) 1HJOHFWHG(cid:3)WR(cid:3)ELOO
WKHQ(cid:3) SURYLGHV(cid:3) IROORZ(cid:16)XS(cid:3) FRXQVHOLQJ(cid:3) DQG(cid:3) GLDJQRVWLF(cid:3) VHUYLFHV
0HGL(cid:16)&DO(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:17)
ZKHQ(cid:3)QHFHVVDU\(cid:17)
(cid:230) +DV(cid:3)NHSW(cid:3)(cid:7)(cid:26)(cid:26)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ
)RFXVLQJ(cid:3) RQ(cid:3) WKH(cid:3) VWUXFWXUH(cid:3) DQG(cid:3) DGPLQLVWUDWLRQ(cid:3) RI(cid:3) WKHVH
RYHUSD\PHQWV(cid:3)RI(cid:3)IHHV(cid:17)
WZR(cid:3)SURJUDPV(cid:15)(cid:3)RXU(cid:3)UHYLHZ(cid:3)UHYHDOHG(cid:3)WKH(cid:3)IROORZLQJ(cid:3)VKRUWFRPLQJV
,Q(cid:3)DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW DW(cid:3)WKH(cid:3)EUDQFK(cid:29)
GRHV(cid:3)QRW(cid:3)QHHG(cid:3)VSHFLILF
DXWKRULW\(cid:3)WR(cid:3)DGRSW(cid:3)EUDQFK
• ’XULQJ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FKDUJHG(cid:3)IHHV(cid:3)WKDW
UHJXODWLRQV(cid:3)DV(cid:3)HPHUJHQFLHV(cid:17)
H[FHHGHG(cid:3)FRVWV(cid:3)E\(cid:3)(cid:20)(cid:22)(cid:3)DQG(cid:3)(cid:20)(cid:21)(cid:3)SHUFHQW(cid:3)IRU(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG
QHZERUQ(cid:3)WHVWLQJ(cid:3)SURJUDPV(cid:15)(cid:3)UHVSHFWLYHO\(cid:17)(cid:3)(cid:3)6RPH(cid:3)H[FHVV(cid:3)IHHV
UHVXOWHG(cid:3)IURP(cid:3)EUDQFK(cid:3)DVVXPSWLRQV(cid:3)WKDW(cid:3)GLG(cid:3)QRW(cid:3)PDWHULDOL]H(cid:17)
• %HFDXVH(cid:3) LW(cid:3) KDV(cid:3) DQ(cid:3) LQHIIHFWLYH(cid:3) SURFHVV(cid:3) IRU(cid:3) ELOOLQJ(cid:3) DQG
FROOHFWLQJ(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHHV(cid:3) IURP(cid:3) SDWLHQWV(cid:15)(cid:3) WKH(cid:3) EUDQFK
KDV(cid:3) ZULWWHQ(cid:3) RII(cid:3) (cid:7)(cid:28)(cid:17)(cid:26)(cid:3) PLOOLRQ(cid:3) LQ(cid:3) XQFROOHFWDEOH(cid:3) IHHV(cid:3) VLQFH
-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)DQG(cid:3)LW(cid:3)PD\(cid:3)VRRQ(cid:3)DGG(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:7)(cid:25)(cid:17)(cid:24)(cid:3)PLOOLRQ
WR(cid:3)WKLV(cid:3)ILJXUH(cid:17)
6(cid:16)(cid:20)
• %UDQFK(cid:3) VWDII(cid:3) ZHUH(cid:3) XQDZDUH(cid:3) WKDW(cid:3) WKH\(cid:3) KDG(cid:3) QRW(cid:3) ELOOHG
WKH(cid:3) &DOLIRUQLD(cid:3) 0HGLFDO(cid:3) $VVLVWDQFH(cid:3) 3URJUDP(cid:3) (cid:11)0HGL(cid:16)&DO(cid:12)
(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)IRU(cid:3)SUHQDWDO(cid:3)WHVWV(cid:3)SURYLGHG(cid:3)EHWZHHQ(cid:3)-XO\(cid:3)DQG
1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)DQG(cid:3)WKHVH(cid:3)IHHV(cid:3)PD\(cid:3)QRZ(cid:3)EH(cid:3)XQFROOHFWDEOH(cid:17)
(YHQ(cid:3) LI(cid:3) 0HGL(cid:16)&DO(cid:3) SD\V(cid:3) WKH(cid:3) IHHV(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) KDV(cid:3) ORVW(cid:3) DQ
HVWLPDWHG(cid:3)(cid:7)(cid:25)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ(cid:3)LQWHUHVW(cid:3)HDUQLQJV(cid:17)
• %HFDXVH(cid:3)LW(cid:3)UHWXUQV(cid:3)RYHUSD\PHQWV(cid:3)RQO\(cid:3)ZKHQ(cid:3)UHTXHVWHG(cid:15)(cid:3)WKH
EUDQFK(cid:3)LV(cid:3)KROGLQJ(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:26)(cid:26)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ(cid:3)RYHUSDLG(cid:3)IHHV
IRU(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVWV(cid:17)
• 7KH(cid:3) EUDQFK(cid:3) JHQHUDOO\(cid:3) FRPSOLHV(cid:3) ZLWK(cid:3) VWDWH(cid:3) ODZV(cid:3) DQG
UHJXODWLRQV(cid:3)RQ(cid:3)FRQWUDFWLQJ(cid:15)(cid:3)EXW(cid:3)LW(cid:3)KDV(cid:3)QRW(cid:3)DOZD\V(cid:3)IROORZHG
JRRG(cid:3)EXVLQHVV(cid:3)SUDFWLFHV(cid:17)(cid:3)(cid:3))URP(cid:3)(cid:20)(cid:28)(cid:28)(cid:19)(cid:16)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GLG
QRW(cid:3)VHHN(cid:3)FRPSHWLWLYH(cid:3)ELGV(cid:3)IRU(cid:3)WKH(cid:3)ODERUDWRU\(cid:3)WHVWLQJ(cid:3)FRQWUDFWV
WKDW(cid:3)LW(cid:3)DZDUGHG(cid:17)
%HVLGHV(cid:3) H[DPLQLQJ(cid:3) IHHV(cid:3) DQG(cid:3) FRQWUDFWLQJ(cid:3) DW(cid:3) WKH(cid:3) EUDQFK(cid:15)(cid:3) ZH
DVVHVVHG(cid:3)ZKHWKHU(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)XVHV(cid:3)LWV(cid:3)HPHUJHQF\(cid:3)UHJXODWRU\
SRZHUV(cid:3)DSSURSULDWHO\(cid:3)ZKHQ(cid:3)LW(cid:3)DGRSWV(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:17)(cid:3)(cid:3)2XU
DQDO\VLV(cid:3) VKRZHG(cid:3) WKDW(cid:3) WKH(cid:3) GHSDUWPHQW“V(cid:3) HPHUJHQF\(cid:3) UHJXODWRU\
DXWKRULW\(cid:3)LV(cid:3)XQQHFHVVDU\(cid:17)(cid:3)(cid:3)(YHQ(cid:3)WKRXJK(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\
&RGH(cid:3) GHVLJQDWHV(cid:3) DV(cid:3) HPHUJHQFLHV(cid:3) DOO(cid:3) EUDQFK(cid:3) UHJXODWLRQV
DIIHFWLQJ(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:15)(cid:3)PDQ\
EUDQFK(cid:3) UHJXODWLRQV(cid:3) WKDW(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) KDV(cid:3) DGRSWHG
FRQFHUQ(cid:3) DGPLQLVWUDWLYH(cid:3) LVVXHV(cid:3) UDWKHU(cid:3) WKDQ(cid:3) WUXH(cid:3) HPHUJHQFLHV(cid:17)
$OVR(cid:15)(cid:3)WKH(cid:3)$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:3)HQDEOHV(cid:3)WKH(cid:3)GHSDUWPHQW
WR(cid:3)DGRSW(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)ZKHQ(cid:3)HPHUJHQFLHV(cid:3)DULVH(cid:17)
)XUWKHU(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)KDV(cid:3)QRW(cid:3)EHQHILWHG(cid:3)IURP(cid:3)RYHUVLJKW(cid:3)E\(cid:3)WKH
2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)(cid:11)RIILFH(cid:12)(cid:15)(cid:3)ZKLFK(cid:3)PDNHV(cid:3)FHUWDLQ(cid:3)WKDW
DJHQFLHV(cid:3) FRPSOHWH(cid:3) WKH(cid:3) UHJXODWRU\(cid:3) SURFHVV(cid:3) SURPSWO\(cid:3) DQG(cid:3) DOVR
UHSHDOV(cid:3)UHJXODWLRQV(cid:3)ZKHQ(cid:3)QHFHVVDU\(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG
6DIHW\(cid:3)&RGH(cid:3)H[HPSWV(cid:3)IURP(cid:3)UHSHDO(cid:3)DQ\(cid:3)UHJXODWLRQV(cid:3)JRYHUQLQJ(cid:3)WKH
QHZERUQ(cid:3) DQG(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW
FRXOG(cid:3)PLVXVH(cid:3)LWV(cid:3)UHJXODWRU\(cid:3)SRZHUV(cid:17)
:LWKRXW(cid:3) VXSHUYLVLRQ(cid:3) E\(cid:3) WKH(cid:3) RIILFH(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) LQ(cid:3) RQH
LQVWDQFH(cid:3)IDLOHG(cid:3)WR(cid:3)FRPSOHWH(cid:3)WKH(cid:3)UHJXODWRU\(cid:3)SURFHVV(cid:3)RQ(cid:3)WLPH(cid:17)(cid:3)(cid:3)7KH
GHSDUWPHQW(cid:3)DOVR(cid:3)YLRODWHG(cid:3)WKH(cid:3)$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:3)E\
LQFUHDVLQJ(cid:3)IHHV(cid:3)IRU(cid:3)ERWK(cid:3)SURJUDPV(cid:3)DQG(cid:3)PRGLI\LQJ(cid:3)LWV(cid:3)SUHQDWDO
VFUHHQLQJ(cid:3)WHVWV(cid:3)ZLWKRXW(cid:3)ILUVW(cid:3)DGRSWLQJ(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)DXWKRUL]H
WKHVH(cid:3)FKDQJHV(cid:17)
6(cid:16)(cid:21)
5HFRPPHQGDWLRQV
7R(cid:3)LPSURYH(cid:3)LWV(cid:3)IHH(cid:3)VHWWLQJ(cid:15)(cid:3)ELOOLQJ(cid:15)(cid:3)DQG(cid:3)FROOHFWLRQ(cid:3)SURFHVVHV(cid:3)IRU
WKH(cid:3) SUHQDWDO(cid:3) DQG(cid:3) QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:15)(cid:3) WKH(cid:3) EUDQFK
QHHGV(cid:3)WR(cid:3)GR(cid:3)WKH(cid:3)IROORZLQJ(cid:29)
• (VWDEOLVK(cid:3)SURFHGXUHV(cid:3)IRU(cid:3)PRQLWRULQJ(cid:3)DQG(cid:3)DQDO\]LQJ(cid:3)VHSDUDWHO\
WKH(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)IRU(cid:3)HDFK(cid:3)SURJUDP(cid:17)
• ([DPLQH(cid:3)IHHV(cid:3)IRU(cid:3)HDFK(cid:3)SURJUDP(cid:3)DW(cid:3)OHDVW(cid:3)RQFH(cid:3)D(cid:3)\HDU(cid:3)DQG(cid:3)WKHQ
DGMXVW(cid:3)SDWLHQW(cid:3)IHHV(cid:3)LI(cid:3)WKH(cid:3)GLIIHUHQFH(cid:3)EHWZHHQ(cid:3)FRVWV(cid:3)DQG(cid:3)IHHV(cid:3)LV
VLJQLILFDQW(cid:17)
• 5HGXFH(cid:3)SUHQDWDO(cid:3)IHHV(cid:3)VR(cid:3)WKDW(cid:3)WKH\(cid:3)PRUH(cid:3)FORVHO\(cid:3)UHIOHFW(cid:3)WKH
FRVWV(cid:3)RI(cid:3)WKH(cid:3)SURJUDP(cid:17)
• 2IIHU(cid:3)HDFK(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)SDWLHQW(cid:3)YDULRXV(cid:3)ZD\V(cid:3)WR(cid:3)PDNH
SD\PHQWV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)DOVR(cid:3)UHTXLUH(cid:3)WKH(cid:3)SDWLHQW(cid:3)WR
VHOHFW(cid:3)D(cid:3)SD\PHQW(cid:3)RSWLRQ(cid:3)DQG(cid:3)WR(cid:3)PDNH(cid:3)D(cid:3)SD\PHQW(cid:3)DW(cid:3)WKH(cid:3)WLPH
RI(cid:3)WHVWLQJ(cid:17)
• %LOO(cid:3)PRUH(cid:3)KHDOWK(cid:3)SODQV(cid:3)GLUHFWO\(cid:3)IRU(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:17)
• ,QFOXGH(cid:3)RQ(cid:3)SDWLHQW(cid:3)LQYRLFHV(cid:3)ODQJXDJH(cid:3)WKDW(cid:3)KLJKOLJKWV(cid:3)RYHUGXH
EDODQFHV(cid:15)(cid:3)DQG(cid:3)FRQWLQXH(cid:3)WR(cid:3)ELOO(cid:3)SDWLHQWV(cid:3)ZKR(cid:3)IDLO(cid:3)WR(cid:3)SD\(cid:17)
• (VWDEOLVK(cid:3)D(cid:3)SURFHVV(cid:3)IRU(cid:3)DWWDFKLQJ(cid:3)D(cid:3)SDWLHQW“V(cid:3)WD[(cid:3)UHIXQG(cid:3)IRU
WKH(cid:3)DPRXQW(cid:3)GXH(cid:3)LI(cid:3)WKH(cid:3)SDWLHQW(cid:3)GRHV(cid:3)QRW(cid:3)SD\(cid:3)KHU(cid:3)ELOO(cid:3)IRU(cid:3)WKH
SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:17)
• &RQWLQXH(cid:3)WU\LQJ(cid:3)WR(cid:3)REWDLQ(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)SUHQDWDO(cid:3)IHHV
GXH(cid:3)IURP(cid:3)0HGL(cid:16)&DO(cid:17)
• ’HYHORS(cid:3)SURFHGXUHV(cid:3)WR(cid:3)UHIXQG(cid:3)WKH(cid:3)RYHUSD\PHQWV(cid:3)RI(cid:3)SUHQDWDO
WHVWLQJ(cid:3)IHHV(cid:3)WKDW(cid:3)LW(cid:3)FXUUHQWO\(cid:3)KROGV(cid:15)(cid:3)DQG(cid:3)SURPSWO\(cid:3)UHIXQG(cid:3)DQ\
RYHUSD\PHQWV(cid:3)LW(cid:3)UHFHLYHV(cid:3)LQ(cid:3)WKH(cid:3)IXWXUH(cid:17)
)XUWKHU(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) QHHGV(cid:3) WR(cid:3) HQVXUH(cid:3) WKDW(cid:3) LW(cid:3) UHFHLYHV(cid:3) WKH
KLJKHVW(cid:16)TXDOLW\(cid:3)VHUYLFHV(cid:3)DW(cid:3)WKH(cid:3)PRVW(cid:3)UHDVRQDEOH(cid:3)SULFHV(cid:3)DQG(cid:3)PDNHV
WKH(cid:3)EHVW(cid:3)XVH(cid:3)RI(cid:3)SXEOLF(cid:3)UHVRXUFHV(cid:17)(cid:3)(cid:3)7R(cid:3)DFKLHYH(cid:3)WKHVH(cid:3)JRDOV(cid:15)(cid:3)WKH
EUDQFK(cid:3)VKRXOG(cid:3)FRQWLQXH(cid:3)WR(cid:3)XVH(cid:3)D(cid:3)FRPSHWLWLYH(cid:3)ELGGLQJ(cid:3)SURFHVV(cid:3)WR
DZDUG(cid:3)FRQWUDFWV(cid:3)IRU(cid:3)ODERUDWRU\(cid:3)WHVWLQJ(cid:3)VHUYLFHV(cid:17)
)LQDOO\(cid:15)(cid:3)WR(cid:3)PDNH(cid:3)FHUWDLQ(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)DGRSWV(cid:3)HPHUJHQF\
UHJXODWLRQV(cid:3)RQO\(cid:3)ZKHQ(cid:3)QHFHVVDU\(cid:3)DQG(cid:3)WKDW(cid:3)LW(cid:3)FRPSOLHV(cid:3)ZLWK(cid:3)WKH
$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:15)(cid:3)WKH(cid:3)IROORZLQJ(cid:3)FKDQJHV(cid:3)QHHG(cid:3)WR
RFFXU(cid:29)
6(cid:16)(cid:22)
• 7KH(cid:3)/HJLVODWXUH(cid:3)VKRXOG(cid:3)UHPRYH(cid:3)ODQJXDJH(cid:3)IURP(cid:3)WKH(cid:3)+HDOWK
DQG(cid:3) 6DIHW\(cid:3) &RGH(cid:3) WKDW(cid:3) GHVLJQDWHV(cid:3) DV(cid:3) HPHUJHQFLHV(cid:3) DOO
UHJXODWLRQV(cid:3)UHODWHG(cid:3)WR(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ
SURJUDPV(cid:17)
• 7KH(cid:3)/HJLVODWXUH(cid:3)VKRXOG(cid:3)DOVR(cid:3)GHOHWH(cid:3)ODQJXDJH(cid:3)LQ(cid:3)WKH(cid:3)+HDOWK
DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)WKDW(cid:3)UHTXLUHV(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)WR(cid:3)ILOH(cid:3)EUDQFK
UHJXODWLRQV(cid:3) GLUHFWO\(cid:3) ZLWK(cid:3) WKH(cid:3) 6HFUHWDU\(cid:3) RI(cid:3) 6WDWH(cid:3) DQG(cid:3) WKDW
H[HPSWV(cid:3)WKH(cid:3)UHJXODWLRQV(cid:3)IURP(cid:3)SRVVLEOH(cid:3)UHSHDO(cid:3)E\(cid:3)WKH(cid:3)2IILFH
RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:17)
• %HIRUH(cid:3) LPSOHPHQWLQJ(cid:3) SURJUDP(cid:3) FKDQJHV(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW
VKRXOG(cid:3)FRPSO\(cid:3)ZLWK(cid:3)WKH(cid:3)$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:3)E\
DGRSWLQJ(cid:3)UHJXODWLRQV(cid:3)WKDW(cid:3)FRYHU(cid:3)WKRVH(cid:3)FKDQJHV(cid:17)
$JHQF\(cid:3)&RPPHQWV
,Q(cid:3)LWV(cid:3)UHVSRQVH(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)SURYLGHV(cid:3)DGGLWLRQDO(cid:3)LQIRUPDWLRQ
UHJDUGLQJ(cid:3) WKH(cid:3) EUDQFK“V(cid:3) IHH(cid:3) VHWWLQJ(cid:3) DQG(cid:3) FROOHFWLRQ(cid:3) HIIRUWV(cid:17)
$OWKRXJK(cid:3) LW(cid:3) JHQHUDOO\(cid:3) FRQFXUV(cid:3) ZLWK(cid:3) RXU(cid:3) UHFRPPHQGDWLRQV(cid:15)(cid:3) LW
GRHV(cid:3)QRW(cid:3)DJUHH(cid:3)WKDW(cid:3)WKH(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)VKRXOG
UHYLHZ(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:17)
6(cid:16)(cid:23)
Introduction
%DFNJURXQG
7
KH(cid:3) PLVVLRQ(cid:3) RI(cid:3) WKH(cid:3) ’HSDUWPHQW(cid:3) RI(cid:3) +HDOWK(cid:3) 6HUYLFHV
(cid:11)GHSDUWPHQW(cid:12)(cid:3) LV(cid:3) WR(cid:3) SURWHFW(cid:3) DQG(cid:3) LPSURYH(cid:3) WKH(cid:3) KHDOWK(cid:3) RI
DOO(cid:3) &DOLIRUQLD(cid:3) UHVLGHQWV(cid:17)(cid:3) (cid:3) 7R(cid:3) DFFRPSOLVK(cid:3) WKLV(cid:3) PLVVLRQ(cid:15)
WKH(cid:3)GHSDUWPHQW(cid:3)DGPLQLVWHUV(cid:3)D(cid:3)YDULHW\(cid:3)RI(cid:3)SURJUDPV(cid:3)WR(cid:3)SURPRWH
D(cid:3) SUHYHQWLYH(cid:15)(cid:3) FRRUGLQDWHG(cid:15)(cid:3) DFFRXQWDEOH(cid:15)(cid:3) KLJK(cid:16)TXDOLW\(cid:15)
DQG(cid:3) DIIRUGDEOH(cid:3) KHDOWK(cid:3) FDUH(cid:3) V\VWHP(cid:3) IRU(cid:3) DOO(cid:3) UHVLGHQWV(cid:17)(cid:3) (cid:3) 7KH
GHSDUWPHQW“V(cid:3) HIIRUW(cid:3) LQFOXGHV(cid:3) SURJUDPV(cid:3) IRU(cid:3) WHVWLQJ(cid:3) SUHJQDQW
ZRPHQ(cid:3)DQG(cid:3)QHZERUQ(cid:3)EDELHV(cid:3)IRU(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:17)
7KH(cid:3) *HQHWLF(cid:3) ’LVHDVH(cid:3) %UDQFK(cid:3) (cid:11)EUDQFK(cid:12)(cid:3) DGPLQLVWHUV(cid:3) WKH
GHSDUWPHQW“V(cid:3)JHQHWLF(cid:3)VHUYLFHV(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK“V(cid:3)JRDO(cid:3)LV(cid:3)WR
UHGXFH(cid:3)IRU(cid:3)DOO(cid:3)&DOLIRUQLDQV(cid:3)WKH(cid:3)EXUGHQ(cid:3)RI(cid:3)GLVDELOLW\(cid:3)DQG(cid:3)GHDWK
FDXVHG(cid:3) E\(cid:3) LQKHULWHG(cid:3) RU(cid:3) JHQHWLFDOO\(cid:3) GHWHUPLQHG(cid:3) GLVRUGHUV(cid:3) DQG
FRQJHQLWDO(cid:3)PDOIRUPDWLRQV(cid:17)(cid:3)(cid:3)7R(cid:3)DFFRPSOLVK(cid:3)LWV(cid:3)JRDO(cid:15)(cid:3)WKH(cid:3)EUDQFK
SURYLGHV(cid:3) HDUO\(cid:3) GLDJQRVLV(cid:15)(cid:3) SUHQDWDO(cid:3) GHWHFWLRQ(cid:15)(cid:3) HGXFDWLRQ(cid:3) DQG
FRXQVHOLQJ(cid:15)(cid:3)SUHYHQWLRQ(cid:15)(cid:3)DQG(cid:3)UHIHUUDO(cid:3)IRU(cid:3)WUHDWPHQW(cid:17)(cid:3)(cid:3)7KH(cid:3)SUHQDWDO
DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:15)(cid:3)ZKLFK(cid:3)DUH(cid:3)WKH(cid:3)EUDQFK“V(cid:3)WZR
PDLQ(cid:3)SURJUDPV(cid:15)(cid:3)WHVW(cid:3)SUHJQDQW(cid:3)ZRPHQ(cid:3)DQG(cid:3)QHZERUQ(cid:3)EDELHV(cid:3)IRU
FHUWDLQ(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)DOVR(cid:3)RSHUDWHV(cid:3)WKH(cid:3)*HQHWLF
’LVHDVH(cid:3) /DERUDWRU\(cid:15)(cid:3) ZKLFK(cid:3) LV(cid:3) UHVSRQVLEOH(cid:3) IRU(cid:3) PRQLWRULQJ
ODERUDWRULHV(cid:3)WKDW(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)EUDQFK(cid:3)DQG(cid:3)SURYLGLQJ(cid:3)TXDOLW\
FRQWURO(cid:3)RYHU(cid:3)WKH(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:17)
7KH(cid:3)3UHQDWDO(cid:3)6FUHHQLQJ(cid:3)3URJUDP
IRU(cid:3)3UHJQDQW(cid:3):RPHQ
&DOOHG(cid:3) WKH(cid:3) &DOLIRUQLD(cid:3) ([SDQGHG(cid:3) $OSKD(cid:16))HWRSURWHLQ(cid:3) 6FUHHQLQJ
3URJUDP(cid:15)(cid:3)WKH(cid:3)FXUUHQW(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)LV(cid:3)YROXQWDU\(cid:15)
DQG(cid:3) LWV(cid:3) JRDO(cid:3) LV(cid:3) WR(cid:3) RIIHU(cid:3) D(cid:3) VFUHHQLQJ(cid:3) WHVW(cid:3) WR(cid:3) DOO(cid:3) ZRPHQ(cid:3) LQ
&DOLIRUQLD(cid:3)ZKR(cid:3)DUH(cid:3)EHWZHHQ(cid:3)(cid:20)(cid:24)(cid:3)WR(cid:3)(cid:21)(cid:19)(cid:3)ZHHNV(cid:3)SUHJQDQW(cid:17)(cid:3)(cid:3)7KH
SUHQDWDO(cid:3) SURJUDP(cid:3) EHJDQ(cid:3) LQ(cid:3) (cid:20)(cid:28)(cid:27)(cid:25)(cid:3) ZKHQ(cid:3) WKH(cid:3) 6WDWH(cid:3) RIIHUHG(cid:3) WR
SUHJQDQW(cid:3)ZRPHQ(cid:3)D(cid:3)WHVW(cid:3)WR(cid:3)VFUHHQ(cid:3)IRU(cid:3)QHXUDO(cid:3)WXEH(cid:3)GHIHFWV(cid:3)LQ(cid:3)WKHLU
IHWXVHV(cid:3) (cid:11)XQERUQ(cid:3) EDELHV(cid:12)(cid:17)(cid:3) (cid:3) 6XFK(cid:3) GHIHFWV(cid:3) LQFOXGH(cid:3) VSLQD(cid:3) ELILGD(cid:15)
ZKLFK(cid:3) LV(cid:3) D(cid:3) JHQHWLF(cid:3) GLVRUGHU(cid:3) WKDW(cid:3) UHVXOWV(cid:3) LQ(cid:3) VHYHUH(cid:3) FULSSOLQJ(cid:15)
PHQWDO(cid:3)UHWDUGDWLRQ(cid:15)(cid:3)RU(cid:3)GHDWK(cid:3)RI(cid:3)WKH(cid:3)FKLOG(cid:3)DIWHU(cid:3)ELUWK(cid:17)(cid:3)(cid:3).QRZQ(cid:3)DV(cid:3)D
VLQJOH(cid:3)PDUNHU(cid:3)WHVW(cid:15)(cid:3)WKH(cid:3)VFUHHQLQJ(cid:3)SURFHGXUH(cid:3)DOVR(cid:3)GHWHFWV(cid:3)D(cid:3)VPDOO
SHUFHQWDJH(cid:3)RI(cid:3)FHUWDLQ(cid:3)FKURPRVRPDO(cid:3)GLVRUGHUV(cid:15)(cid:3)VXFK(cid:3)DV(cid:3)’RZQ
V\QGURPH(cid:17)(cid:3)(cid:3),Q(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)H[SDQGHG(cid:3)WKH(cid:3)SUHQDWDO
SURJUDP(cid:3) WR(cid:3) LQFOXGH(cid:3) WHVWV(cid:3) WKDW(cid:3) LPSURYH(cid:3) WKH(cid:3) GHWHFWLRQ
RI(cid:3)FKURPRVRPDO(cid:3)GLVRUGHUV(cid:17)(cid:3) (cid:3) 7KH(cid:3) H[SDQGHG(cid:3) SUHQDWDO(cid:3) SURJUDP
(cid:20)
HPSOR\V(cid:3) D(cid:3) WULSOH(cid:3) PDUNHU(cid:3) WHVW(cid:3) WKDW(cid:3) DQDO\]HV(cid:3) WKH(cid:3) H[LVWHQFH(cid:3) RI
JHQHWLF(cid:3) GLVRUGHUV(cid:3) EDVHG(cid:3) RQ(cid:3) WKUHH(cid:3) VXEVWDQFHV(cid:3) FRQWDLQHG(cid:3) LQ(cid:3) D
SUHJQDQW(cid:3)ZRPDQ“V(cid:3)EORRG(cid:17)
’XULQJ(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3) DSSUR[LPDWHO\(cid:3) (cid:22)(cid:24)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) ZRPHQ
FKRVH(cid:3)WR(cid:3)WDNH(cid:3)WHVWV(cid:3)XQGHU(cid:3)WKH(cid:3)EUDQFK“V(cid:3)SUHQDWDO(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)$
(cid:7)(cid:20)(cid:20)(cid:24)(cid:3)IHH(cid:3)FRYHUV(cid:3)DOO(cid:3)QHFHVVDU\(cid:3)SURJUDP(cid:3)VHUYLFHV(cid:17)(cid:3)(cid:3)(cid:11):RPHQ(cid:3)ZKR
KDYH(cid:3)XQGHUJRQH(cid:3)FHUWDLQ(cid:3)JHQHWLF(cid:3)WHVWLQJ(cid:3)EHIRUH(cid:3)WKHLU(cid:3)(cid:20)(cid:24)WK(cid:3)ZHHN
RI(cid:3)SUHJQDQF\(cid:3)UHFHLYH(cid:3)RQO\(cid:3)WKH(cid:3)VLQJOH(cid:3)PDUNHU(cid:3)WHVW(cid:30)(cid:3)WKH(cid:3)EUDQFK
FKDUJHV(cid:3)D(cid:3)(cid:7)(cid:24)(cid:26)(cid:3)IHH(cid:3)IRU(cid:3)WKLV(cid:3)WHVW(cid:17)(cid:12)(cid:3)(cid:3)7KH(cid:3)SUHQDWDO(cid:3)SURJUDP(cid:3)FRYHUV(cid:3)WKH
ZRPDQ“V(cid:3) LQLWLDO(cid:3) EORRG(cid:3) WHVW(cid:3) DQG(cid:3) DOO(cid:3) QHFHVVDU\(cid:3) IROORZ(cid:16)XS
GLDJQRVWLF(cid:3)WHVWLQJ(cid:17)(cid:3)(cid:3)$(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:3)FDQ(cid:3)RQO\(cid:3)DVVHVV(cid:3)WKH(cid:3)ULVN(cid:3)WKDW
D(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:3)H[LVWV(cid:17)(cid:3)(cid:3)7KXV(cid:15)(cid:3)LI(cid:3)WKH(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:3)LQGLFDWHV(cid:3)D
KLJKHU(cid:16)WKDQ(cid:16)QRUPDO(cid:3) ULVN(cid:3) RI(cid:3) D(cid:3) JHQHWLF(cid:3) GLVRUGHU(cid:15)(cid:3) WKH(cid:3) ZRPDQ
UHFHLYHV(cid:3) IURP(cid:3) WKH(cid:3) 6WDWH(cid:15)(cid:3) DW(cid:3) QR(cid:3) DGGLWLRQDO(cid:3) FRVW(cid:3) WR(cid:3) KHU(cid:15)(cid:3) ERWK
FRXQVHOLQJ(cid:3) DQG(cid:3) WKH(cid:3) QHFHVVDU\(cid:3) GLDJQRVWLF(cid:3) WHVWLQJ(cid:3) WR(cid:3) FRQILUP
ZKHWKHU(cid:3)WKH(cid:3)XQERUQ(cid:3)EDE\(cid:3)KDV(cid:3)WKH(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:17)(cid:3)(cid:3)7KH(cid:3)FRVW(cid:3)RI
WKHVH(cid:3)IROORZ(cid:16)XS(cid:3)VHUYLFHV(cid:3)LV(cid:3)PXFK(cid:3)JUHDWHU(cid:3)WKDQ(cid:3)WKH(cid:3)(cid:7)(cid:20)(cid:20)(cid:24)(cid:3)IHH(cid:17)(cid:3)(cid:3),Q
ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:21)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)ZRPHQ(cid:3)(cid:11)(cid:24)(cid:17)(cid:25)(cid:3)SHUFHQW(cid:3)RI
ZRPHQ(cid:3)SDUWLFLSDWLQJ(cid:12)(cid:3)FKRVH(cid:3)WR(cid:3)KDYH(cid:3)IROORZ(cid:16)XS(cid:3)VHUYLFHV(cid:17)
6WDWH(cid:3)UHJXODWLRQV(cid:3)UHTXLUH(cid:3)SUHQDWDO(cid:3)FDUH(cid:3)SURYLGHUV(cid:3)(cid:11)FOLQLFLDQV(cid:12)(cid:3)WR
RIIHU(cid:3)HYHU\(cid:3)SUHJQDQW(cid:3)ZRPDQ(cid:3)WKH(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:17)(cid:3)(cid:3),I(cid:3)WKH
ZRPDQ(cid:3)DFFHSWV(cid:15)(cid:3)VKH(cid:3)KDV(cid:3)D(cid:3)EORRG(cid:3)VDPSOH(cid:3)GUDZQ(cid:3)E\(cid:3)KHU(cid:3)FOLQLFLDQ
RU(cid:3)DQ\(cid:3)ODERUDWRU\(cid:17)(cid:3)(cid:3)7KH(cid:3)ZRPDQ“V(cid:3)EORRG(cid:3)VDPSOH(cid:3)LV(cid:3)VHQW(cid:3)WR(cid:3)RQH(cid:3)RI
HLJKW(cid:3)SULYDWH(cid:3)ODERUDWRULHV(cid:3)XQGHU(cid:3)FRQWUDFW(cid:3)ZLWK(cid:3)WKH(cid:3)EUDQFK(cid:17)(cid:3)(cid:3)7KHVH
ODERUDWRULHV(cid:3)DQDO\]H(cid:3)WKH(cid:3)EORRG(cid:3)VDPSOHV(cid:3)XVLQJ(cid:3)HTXLSPHQW(cid:3)DQG
FKHPLFDOV(cid:3)SURYLGHG(cid:3)E\(cid:3)WKH(cid:3)EUDQFK(cid:17)(cid:3)(cid:3)7KH(cid:3)ODERUDWRULHV(cid:3)HQWHU(cid:3)WKH
WHVW(cid:3) UHVXOWV(cid:15)(cid:3) DORQJ(cid:3) ZLWK(cid:3) DSSOLFDEOH(cid:3) GHPRJUDSKLF(cid:3) GDWD(cid:15)(cid:3) LQWR
FRPSXWHU(cid:3)WHUPLQDOV(cid:3)OLQNHG(cid:3)WR(cid:3) WKH(cid:3) EUDQFK“V(cid:3) FRPSXWHU(cid:3) V\VWHP(cid:17)
%HIRUH(cid:3)WKH(cid:3)EUDQFK(cid:3)UHOHDVHV(cid:3)WKH(cid:3)UHVXOWV(cid:3)WR(cid:3)WKH(cid:3)SDWLHQW“V(cid:3)FOLQLFLDQ(cid:15)
LWV(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)/DERUDWRU\(cid:3)SHUIRUPV(cid:3)D(cid:3)TXDOLW\(cid:3)FRQWURO(cid:3)FKHFN
DQG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)LQWHUSUHWV(cid:3)WKH(cid:3)WHVW(cid:3)UHVXOWV(cid:3)DQG
GHPRJUDSKLF(cid:3)GDWD(cid:3)WR(cid:3)DVVHVV(cid:3)WKH(cid:3)ULVN(cid:3)WKDW(cid:3)WKH(cid:3)XQERUQ(cid:3)EDE\(cid:3)PD\
KDYH(cid:3)D(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:17)
:KHQ(cid:3) WHVW(cid:3) UHVXOWV(cid:3) LQGLFDWH(cid:3) WKDW(cid:3) D(cid:3) SUHJQDQW(cid:3) ZRPDQ“V(cid:3) XQERUQ
EDE\(cid:3)KDV(cid:3)D(cid:3)KLJKHU(cid:16)WKDQ(cid:16)QRUPDO(cid:3)ULVN(cid:3)RI(cid:3)D(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:15)(cid:3)WKH
EUDQFK(cid:3)FRPPXQLFDWHV(cid:3)WKH(cid:3)WHVW(cid:3)UHVXOW(cid:3)WR(cid:3)D(cid:3)FRRUGLQDWRU(cid:3)DW(cid:3)RQH(cid:3)RI
(cid:20)(cid:23)(cid:3)DUHD(cid:3)JHQHWLF(cid:3)FHQWHUV(cid:17)(cid:3)(cid:3)7KH(cid:3) FRRUGLQDWRU(cid:3) WKHQ(cid:3) FRQWDFWV(cid:3) WKH
SUHJQDQW(cid:3)ZRPDQ“V(cid:3)FOLQLFLDQ(cid:3)WR(cid:3)DUUDQJH(cid:3)IRU(cid:3)IROORZ(cid:16)XS(cid:3)VHUYLFHV(cid:3)WR
GHWHUPLQH(cid:3)LI(cid:3)WKH(cid:3)XQERUQ(cid:3)EDE\(cid:3)KDV(cid:3)WKH(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:17)(cid:3)(cid:3)7KHVH
VHUYLFHV(cid:3)DUH(cid:3)SURYLGHG(cid:3)E\(cid:3)RQH(cid:3)RI(cid:3)(cid:21)(cid:25)(cid:3)SUHQDWDO(cid:3)GLDJQRVWLF(cid:3)FHQWHUV
DSSURYHG(cid:3)E\(cid:3)WKH(cid:3)EUDQFK(cid:3)DQG(cid:3)DUH(cid:3)LQFOXGHG(cid:3)LQ(cid:3)WKH(cid:3)FRVW(cid:3)RI(cid:3)WKH
RULJLQDO(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:17)(cid:3)(cid:3)7KH(cid:3)FRRUGLQDWRU(cid:3)VXSSOLHV(cid:3)WKH(cid:3)ZRPDQ“V
FOLQLFLDQ(cid:3)ZLWK(cid:3)WKH(cid:3)QDPHV(cid:3)RI(cid:3)WKH(cid:3)SUHQDWDO(cid:3)GLDJQRVWLF(cid:3)FHQWHUV(cid:3)LQ
WKH(cid:3)DUHD(cid:30)(cid:3)WKH(cid:3)FOLQLFLDQ(cid:3)FKRRVHV(cid:3)ZKHUH(cid:3)WR(cid:3)VHQG(cid:3)WKH(cid:3)ZRPDQ(cid:3)IRU
IROORZ(cid:16)XS(cid:3)VHUYLFHV(cid:17)
(cid:21)
)RU(cid:3) ZRPHQ(cid:3) ZKR(cid:3) QHHG(cid:3) IROORZ(cid:16)XS(cid:3) VHUYLFHV(cid:15)(cid:3) WKH(cid:3) SUHQDWDO
GLDJQRVWLF(cid:3) FHQWHUV(cid:3) LQLWLDOO\(cid:3) SURYLGH(cid:3) JHQHWLF(cid:3) FRXQVHOLQJ(cid:15)(cid:3) DQ
XOWUDVRXQG(cid:3)RI(cid:3)WKH(cid:3)XQERUQ(cid:3)FKLOG(cid:15)(cid:3)DQG(cid:3)DQ\(cid:3)QHFHVVDU\(cid:3)GLDJQRVWLF
WHVWLQJ(cid:17)(cid:3)(cid:3)7R(cid:3)GHWHUPLQH(cid:3)ZKHWKHU(cid:3)WKH(cid:3)XQERUQ(cid:3)FKLOG(cid:3)KDV(cid:3)WKH(cid:3)JHQHWLF
GLVRUGHU(cid:15)(cid:3) WKH(cid:3) SUHQDWDO(cid:3) GLDJQRVWLF(cid:3) FHQWHU(cid:3) SHUIRUPV(cid:3) DQ
DPQLRFHQWHVLV(cid:3) (cid:11)GUDZLQJ(cid:3) RI(cid:3) IOXLG(cid:3) IURP(cid:3) WKH(cid:3) SUHJQDQW(cid:3) ZRPDQ“V
XWHUXV(cid:12)(cid:3) DQG(cid:3) NDU\RW\SH(cid:3) (cid:11)DQDO\VLV(cid:3) RI(cid:3) WKH(cid:3) FKURPRVRPHV(cid:3) LQ(cid:3) WKLV
IOXLG(cid:12)(cid:17)(cid:3)(cid:3)7KLV(cid:3)SURFHGXUH(cid:3)\LHOGV(cid:3)KLJKO\(cid:3)DFFXUDWH(cid:3)UHVXOWV(cid:15)(cid:3)ZKLFK(cid:3)DUH
DYDLODEOH(cid:3)LQ(cid:3)DERXW(cid:3)WZR(cid:3)ZHHNV(cid:17)(cid:3)(cid:3),I(cid:3)WKH(cid:3)UHVXOWV(cid:3)VKRZ(cid:3)D(cid:3)JHQHWLF
GLVRUGHU(cid:15)(cid:3) WKH(cid:3) SUHJQDQW(cid:3) ZRPDQ(cid:3) UHFHLYHV(cid:3) DGGLWLRQDO(cid:3) JHQHWLF
FRXQVHOLQJ(cid:3)WR(cid:3)H[SODLQ(cid:3)WKH(cid:3)UHVXOWV(cid:3)DQG(cid:3)WR(cid:3)GLVFXVV(cid:3)KHU(cid:3)RSWLRQV(cid:17)(cid:3)(cid:3)$W
WKDW(cid:3)SRLQW(cid:15)(cid:3)WKH(cid:3)6WDWH“V(cid:3)SUHQDWDO(cid:3)SURJUDP(cid:3)VHUYLFHV(cid:3)HQG(cid:15)(cid:3)DQG(cid:3)WKH
ZRPDQ(cid:3)PXVW(cid:3)GHFLGH(cid:3)DQ\(cid:3)IXUWKHU(cid:3)VWHSV(cid:3)VKH(cid:3)ZLVKHV(cid:3)WR(cid:3)WDNH(cid:17)
7KH(cid:3)6FUHHQLQJ(cid:3)3URJUDP(cid:3)IRU(cid:3)1HZERUQ(cid:3)%DELHV
$OPRVW(cid:3)DOO(cid:3)VWDWHV(cid:3)RIIHU(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)WHVWV(cid:3)WR(cid:3)WKHLU(cid:3)UHVLGHQWV(cid:15)
DQG(cid:3)WKH(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)LV(cid:3)PDQGDWRU\(cid:3)LQ(cid:3)&DOLIRUQLD(cid:17)
8QGHU(cid:3) WKLV(cid:3) SURJUDP(cid:15)(cid:3) DSSUR[LPDWHO\(cid:3) (cid:24)(cid:23)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) QHZERUQV(cid:3) LQ
&DOLIRUQLD(cid:3) UHFHLYHG(cid:3) WHVWV(cid:3) IRU(cid:3) FHUWDLQ(cid:3) JHQHWLF(cid:3) GLVRUGHUV(cid:3) GXULQJ
ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:17)
7KH(cid:3) QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDP(cid:3) EHJDQ(cid:3) LQ(cid:3) (cid:20)(cid:28)(cid:25)(cid:25)(cid:3) ZKHQ(cid:3) WKH
6WDWH(cid:3) UHTXLUHG(cid:3) WKDW(cid:3) DOO(cid:3) QHZERUQV(cid:3) UHFHLYH(cid:3) WHVWV(cid:3) IRU
SKHQ\ONHWRQXULD(cid:3)(cid:11)3.8(cid:12)(cid:17)(cid:3)(cid:3)%DELHV(cid:3)ERUQ(cid:3)ZLWK(cid:3) 3.8(cid:3) FDQQRW(cid:3)IXOO\
PHWDEROL]H(cid:3)SURWHLQ(cid:3)IRRGV(cid:17)(cid:3)(cid:3),I(cid:3)WKH(cid:3)EDELHV(cid:3)JR(cid:3)XQWUHDWHG(cid:15)(cid:3)WKH\(cid:3)FDQ
EHFRPH(cid:3)PHQWDOO\(cid:3)UHWDUGHG(cid:17)(cid:3)(cid:3)7KLV(cid:3)GLVRUGHU(cid:3)DIIHFWV(cid:3)RQO\(cid:3)DERXW(cid:3)RQH
LQ(cid:3) (cid:21)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) QHZERUQV(cid:30)(cid:3) KRZHYHU(cid:15)(cid:3) EHIRUH(cid:3) WKH(cid:3) 6WDWH(cid:3) LQLWLDWHG
WKLV(cid:3) SURJUDP(cid:15)(cid:3) RQH(cid:3) RXW(cid:3) RI(cid:3) HYHU\(cid:3) (cid:20)(cid:19)(cid:19)(cid:3) UHVLGHQWV(cid:3) RI(cid:3) VWDWH
PHQWDO(cid:3)KRVSLWDOV(cid:3)KDG(cid:3)WKLV(cid:3)GLVRUGHU(cid:17)(cid:3)(cid:3),Q(cid:3)2FWREHU(cid:3)(cid:20)(cid:28)(cid:27)(cid:19)(cid:15)(cid:3)WKH(cid:3)6WDWH
H[SDQGHG(cid:3) LWV(cid:3) QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDP(cid:3) WR(cid:3) WHVW(cid:3) IRU(cid:3) WZR
PRUH(cid:3)JHQHWLF(cid:3) GLVRUGHUV(cid:17)(cid:3) (cid:3),Q(cid:3) )HEUXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:19)(cid:15)(cid:3) WKH(cid:3) 6WDWH(cid:3) DGGHG
VFUHHQLQJ(cid:3) WHVWV(cid:3) IRU(cid:3) VLFNOH(cid:16)FHOO(cid:3) GLVHDVH(cid:3) DQG(cid:3) UHODWHG(cid:3) GLVRUGHUV(cid:17)
(DUO\(cid:3)GHWHFWLRQ(cid:3)RI(cid:3)WKHVH(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:3)SHUPLWV(cid:3)WUHDWPHQW(cid:3)WR
SUHYHQW(cid:3)PHQWDO(cid:3)UHWDUGDWLRQ(cid:3)RU(cid:15)(cid:3)LQ(cid:3)WKH(cid:3)FDVH(cid:3)RI(cid:3)VLFNOH(cid:16)FHOO(cid:3)GLVHDVH(cid:15)
IDWDO(cid:3)LQIHFWLRQV(cid:17)
8VXDOO\(cid:15)(cid:3)WHVWLQJ(cid:3)RI(cid:3)QHZERUQV(cid:3)EHJLQV(cid:3)DW(cid:3)WKH(cid:3)KRVSLWDOV(cid:3)ZKHUH(cid:3)WKH
EDELHV(cid:3)ZHUH(cid:3)ERUQ(cid:17)(cid:3)(cid:3)%HIRUH(cid:3)HDFK(cid:3)EDE\(cid:3)JRHV(cid:3)KRPH(cid:15)(cid:3)WKH(cid:3)KRVSLWDO
FROOHFWV(cid:3)D(cid:3)IHZ(cid:3)GURSV(cid:3)RI(cid:3)EORRG(cid:3)IURP(cid:3)WKH(cid:3)QHZERUQ“V(cid:3)KHHO(cid:3)RQ(cid:3)D
SLHFH(cid:3)RI(cid:3)ILOWHU(cid:3)SDSHU(cid:17)(cid:3)(cid:3)7KH(cid:3)KRVSLWDO(cid:3)WKHQ(cid:3)VHQGV(cid:3)WKH(cid:3)QHZERUQ“V
EORRG(cid:3)VDPSOH(cid:3)WR(cid:3)RQH(cid:3)RI(cid:3)HLJKW(cid:3)SULYDWH(cid:3)ODERUDWRULHV(cid:3)XQGHU(cid:3)FRQWUDFW
ZLWK(cid:3)WKH(cid:3)EUDQFK(cid:17)(cid:3)(cid:3)(cid:11)7KH(cid:3)VDPH(cid:3)HLJKW(cid:3)ODERUDWRULHV(cid:3)SHUIRUP(cid:3)ERWK(cid:3)WKH
SUHQDWDO(cid:3) DQG(cid:3) QHZERUQ(cid:3) WHVWLQJ(cid:17)(cid:12)(cid:3) (cid:3) $V(cid:3) LQ(cid:3) WKH(cid:3) FDVH(cid:3) RI(cid:3) SUHQDWDO
WHVWLQJ(cid:15)(cid:3) WKHVH(cid:3) ODERUDWRULHV(cid:3) DQDO\]H(cid:3) QHZERUQV“(cid:3) EORRG
VDPSOHV(cid:3) DQG(cid:3) HQWHU(cid:3) WKH(cid:3) WHVW(cid:3) UHVXOWV(cid:15)(cid:3) WRJHWKHU(cid:3) ZLWK(cid:3) DSSOLFDEOH
GHPRJUDSKLF(cid:3) GDWD(cid:15)(cid:3) LQWR(cid:3) FRPSXWHU(cid:3) WHUPLQDOV(cid:3) OLQNHG(cid:3) WR(cid:3) WKH
(cid:22)
EUDQFK“V(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)%HIRUH(cid:3)WKH(cid:3)EUDQFK(cid:3)UHOHDVHV(cid:3)WKH(cid:3)WHVW
UHVXOWV(cid:3) WR(cid:3) SK\VLFLDQV(cid:3) DQG(cid:3) WKHLU(cid:3) SDWLHQWV(cid:15)(cid:3) LWV(cid:3) *HQHWLF(cid:3) ’LVHDVH
/DERUDWRU\(cid:3)UHYLHZV(cid:3)WKH(cid:3)UHVXOWV(cid:3)IRU(cid:3)DFFXUDF\(cid:17)
)RU(cid:3)D(cid:3)WHVW(cid:3)UHVXOW(cid:3)WKDW(cid:3)LQGLFDWHV(cid:3)D(cid:3)KLJKHU(cid:16)WKDQ(cid:16)QRUPDO(cid:3)ULVN(cid:3)RI(cid:3)D
JHQHWLF(cid:3) GLVRUGHU(cid:15)(cid:3) WKH(cid:3) ODERUDWRU\(cid:3) LPPHGLDWHO\(cid:3) WHOHSKRQHV(cid:3) WKH
UHVXOWV(cid:3)WR(cid:3)D(cid:3)FRRUGLQDWRU(cid:3)DW(cid:3)RQH(cid:3)RI(cid:3)(cid:20)(cid:22)(cid:3)DUHD(cid:3)JHQHWLF(cid:3)FHQWHUV(cid:17)(cid:3)(cid:3)7KH
FRRUGLQDWRU(cid:3)WKHQ(cid:3)FRQWDFWV(cid:3)WKH(cid:3)QHZERUQ“V(cid:3)SK\VLFLDQ(cid:3)WR(cid:3)DUUDQJH
IRU(cid:3) DGGLWLRQDO(cid:3) WHVWLQJ(cid:3) WR(cid:3) FRQILUP(cid:3) ZKHWKHU(cid:3) WKH(cid:3) LQIDQW(cid:3) KDV(cid:3) WKH
JHQHWLF(cid:3)GLVRUGHU(cid:3)DQG(cid:3)WR(cid:3)RIIHU(cid:3)WKH(cid:3)ODWHVW(cid:3)LQIRUPDWLRQ(cid:3)RQ(cid:3)GLDJQRVLV
DQG(cid:3)WUHDWPHQW(cid:17)(cid:3)(cid:3))RU(cid:3)FHUWDLQ(cid:3)GLVRUGHUV(cid:15)(cid:3)D(cid:3)FRQWUDFW(cid:3)ODERUDWRU\(cid:3)RU
WKH(cid:3) EUDQFK“V(cid:3) *HQHWLF(cid:3) ’LVHDVH(cid:3) /DERUDWRU\(cid:3) SHUIRUPV(cid:3) IROORZ(cid:16)XS
WHVWV(cid:17)
7KH(cid:3)IHH(cid:3)IRU(cid:3)WKH(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:3)LV(cid:3)(cid:7)(cid:23)(cid:21)(cid:3)DQG(cid:3)FRYHUV(cid:3)WKH
LQLWLDO(cid:3) EORRG(cid:3) WHVW(cid:15)(cid:3) DQ\(cid:3) IROORZ(cid:16)XS(cid:3) WHVWV(cid:15)(cid:3) DQG(cid:3) FRXQVHOLQJ(cid:3) IRU
SDUHQWV(cid:3)RI(cid:3)QHZERUQV(cid:3)GLDJQRVHG(cid:3)ZLWK(cid:3)VLFNOH(cid:16)FHOO(cid:3)GLVHDVH(cid:17)
6FUHHQLQJ(cid:3)3URJUDPV(cid:3)DW(cid:3)D(cid:3)*ODQFH
3UHQDWDO(cid:3)6FUHHQLQJ 1HZERUQ(cid:3)6FUHHQLQJ
:KR(cid:3)UHFHLYHV :RPHQ(cid:3)EHWZHHQ(cid:3)(cid:20)(cid:24)(cid:16)(cid:21)(cid:19) 1HZERUQV(cid:3)(cid:11)UHTXLUHG(cid:12)
WHVWV" ZHHNV(cid:3)SUHJQDQW(cid:3)(cid:11)RSWLRQDO(cid:12)
:KDW(cid:3)JHQHWLF ,Q(cid:3)WKH(cid:3)XQERUQ(cid:3)FKLOG(cid:29)(cid:3)(cid:3)1HXUDO 3KHQ\ONHWRQXULD(cid:15)(cid:3)JDODFWRVHPLD(cid:15)
GLVRUGHUV(cid:3)GRHV WXEH(cid:3)GHIHFWV(cid:3)OLNH(cid:3)VSLQD(cid:3)ELILGD(cid:15) FRQJHQLWDO(cid:3)SULPDU\(cid:3)K\SRWK\URLGLVP(cid:15)
WKH(cid:3)WHVW(cid:3)GHWHFW" DEGRPLQDO(cid:3)ZDOO(cid:3)GHIHFWV(cid:15)(cid:3)DQG DQG(cid:3)KHPRJORELQ(cid:3)GLVRUGHUV(cid:15)
FKURPRVRPDO(cid:3)GLVRUGHUV(cid:3)VXFK LQFOXGLQJ(cid:3)VLFNOH(cid:16)FHOO(cid:3)GLVHDVH
DV(cid:3)’RZQ(cid:3)V\QGURPH(cid:3)DQG
7ULVRP\(cid:3)(cid:20)(cid:27)
:KDW(cid:3)VHUYLFHV ,QLWLDO(cid:3)EORRG(cid:3)WHVW(cid:15)(cid:3)JHQHWLF ,QLWLDO(cid:3)EORRG(cid:3)WHVW(cid:15)(cid:3)IROORZ(cid:16)XS(cid:3)WHVWV(cid:3)WR
GRHV(cid:3)WKH(cid:3)EUDQFK FRXQVHOLQJ(cid:15)(cid:3)XOWUDVRXQG(cid:15) GLDJQRVH(cid:3)LI(cid:3)D(cid:3)JHQHWLF(cid:3)GLVRUGHU(cid:3)H[LVWV(cid:15)
SURYLGH" DPQLRFHQWHVLV(cid:15)(cid:3)FKURPRVRPH FRXQVHOLQJ(cid:3)IRU(cid:3)SDUHQWV(cid:3)RI(cid:3)QHZERUQV
DQDO\VLV(cid:3)WR(cid:3)GLDJQRVH(cid:3)LI(cid:3)D ZLWK(cid:3)VLFNOH(cid:16)FHOO(cid:3)GLVHDVH
JHQHWLF(cid:3)GLVRUGHU(cid:3)H[LVWV
:KDW(cid:3)GR(cid:3)WKH(cid:3)WHVWV ’HWHFWV(cid:3)GLVRUGHUV(cid:3)WKDW(cid:3)FDXVH ’HWHFWV(cid:3)GLVRUGHUV(cid:3)DQG(cid:3)DOORZV
GHWHFW(cid:3)RU(cid:3)SUHYHQW" PHQWDO(cid:3)UHWDUGDWLRQ(cid:15)(cid:3)VHYHUH WUHDWPHQW(cid:3)WR(cid:3)SUHYHQW(cid:3)WKH
FULSSOLQJ(cid:15)(cid:3)RU(cid:3)GHDWK GHYHORSPHQW(cid:3)RI(cid:3)PHQWDO(cid:3)UHWDUGDWLRQ(cid:15)
VORZ(cid:3)JURZWK(cid:15)(cid:3)DQG(cid:3)IDWDO(cid:3)LQIHFWLRQV
:KDW(cid:3)LV(cid:3)WKH(cid:3)IHH" (cid:7)(cid:20)(cid:20)(cid:24)(cid:3)IRU(cid:3)WULSOH(cid:3)PDUNHU (cid:7)(cid:23)(cid:21)
(cid:3)(cid:3)(cid:7)(cid:24)(cid:26)(cid:3)IRU(cid:3)VLQJOH(cid:3)PDUNHU
(cid:23)
6FRSH(cid:3)DQG(cid:3)0HWKRGRORJ\
$W(cid:3) WKH(cid:3) UHTXHVW(cid:3) RI(cid:3) WKH(cid:3) -RLQW(cid:3) /HJLVODWLYH(cid:3) $XGLW(cid:3) &RPPLWWHH(cid:15)(cid:3) ZH
SHUIRUPHG(cid:3) D(cid:3) FRPSUHKHQVLYH(cid:3) UHYLHZ(cid:3) RI(cid:3) WKH(cid:3) EUDQFK(cid:3) DQG(cid:3) LWV
DXWKRULW\(cid:3) WR(cid:3) LVVXH(cid:3) HPHUJHQF\(cid:3) UHJXODWLRQV(cid:17)(cid:3) (cid:3) 7R(cid:3) JDLQ(cid:3) DQ
XQGHUVWDQGLQJ(cid:3) RI(cid:3) WKH(cid:3) EUDQFK“V(cid:3) UHVSRQVLELOLWLHV(cid:15)(cid:3) ZH(cid:3) UHYLHZHG
VWDWH(cid:3) ODZV(cid:3) DQG(cid:3) UHJXODWLRQV(cid:3) UHOHYDQW(cid:3) WR(cid:3) WKH(cid:3) EUDQFK(cid:3) DQG(cid:3) WKH
SURJUDPV(cid:3)LW(cid:3)DGPLQLVWHUV(cid:17)(cid:3)(cid:3),Q(cid:3)DGGLWLRQ(cid:15)(cid:3)ZH(cid:3)LQWHUYLHZHG(cid:3)EUDQFK
SHUVRQQHO(cid:3)DQG(cid:3)UHYLHZHG(cid:3)WKHLU(cid:3)PDQXDOV(cid:3)DQG(cid:3)SURFHGXUHV(cid:3)VR(cid:3)WKDW
ZH(cid:3)FRXOG(cid:3)LGHQWLI\(cid:3)DQG(cid:3)XQGHUVWDQG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)PDMRU(cid:3)IXQFWLRQV
DQG(cid:3)DFWLYLWLHV(cid:17)
%HFDXVH(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)ZDV(cid:3)WKH(cid:3)PRVW(cid:3)UHFHQW(cid:3)\HDU(cid:3)IRU(cid:3)ZKLFK
WKH(cid:3)GHSDUWPHQW“V(cid:3)DFFRXQWLQJ(cid:3)UHFRUGV(cid:3)ZHUH(cid:3)FRPSOHWH(cid:15)(cid:3)ZH(cid:3)WRRN
UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)IURP(cid:3)WKDW(cid:3)\HDU(cid:3)WR(cid:3)DQDO\]H(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG
QHZERUQ(cid:3) WHVWLQJ(cid:3) IHHV(cid:17)(cid:3) (cid:3) 8VLQJ(cid:3) WKH(cid:3) GHSDUWPHQW“V(cid:3) DFFRXQWLQJ
UHFRUGV(cid:15)(cid:3) ZH(cid:3) FDOFXODWHG(cid:3) WKH(cid:3) DPRXQW(cid:3) WKH(cid:3) EUDQFK(cid:3) VSHQW(cid:3) WR
DGPLQLVWHU(cid:3) LWV(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:3) GXULQJ(cid:3) WKLV(cid:3) SHULRG(cid:17)(cid:3) (cid:3) :H
DGMXVWHG(cid:3)IRU(cid:3)DQ\(cid:3)HUURUV(cid:3)RU(cid:3)RWKHU(cid:3)NQRZQ(cid:3)FRVWV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)WKH
EUDQFK(cid:3) PLVDOORFDWHG(cid:3) WR(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3) (cid:7)(cid:21)(cid:17)(cid:27)(cid:3) PLOOLRQ(cid:3) LQ
HTXLSPHQW(cid:3) FRVWV(cid:3) WKDW(cid:3) ZHUH(cid:3) DFWXDOO\(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)
H[SHQGLWXUHV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)EHFDXVH(cid:3)WKH(cid:3)EUDQFK(cid:3)KLVWRULFDOO\(cid:3)KDV(cid:3)QRW
FROOHFWHG(cid:3)D(cid:3)VLJQLILFDQW(cid:3)SRUWLRQ(cid:3)RI(cid:3)LWV(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:15)(cid:3)ZH
UHGXFHG(cid:3) WKH(cid:3) UHYHQXH(cid:3) ILJXUHV(cid:3) WR(cid:3) DOORZ(cid:3) IRU(cid:3) XQFROOHFWDEOH
DFFRXQWV(cid:17)(cid:3)(cid:3):H(cid:3)H[DPLQHG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)FROOHFWLRQV(cid:3)RI(cid:3)SUHQDWDO
WHVWLQJ(cid:3)IHHV(cid:3)RYHU(cid:3)WKH(cid:3)SDVW(cid:3)WKUHH(cid:3)\HDUV(cid:3)DQG(cid:3)DUULYHG(cid:3)DW(cid:3)DQ(cid:3)HVWLPDWH
RI(cid:3)(cid:20)(cid:22)(cid:3)SHUFHQW(cid:3)DV(cid:3)WKH(cid:3)DOORZDQFH(cid:3)IRU(cid:3)XQFROOHFWDEOH(cid:3)IHHV(cid:17)(cid:3)(cid:3):H(cid:3)WKHQ
FRPSDUHG(cid:3)WKH(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)WR(cid:3)GHWHUPLQH(cid:3)LI(cid:3)WKH(cid:3)SUHQDWDO
DQG(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)DUH(cid:3)UHDVRQDEOH(cid:17)
,Q(cid:3)DGGLWLRQ(cid:15)(cid:3)ZH(cid:3)FRPSDUHG(cid:3)IHHV(cid:3)FROOHFWHG(cid:3)DJDLQVW(cid:3)IHHV(cid:3)ELOOHG(cid:3)WR
GHWHUPLQH(cid:3)LI(cid:3)WKH(cid:3)EUDQFK(cid:3)FROOHFWHG(cid:3)DOO(cid:3)IHHV(cid:3)FKDUJHG(cid:17)(cid:3)(cid:3):H(cid:3)WKHQ
DQDO\]HG(cid:3)WKH(cid:3)DGHTXDF\(cid:3)RI(cid:3)WKH(cid:3)EUDQFK“V(cid:3)FROOHFWLRQ(cid:3)SURFHGXUHV(cid:17)
7R(cid:3)DVVHVV(cid:3)ZKHWKHU(cid:3)WKH(cid:3)EUDQFK(cid:3)FRPSOLHG(cid:3)ZLWK(cid:3)VWDWH(cid:3)ODZV(cid:3)DQG
UHJXODWLRQV(cid:3) DQG(cid:3) XVHG(cid:3) FRVW(cid:16)HIIHFWLYH(cid:3) PHDQV(cid:3) WR(cid:3) SURFXUH(cid:3) JRRGV
DQG(cid:3)VHUYLFHV(cid:15)(cid:3)ZH(cid:3)UHYLHZHG(cid:3)WKH(cid:3)VHFWLRQV(cid:3)RI(cid:3)WKH(cid:3)3XEOLF(cid:3)&RQWUDFW
&RGH(cid:15)(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:15)(cid:3)6WDWH(cid:3)$GPLQLVWUDWLYH(cid:3)0DQXDO(cid:15)
DQG(cid:3) 6WDWH(cid:3) &RQWUDFWLQJ(cid:3) 0DQXDO(cid:3) WKDW(cid:3) DSSO\(cid:3) WR(cid:3) WKH(cid:3) EUDQFK“V
FRQWUDFWV(cid:17)(cid:3) (cid:3) :H(cid:3) DOVR(cid:3) DQDO\]HG(cid:3) FRQWUDFWV(cid:15)(cid:3) YHQGRU(cid:3) DJUHHPHQWV(cid:15)
SXUFKDVH(cid:3) RUGHUV(cid:15)(cid:3) ELGGLQJ(cid:3) GRFXPHQWV(cid:15)(cid:3) DQG(cid:3) RWKHU(cid:3) GRFXPHQWV
VXSSRUWLQJ(cid:3) WKH(cid:3) EUDQFK“V(cid:3) FRQWUDFWV(cid:17)(cid:3) (cid:3) 7R(cid:3) GHWHUPLQH(cid:3) WKH
DSSURSULDWHQHVV(cid:3)RI(cid:3)WKH(cid:3)EUDQFK“V(cid:3)XVH(cid:3)RI(cid:3)FHUWDLQ(cid:3)FRQWUDFWV(cid:15)(cid:3)ZH(cid:3)DOVR
REWDLQHG(cid:3) D(cid:3) OHJDO(cid:3) RSLQLRQ(cid:3) IURP(cid:3) WKH(cid:3) /HJLVODWLYH(cid:3) &RXQVHO(cid:3) RI
&DOLIRUQLD(cid:3)(cid:11)OHJLVODWLYH(cid:3)FRXQVHO(cid:12)(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)ZH(cid:3)LQWHUYLHZHG
EUDQFK(cid:3) DQG(cid:3) *HQHWLF(cid:3) ’LVHDVH(cid:3) /DERUDWRU\(cid:3) PDQDJHUV(cid:15)(cid:3) UHYLHZHG
WKHLU(cid:3)HFRQRPLF(cid:3)LQWHUHVW(cid:3)VWDWHPHQWV(cid:15)(cid:3)DQG(cid:3)IRXQG(cid:3)QR(cid:3)LQGLFDWLRQV
WKDW(cid:3)WKH(cid:3)PDQDJHUV(cid:3)KROG(cid:3)DQ\(cid:3)HFRQRPLF(cid:3)LQWHUHVWV(cid:3)LQ(cid:3)FRQWUDFWRUV
GRLQJ(cid:3) EXVLQHVV(cid:3) ZLWK(cid:3) WKH(cid:3) EUDQFK(cid:17)(cid:3) (cid:3) 0RUHRYHU(cid:15)(cid:3) ZH(cid:3) IRXQG(cid:3) QR
LQGLFDWLRQV(cid:3)RI(cid:3)ELDV(cid:3)WRZDUG(cid:3)FRQWUDFWRUV(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)WR(cid:3)GHWHUPLQH
(cid:24)
ZKHWKHU(cid:3) WKH(cid:3) EUDQFK“V(cid:3) PHWKRG(cid:3) RI(cid:3) GHOLYHULQJ(cid:3) VHUYLFHV(cid:3) WKURXJK
FRQWUDFWRUV(cid:3) LV(cid:3) DSSURSULDWH(cid:3) DQG(cid:3) HIIHFWLYH(cid:15)(cid:3) ZH(cid:3) UHYLHZHG(cid:3) WKH
UHVSRQVLELOLWLHV(cid:3) RI(cid:3) WKHVH(cid:3) FRQWUDFWRUV(cid:3) DQG(cid:3) DQDO\]HG(cid:3) UHOHYDQW
ZRUNORDG(cid:3)VWDWLVWLFV(cid:17)(cid:3)(cid:3)7KLV(cid:3)UHYLHZ(cid:3)VKRZHG(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK“V(cid:3)XVH(cid:3)RI
FRQWUDFWRUV(cid:3)LV(cid:3)JHQHUDOO\(cid:3)DQ(cid:3)DSSURSULDWH(cid:3)DQG(cid:3)HIIHFWLYH(cid:3)PHDQV(cid:3)WR
GHOLYHU(cid:3)VHUYLFHV(cid:17)
7R(cid:3) GHWHUPLQH(cid:3) ZKHWKHU(cid:3) WKH(cid:3) EUDQFK(cid:3) DSSURSULDWHO\(cid:3) XVHG(cid:3) LWV
DXWKRULW\(cid:3)WR(cid:3)LVVXH(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:15)(cid:3)ZH(cid:3)UHYLHZHG(cid:3)WKH(cid:3)ODZV
DQG(cid:3)SROLFLHV(cid:3)JRYHUQLQJ(cid:3)KRZ(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)LVVXH(cid:3)UHJXODWLRQV(cid:17)(cid:3)(cid:3),Q
DGGLWLRQ(cid:15)(cid:3)ZH(cid:3)LQWHUYLHZHG(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)VWDII(cid:3)DQG
REWDLQHG(cid:3)DQ(cid:3)RSLQLRQ(cid:3)IURP(cid:3)WKH(cid:3)OHJLVODWLYH(cid:3)FRXQVHO(cid:3)WR(cid:3)FODULI\(cid:3)RXU
XQGHUVWDQGLQJ(cid:3)RI(cid:3)WKHVH(cid:3)ODZV(cid:17)(cid:3)(cid:3):H(cid:3)WKHQ(cid:3)LGHQWLILHG(cid:3)DOO(cid:3)UHJXODWLRQV
WKH(cid:3) EUDQFK(cid:3) LVVXHG(cid:3) VLQFH(cid:3) (cid:20)(cid:28)(cid:27)(cid:26)(cid:3) DQG(cid:3) DVVHVVHG(cid:3) WKH(cid:3) EUDQFK“V
FRPSOLDQFH(cid:3)ZLWK(cid:3)WKHVH(cid:3)ODZV(cid:17)(cid:3)(cid:3)7R(cid:3)GHWHUPLQH(cid:3)LI(cid:3)WKH(cid:3)EUDQFK(cid:3)VWLOO
QHHGV(cid:3)DXWKRULW\(cid:3)WR(cid:3)LVVXH(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:15)(cid:3)ZH(cid:3)FDWHJRUL]HG
WKH(cid:3)W\SHV(cid:3)RI(cid:3)UHJXODWRU\(cid:3)FKDQJHV(cid:3)WKH(cid:3)EUDQFK(cid:3)PDGH(cid:3)LQ(cid:3)WKH(cid:3)ODVW(cid:3)WHQ
\HDUV(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)(cid:3)ZH(cid:3)DVVHVVHG(cid:3)ZKHWKHU(cid:3)ORVLQJ(cid:3)WKLV(cid:3)DXWKRULW\(cid:3)ZRXOG
KLQGHU(cid:3) WKH(cid:3) DELOLW\(cid:3) RI(cid:3) WKH(cid:3) EUDQFK(cid:3) WR(cid:3) DGPLQLVWHU(cid:3) LWV(cid:3) JHQHWLF
VFUHHQLQJ(cid:3)SURJUDPV(cid:3)HIIHFWLYHO\(cid:17)
(cid:25)
Chapter 1
7KH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)(VWDEOLVKHG(cid:3))HHV
7KDW(cid:3)6LJQLILFDQWO\(cid:3)([FHHG(cid:3),WV(cid:3)&RVWV
&KDSWHU(cid:3)6XPPDU\
6
WDWH(cid:3) ODZ(cid:3) UHTXLUHV(cid:3) WKH(cid:3) *HQHWLF(cid:3) ’LVHDVH(cid:3) %UDQFK(cid:3) (cid:11)EUDQFK(cid:12)
WR(cid:3) VHW(cid:3) IHHV(cid:3) WR(cid:3) FRYHU(cid:3) WKH(cid:3) FRVWV(cid:3) RI(cid:3) WKH(cid:3) SUHQDWDO(cid:3) DQG
QHZERUQ(cid:3)WHVWLQJ(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)RXU(cid:3)DQDO\VLV(cid:3)RI(cid:3)HDFK
SURJUDP“V(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)UHYHDOHG(cid:3)WKDW(cid:15)
IRU(cid:3)ERWK(cid:3)SURJUDPV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FKDUJHG(cid:3)WKH(cid:3)SXEOLF(cid:3)DPRXQWV(cid:3)LQ
H[FHVV(cid:3)RI(cid:3)LWV(cid:3)FRVWV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)DYHUDJH(cid:3)IHH(cid:3)RI(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:23)(cid:22)(cid:3)IRU
HDFK(cid:3)SUHQDWDO(cid:3)WHVW(cid:3)H[FHHGHG(cid:3)FRVWV(cid:3)E\(cid:3)(cid:7)(cid:20)(cid:23)(cid:17)(cid:19)(cid:24)(cid:3)(cid:11)(cid:20)(cid:22)(cid:3)SHUFHQW(cid:12)(cid:15)(cid:3)DQG
WKH(cid:3) (cid:7)(cid:23)(cid:21)(cid:3) QHZERUQ(cid:3) WHVWLQJ(cid:3) IHH(cid:3) H[FHHGHG(cid:3) FRVWV(cid:3) E\(cid:3) (cid:7)(cid:24)(cid:17)(cid:21)(cid:19)
(cid:11)(cid:20)(cid:21)(cid:3)SHUFHQW(cid:12)(cid:17)(cid:3)(cid:3)7KHVH(cid:3)IHHV(cid:3)ZHUH(cid:3)KLJKHU(cid:3)WKDQ(cid:3)FRVWV(cid:3)EHFDXVH(cid:3)FHUWDLQ
DVVXPSWLRQV(cid:3)WKH(cid:3)EUDQFK(cid:3)XVHG(cid:3)ZKHQ(cid:3)FRPSXWLQJ(cid:3)WKH(cid:3)IHHV(cid:3)IRU(cid:3)ILVFDO
\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)GLG(cid:3)QRW(cid:3)FRPH(cid:3)WUXH(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)RQFH(cid:3)WKH(cid:3)EUDQFK(cid:3)VHWV
WKH(cid:3)IHHV(cid:3)HYHU\(cid:3)\HDU(cid:15)(cid:3)LW(cid:3)DVVHVVHV(cid:3)WKH(cid:3)DSSURSULDWHQHVV(cid:3)RI(cid:3)WKH(cid:3)IHHV(cid:3)E\
UHYLHZLQJ(cid:3)WKH(cid:3)RYHUDOO(cid:3)EDODQFH(cid:3)LQ(cid:3)LWV(cid:3)SURJUDP(cid:3)IXQG(cid:3)UDWKHU(cid:3)WKDQ
E\(cid:3)DQDO\]LQJ(cid:3)WKH(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)RI(cid:3)HDFK(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)$V(cid:3)D
UHVXOW(cid:15)(cid:3)EUDQFK(cid:3)PDQDJHPHQW(cid:3)GRHV(cid:3)QRW(cid:3)NQRZ(cid:3)WKH(cid:3)H[WHQW(cid:3)WR(cid:3)ZKLFK
HDFK(cid:3)IHH(cid:3)LV(cid:3)DGHTXDWH(cid:3)WR(cid:3)FRYHU(cid:3)WKH(cid:3)FRVW(cid:3)RI(cid:3)WKH(cid:3)UHODWHG(cid:3)SURJUDP(cid:17)
%DFNJURXQG
7KH(cid:3) +HDOWK(cid:3) DQG(cid:3) 6DIHW\(cid:3) &RGH(cid:15)(cid:3) 6HFWLRQ(cid:3) (cid:20)(cid:21)(cid:24)(cid:19)(cid:19)(cid:19)(cid:11)E(cid:12)(cid:15)(cid:3) JLYHV(cid:3) WKH
EUDQFK(cid:3)DXWKRULW\(cid:3)WR(cid:3)FKDUJH(cid:3)D(cid:3)IHH(cid:3)IRU(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ
VFUHHQLQJ(cid:3)WHVWV(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKLV(cid:3)VHFWLRQ(cid:3)DOVR(cid:3)VWDWHV(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK
PD\(cid:3)HVWDEOLVK(cid:3)DQG(cid:3)SHULRGLFDOO\(cid:3)DGMXVW(cid:3)WKH(cid:3)DPRXQW(cid:3)RI(cid:3)DQ\(cid:3)IHH(cid:3)WR
PHHW(cid:3)WKH(cid:3)FRVWV(cid:3)RI(cid:3)WKH(cid:3)SURJUDP(cid:15)(cid:3)IHHV(cid:3)VKRXOG(cid:3)EH(cid:3)DGHTXDWH(cid:3)WR(cid:3)PHHW
WKH(cid:3)EUDQFK“V(cid:3)H[SHQVHV(cid:17)
7KH(cid:3) EUDQFK(cid:3) DGMXVWV(cid:3) IHHV(cid:3) ZKHQ(cid:3) LW(cid:3) PDNHV(cid:3) FKDQJHV(cid:3) WR(cid:3) WKH
VFUHHQLQJ(cid:3) SURJUDPV(cid:3) RU(cid:3) ZKHQ(cid:3) FRVWV(cid:3) LQFUHDVH(cid:17)(cid:3) (cid:3) %DVLFDOO\(cid:15)
WKH(cid:3)EUDQFK(cid:3)SURMHFWV(cid:3)LWV(cid:3)IXWXUH(cid:3)FRVWV(cid:3)WR(cid:3)DGPLQLVWHU(cid:3)WKH(cid:3)SUHQDWDO
DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)SURJUDPV(cid:3)PXVW
EH(cid:3)VHOI(cid:16)VXSSRUWLQJ(cid:15)(cid:3)WKLV(cid:3)HVWLPDWH(cid:3)RI(cid:3)FRVWV(cid:3)LV(cid:3)DOVR(cid:3)WKH(cid:3)HVWLPDWH
RI(cid:3)WKH(cid:3)WRWDO(cid:3)IHH(cid:3)UHYHQXH(cid:3)QHHGHG(cid:3)WR(cid:3)VXSSRUW(cid:3)WKH(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)7KH
EUDQFK(cid:3) WKHQ(cid:3) HVWLPDWHV(cid:3) WKH(cid:3) QXPEHU(cid:3) RI(cid:3) SDUWLFLSDQWV(cid:3) LQ(cid:3) HDFK
SURJUDP(cid:3)DQG(cid:3)FRPSXWHV(cid:3)WKH(cid:3)IHHV(cid:3)IRU(cid:3)ERWK(cid:3)SURJUDPV(cid:3)E\(cid:3)GLYLGLQJ
FRVWV(cid:3)E\(cid:3)WKH(cid:3)QXPEHU(cid:3)RI(cid:3)SDUWLFLSDQWV(cid:17)
(cid:26)
7KH(cid:3)EUDQFK(cid:3)ODVW(cid:3)DGMXVWHG(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)LQ(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)
ZKHQ(cid:3)LW(cid:3)EHJDQ(cid:3)RIIHULQJ(cid:3)WKH(cid:3)WULSOH(cid:3)PDUNHU(cid:3)WHVW(cid:3)DQG(cid:3)HVWDEOLVKHG(cid:3)D
IHH(cid:3)RI(cid:3)(cid:7)(cid:20)(cid:20)(cid:24)(cid:3)IRU(cid:3)WKLV(cid:3)VFUHHQLQJ(cid:3)VHUYLFH(cid:17)(cid:3)(cid:3)(DUOLHU(cid:15)(cid:3)LQ(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)
LW(cid:3)KDG(cid:3)LQFUHDVHG(cid:3)WKH(cid:3)IHH(cid:3)IURP(cid:3)(cid:7)(cid:24)(cid:24)(cid:3)WR(cid:3)(cid:7)(cid:24)(cid:26)(cid:3)IRU(cid:3)WKH(cid:3)VLQJOH(cid:3)PDUNHU
WHVW(cid:17)(cid:3)(cid:3)$W(cid:3)WKH(cid:3)VDPH(cid:3)WLPH(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)DGMXVWHG(cid:3)WKH(cid:3)QHZERUQ(cid:3)WHVWLQJ
IHH(cid:3)IURP(cid:3)(cid:7)(cid:23)(cid:19)(cid:3)WR(cid:3)(cid:7)(cid:23)(cid:21)(cid:3)WR(cid:3)FRYHU(cid:3)LQFUHDVHG(cid:3)FRVWV(cid:3)IRU(cid:3)WKH(cid:3)QHZERUQ
SURJUDP(cid:17)
7KH(cid:3)3UHQDWDO(cid:3)7HVWLQJ(cid:3))HH(cid:3):DV(cid:3)6LJQLILFDQWO\
+LJKHU(cid:3)7KDQ(cid:3)5HODWHG(cid:3)&RVWV
$FFRUGLQJ(cid:3)WR(cid:3)RXU(cid:3)FRPSDULVRQ(cid:3)RI(cid:3)IHHV(cid:3)DQG(cid:3)UHODWHG(cid:3)FRVWV(cid:3)IRU(cid:3)WKH
SUHQDWDO(cid:3) WHVWLQJ(cid:3)SURJUDP(cid:15)(cid:3)WKH(cid:3) IHH(cid:3) GXULQJ(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)
ZDV(cid:3)(cid:7)(cid:20)(cid:23)(cid:17)(cid:19)(cid:24)(cid:15)(cid:3)RU(cid:3)(cid:20)(cid:22)(cid:3)SHUFHQW(cid:3)PRUH(cid:3)WKDQ(cid:3)EUDQFK(cid:3)FRVWV(cid:17)(cid:3)(cid:3)7R(cid:3)PDWFK
SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)ZLWK(cid:3)FRVWV(cid:15)(cid:3)ZH(cid:3)LGHQWLILHG(cid:3)WKH(cid:3)EUDQFK(cid:3)FRVWV
,Q(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15) WKDW(cid:3)FRUUHODWHG(cid:3)ZLWK(cid:3)HDFK(cid:3)IHH(cid:17)(cid:3)(cid:3))RU(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)WKHVH
WKH(cid:3)SUHQDWDO(cid:3)IHH(cid:3)ZDV FRVWV(cid:3)FRYHUHG(cid:3)WKH(cid:3)IROORZLQJ(cid:29)(cid:3)(cid:3)SHUVRQQHO(cid:3)(cid:11)EUDQFK(cid:3)DQG(cid:3)*HQHWLF
(cid:7)(cid:20)(cid:23)(cid:17)(cid:19)(cid:24)(cid:15)(cid:3)RU(cid:3)(cid:20)(cid:22)(cid:3)SHUFHQW ’LVHDVH(cid:3)/DERUDWRU\(cid:3)VDODULHV(cid:3)DQG(cid:3)EHQHILWV(cid:12)(cid:15)(cid:3)RSHUDWLQJ(cid:3)H[SHQVHV
PRUH(cid:3)WKDQ(cid:3)EUDQFK(cid:3)FRVWV(cid:17) (cid:11)EUDQFK(cid:3) DQG(cid:3) *HQHWLF(cid:3) ’LVHDVH(cid:3) /DERUDWRU\(cid:3) RYHUKHDG(cid:15)(cid:3) VXSSOLHV(cid:15)
DQG(cid:3) HTXLSPHQW(cid:12)(cid:15)(cid:3) ODERUDWRU\(cid:3) VFUHHQLQJ(cid:3) HTXLSPHQW(cid:3) DQG
VXSSOLHV(cid:15)(cid:3) ODERUDWRU\(cid:3) WHVWLQJ(cid:3) VHUYLFHV(cid:15)(cid:3) DUHD(cid:3) JHQHWLF(cid:3) FHQWHUV
(cid:11)FRRUGLQDWRU(cid:3)VHUYLFHV(cid:12)(cid:15)(cid:3)SUHQDWDO(cid:3)GLDJQRVWLF(cid:3)FHQWHUV(cid:3)(cid:11)FRXQVHOLQJ
DQG(cid:3)GLDJQRVWLF(cid:3)WHVWLQJ(cid:12)(cid:15)(cid:3)DQG(cid:3)HVWLPDWHG(cid:3)XQFROOHFWDEOH(cid:3)IHHV(cid:17)
:H(cid:3)EDVHG(cid:3)RXU(cid:3)DQDO\VLV(cid:3)RQ(cid:3)WKH(cid:3)ZHLJKWHG(cid:3)DYHUDJH(cid:3)SUHQDWDO(cid:3)IHH
EHFDXVH(cid:3) WKH(cid:3) EUDQFK(cid:3) GRHV(cid:3) QRW(cid:3) PDLQWDLQ(cid:3) VHSDUDWH(cid:3) H[SHQGLWXUH
UHFRUGV(cid:3)IRU(cid:3)WKH(cid:3)VLQJOH(cid:3)DQG(cid:3)WULSOH(cid:3)PDUNHU(cid:3)WHVWV(cid:3)HYHQ(cid:3)WKRXJK(cid:3)LW
FKDUJHV(cid:3)D(cid:3)GLIIHUHQW(cid:3)IHH(cid:3)IRU(cid:3)HDFK(cid:3)WHVW(cid:17)(cid:3)(cid:3)7KH(cid:3)ZHLJKWHG(cid:3)DYHUDJH(cid:3)IHH
UHSUHVHQWV(cid:3)WKH(cid:3)DYHUDJH(cid:3)DPRXQW(cid:3)WKH(cid:3)EUDQFK(cid:3)ELOOHG(cid:3)IRU(cid:3)HDFK(cid:3)WHVW(cid:17)
7DEOH(cid:3)(cid:20)(cid:3)VKRZV(cid:3)D(cid:3)EUHDNGRZQ(cid:3)RI(cid:3)WKH(cid:3)ZHLJKWHG(cid:3)DYHUDJH(cid:3)SUHQDWDO
IHH(cid:3) FKDUJHG(cid:3) WR(cid:3) HDFK(cid:3) SDWLHQW(cid:3) FRPSDUHG(cid:3) WR(cid:3) SUHQDWDO(cid:3) SURJUDP
H[SHQGLWXUHV(cid:3)IRU(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:17)
,Q(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)H[FHHGHG(cid:3)FRVWV
SULPDULO\(cid:3)EHFDXVH(cid:3)FHUWDLQ(cid:3)DVVXPSWLRQV(cid:3)XVHG(cid:3)(cid:3)WR(cid:3)FDOFXODWH(cid:3)WKH
(cid:7)(cid:20)(cid:20)(cid:24)(cid:3) IHH(cid:3) IRU(cid:3) WKH(cid:3) H[SDQGHG(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) WHVW(cid:3) GLG(cid:3) QRW
7KH(cid:3)EUDQFK(cid:3)PLVFDOFXODWHG
PDWHULDOL]H(cid:17)(cid:3) (cid:3) 6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) LQLWLDOO\(cid:3) EHOLHYHG(cid:3) WKDW
IHHV(cid:3)EHFDXVH(cid:3)LW(cid:3)H[SHFWHG
(cid:28)(cid:3)SHUFHQW(cid:3)RI(cid:3)DOO(cid:3)ZRPHQ(cid:3)WDNLQJ(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVW(cid:3)ZRXOG(cid:3)KDYH(cid:3)D
PRUH(cid:3)ZRPHQ(cid:3)WR(cid:3)WHVW
SRVLWLYH(cid:3)WHVW(cid:3) UHVXOW(cid:17)(cid:3) ,QVWHDG(cid:15)(cid:3) RQO\(cid:3) (cid:24)(cid:17)(cid:25)(cid:3) SHUFHQW(cid:3)RI(cid:3) WKH(cid:3) ZRPHQ
SRVLWLYH(cid:17)
WHVWHG(cid:3)SRVLWLYH(cid:17)(cid:3) (cid:3) ,Q(cid:3) DGGLWLRQ(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) EHOLHYHG(cid:3) WKDW(cid:3) PRUH
ROGHU(cid:3) ZRPHQ(cid:3) ZRXOG(cid:3) FKRRVH(cid:3) WR(cid:3) WDNH(cid:3) WKLV(cid:3) WHVW(cid:3) WKDQ(cid:3) GLG(cid:3) VR(cid:17)
%HFDXVH(cid:3)IHZHU(cid:3)ZRPHQ(cid:3)WHVWHG(cid:3)SRVLWLYH(cid:15)(cid:3)IHZHU(cid:3)UHTXLUHG(cid:3)JHQHWLF
FRXQVHOLQJ(cid:3) RU(cid:3) GLDJQRVWLF(cid:3) WHVWV(cid:3) WR(cid:3) GHWHUPLQH(cid:3) ZKHWKHU(cid:3) WKHLU
XQERUQ(cid:3)EDELHV(cid:3)KDG(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:17)(cid:3)(cid:3)7KHVH(cid:3)FKDQJHV(cid:3)PHDQW(cid:3)WKDW
WKH(cid:3) FRVW(cid:3) UHODWHG(cid:3) WR(cid:3) GLDJQRVWLF(cid:3) FHQWHUV(cid:15)(cid:3) WKH(cid:3) PRVW(cid:3) H[SHQVLYH
FRPSRQHQW(cid:3)RI(cid:3)WKH(cid:3)SUHQDWDO(cid:3)SURJUDP“V(cid:3)FRVWV(cid:15)(cid:3)ZHUH(cid:3)(cid:7)(cid:26)(cid:17)(cid:23)(cid:3)PLOOLRQ
OHVV(cid:3)WKDQ(cid:3)DQWLFLSDWHG(cid:3)IRU(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)XQOHVV
(cid:27)
7DEOH(cid:3)(cid:20)
&RPSDULVRQ(cid:3)RI(cid:3)WKH(cid:3):HLJKWHG(cid:3)$YHUDJH
3UHQDWDO(cid:3)7HVWLQJ(cid:3))HH(cid:3):LWK(cid:3)5HODWHG(cid:3)&RVWV
)LVFDO(cid:3)<HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)
:HLJKWHG(cid:3)DYHUDJH(cid:3)IHH(cid:3)SHU(cid:3)WHVW(cid:13) (cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:23)(cid:22)
(VWLPDWHG(cid:3)XQFROOHFWDEOH(cid:3)IHH (cid:3)(cid:3)(cid:11)(cid:20)(cid:23)(cid:17)(cid:23)(cid:28)(cid:12)
(cid:3)(cid:3)(cid:3)(cid:3)1HW(cid:3)ZHLJKWHG(cid:3)DYHUDJH(cid:3)IHH(cid:3)SHU(cid:3)WHVW (cid:7) (cid:28)(cid:25)(cid:17)(cid:28)(cid:23)
/HVV(cid:3)FRVWV(cid:3)SHU(cid:3)WHVW
(cid:3)(cid:3)3HUVRQQHO (cid:26)(cid:17)(cid:26)(cid:24)
(cid:3)(cid:3)2SHUDWLQJ(cid:3)H[SHQVHV (cid:20)(cid:21)(cid:17)(cid:25)(cid:21)
(cid:3)(cid:3)/DERUDWRU\(cid:3)HTXLSPHQW(cid:3)DQG(cid:3)VXSSOLHV (cid:20)(cid:23)(cid:17)(cid:25)(cid:28)
(cid:3)(cid:3)/DERUDWRU\(cid:3)WHVWLQJ(cid:3)VHUYLFHV (cid:24)(cid:17)(cid:23)(cid:19)
(cid:3)(cid:3)$UHD(cid:3)JHQHWLF(cid:3)FHQWHUV (cid:25)(cid:17)(cid:28)(cid:27)
(cid:3)(cid:3)3UHQDWDO(cid:3)GLDJQRVWLF(cid:3)FHQWHUV (cid:3)(cid:22)(cid:24)(cid:17)(cid:23)(cid:24)
(cid:3)(cid:3)(cid:3)(cid:3)7RWDO(cid:3)FRVW(cid:3)SHU(cid:3)WHVW (cid:3)(cid:3)(cid:3)(cid:27)(cid:21)(cid:17)(cid:27)(cid:28)
)HH(cid:3)SHU(cid:3)WHVW(cid:3)LQ(cid:3)H[FHVV(cid:3)RI(cid:3)FRVWV (cid:7)(cid:3)(cid:3)(cid:20)(cid:23)(cid:17)(cid:19)(cid:24)
(cid:13)7KH(cid:3)ZHLJKWHG(cid:3)DYHUDJH(cid:3)IHH(cid:3)LV(cid:3)EDVHG(cid:3)RQ(cid:3)(cid:22)(cid:20)(cid:26)(cid:15)(cid:26)(cid:20)(cid:24)(cid:3)WULSOH(cid:3)PDUNHU(cid:3)WHVWV(cid:3)DW(cid:3)(cid:7)(cid:20)(cid:20)(cid:24)(cid:3)SHU
WHVW(cid:3)DQG(cid:3)(cid:21)(cid:19)(cid:15)(cid:27)(cid:24)(cid:25)(cid:3)VLQJOH(cid:3)PDUNHU(cid:3)WHVWV(cid:3)DW(cid:3)(cid:7)(cid:24)(cid:26)(cid:3)SHU(cid:3)WHVW(cid:17)
WKH(cid:3)SHUFHQWDJH(cid:3)RI(cid:3)ZRPHQ(cid:3)XVLQJ(cid:3)WKH(cid:3)IROORZ(cid:16)XS(cid:3)VHUYLFHV(cid:3)LQFUHDVHV
RU(cid:3)D(cid:3)PDMRU(cid:3)SURJUDP(cid:3)FKDQJH(cid:3)RFFXUV(cid:15)(cid:3)ZH(cid:3)H[SHFW(cid:3)WKDW(cid:3)UHYHQXHV(cid:3)IRU
WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)SURJUDP(cid:3)ZLOO(cid:3)FRQWLQXH(cid:3)WR(cid:3)H[FHHG(cid:3)FRVWV(cid:3)LQ
ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)(cid:3)DQG(cid:3)IXWXUH(cid:3)ILVFDO(cid:3)\HDUV(cid:17)
7KH(cid:3)1HZERUQ(cid:3)7HVWLQJ(cid:3))HH(cid:3):DV(cid:3)&RQVLGHUDEO\
+LJKHU(cid:3)7KDQ(cid:3)&RUUHVSRQGLQJ(cid:3)&RVWV
:H(cid:3)DQDO\]HG(cid:3)WKH(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHH(cid:3)DQG(cid:3)IRXQG(cid:3)WKDW(cid:3)WKH(cid:3)IHH
H[FHHGHG(cid:3)E\(cid:3)(cid:7)(cid:24)(cid:17)(cid:21)(cid:19)(cid:3)(cid:11)(cid:20)(cid:21)(cid:3)SHUFHQW(cid:12)(cid:3)WKH(cid:3)EUDQFK“V(cid:3)FRVWV(cid:3)WR(cid:3)DGPLQLVWHU
WKH(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)GXULQJ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:17)(cid:3)(cid:3)$V
ZLWK(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:15)(cid:3)ZH(cid:3)GHWHUPLQHG(cid:3)WKH(cid:3)EUDQFK(cid:3)FRVWV
WKDW(cid:3)FRUUHVSRQGHG(cid:3)WR(cid:3)HDFK(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHH(cid:17)(cid:3)(cid:3)7KHVH(cid:3)FRVWV
FRYHUHG(cid:3)SHUVRQQHO(cid:15)(cid:3)RSHUDWLQJ(cid:3)H[SHQVHV(cid:15)(cid:3)ODERUDWRU\(cid:3)HTXLSPHQW
DQG(cid:3)VXSSOLHV(cid:15)(cid:3)ODERUDWRU\(cid:3)WHVWLQJ(cid:3)VHUYLFHV(cid:15)(cid:3)DUHD(cid:3)JHQHWLF(cid:3)FHQWHUV(cid:15)
DQG(cid:3)GLDJQRVWLF(cid:3)DQG(cid:3)FRXQVHOLQJ(cid:3)VHUYLFHV(cid:17)(cid:3)7DEOH(cid:3)(cid:21)(cid:3)FRPSDUHV(cid:3)WKH
QHZERUQ(cid:3)WHVWLQJ(cid:3)IHH(cid:3)ZLWK(cid:3)WKHVH(cid:3)UHODWHG(cid:3)SURJUDP(cid:3)FRVWV(cid:17)
:KHQ(cid:3)WKH(cid:3)EUDQFK(cid:3)DGMXVWHG(cid:3)WKH(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHH(cid:3)LQ(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)LW
LQWHQGHG(cid:3)WR(cid:3)XVH(cid:3)WKH(cid:3)LQFUHDVH(cid:3)WR(cid:3)OHDVH(cid:3)QHZ(cid:3)ODERUDWRU\(cid:3)WHVWLQJ
HTXLSPHQW(cid:3) DQG(cid:3) FRYHU(cid:3) LQFUHDVHG(cid:3) RSHUDWLQJ(cid:3) FRVWV(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)
SODQV(cid:3)IRU(cid:3)OHDVLQJ(cid:3)WKH(cid:3)QHZ(cid:3)HTXLSPHQW(cid:3)ZHUH(cid:3)GHOD\HG(cid:15)(cid:3)DQG(cid:3)WKH
EUDQFK(cid:3)LV(cid:3)MXVW(cid:3)QRZ(cid:3)ILQDOL]LQJ(cid:3)WKH(cid:3)OHDVH(cid:17)(cid:3)(cid:3)+DG(cid:3)WKH(cid:3)EUDQFK(cid:3)OHDVHG
WKH(cid:3) QHZ(cid:3) HTXLSPHQW(cid:3) LQ(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3) WKH(cid:3) FRVWV(cid:3) WR
DGPLQLVWHU(cid:3)WKH(cid:3)SURJUDP(cid:3)ZRXOG(cid:3)KDYH(cid:3)DSSUR[LPDWHG(cid:3)WKH(cid:3)IHHV(cid:17)(cid:3)(cid:3),Q
(cid:28)
7DEOH(cid:3)(cid:21)
&RPSDULVRQ(cid:3)RI(cid:3)WKH(cid:3)1HZERUQ(cid:3)7HVWLQJ(cid:3))HH
:LWK(cid:3)5HODWHG(cid:3)&RVWV
)LVFDO(cid:3)<HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)
)HH(cid:3)SHU(cid:3)WHVW (cid:7)(cid:23)(cid:21)(cid:17)(cid:19)(cid:19)
(VWLPDWHG(cid:3)XQFROOHFWDEOH(cid:3)IHH (cid:3)(cid:3)(cid:3)(cid:19)(cid:17)(cid:19)(cid:19)
(cid:3)(cid:3)1HW(cid:3)FROOHFWDEOH(cid:3)IHH(cid:3)SHU(cid:3)WHVW (cid:23)(cid:21)(cid:17)(cid:19)(cid:19)
/HVV(cid:3)FRVWV(cid:3)SHU(cid:3)WHVW(cid:29)
(cid:3)(cid:3)3HUVRQQHO (cid:7)(cid:26)(cid:17)(cid:23)(cid:25)
(cid:3)(cid:3)2SHUDWLQJ(cid:3)H[SHQVHV (cid:25)(cid:17)(cid:21)(cid:21)
(cid:3)(cid:3)/DERUDWRU\(cid:3)HTXLSPHQW(cid:3)DQG(cid:3)VXSSOLHV (cid:26)(cid:17)(cid:20)(cid:25)
(cid:3)(cid:3)/DERUDWRU\(cid:3)WHVWLQJ(cid:3)VHUYLFHV (cid:28)(cid:17)(cid:24)(cid:28)
(cid:3)(cid:3)$UHD(cid:3)JHQHWLF(cid:3)FHQWHUV (cid:3)(cid:23)(cid:17)(cid:21)(cid:21)
(cid:3)(cid:3)’LDJQRVWLF(cid:3)DQG(cid:3)FRXQVHOLQJ(cid:3)VHUYLFHV (cid:3)(cid:21)(cid:17)(cid:20)(cid:24)
(cid:3)(cid:3)(cid:3)(cid:3)7RWDO(cid:3)FRVW(cid:3)SHU(cid:3)WHVW (cid:3)(cid:22)(cid:25)(cid:17)(cid:27)(cid:19)
)HH(cid:3)SHU(cid:3)WHVW(cid:3)LQ(cid:3)H[FHVV(cid:3)RI(cid:3)FRVWV (cid:7)(cid:3)(cid:24)(cid:17)(cid:21)(cid:19)
DGGLWLRQ(cid:15)(cid:3)EHFDXVH(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)QRW(cid:3)\HW(cid:3)ILQDOL]HG(cid:3)WKH(cid:3)OHDVH(cid:3)DQG
EHFDXVH(cid:3) LW(cid:3) H[SHULHQFHG(cid:3) QR(cid:3) PDMRU(cid:3) FRVW(cid:3) LQFUHDVHV(cid:3) GXULQJ
ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)(cid:15)(cid:3) QHZERUQ(cid:3) WHVWLQJ(cid:3) IHHV(cid:3) ZLOO(cid:3) FRQWLQXH(cid:3) WR
H[FHHG(cid:3)FRVWV(cid:3)LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)(cid:17)
)HHV(cid:3)LQ(cid:3)([FHVV(cid:3)RI(cid:3)&RVWV(cid:3):LOO
&UHDWH(cid:3)D(cid:3)6XUSOXV(cid:3)LQ(cid:3)WKH
*HQHWLF(cid:3)’LVHDVH(cid:3)7HVWLQJ(cid:3))XQG
,I(cid:3) LW(cid:3) GRHV(cid:3) QRW(cid:3) DGMXVW(cid:3) LWV(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHH(cid:3) WR(cid:3) EHWWHU(cid:3) UHIOHFW
FRUUHVSRQGLQJ(cid:3)FRVWV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FRXOG(cid:3)SURGXFH(cid:3)D(cid:3)ODUJH(cid:3)VXUSOXV
LQ(cid:3)LWV(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)7HVWLQJ(cid:3))XQG(cid:3)(cid:11)IXQG(cid:12)(cid:15)(cid:3)ZKLFK(cid:3)WKH(cid:3)EUDQFK
XVHV(cid:3) WR(cid:3) DFFRXQW(cid:3) IRU(cid:3) DOO(cid:3) UHYHQXHV(cid:3) DQG(cid:3) H[SHQGLWXUHV(cid:3) RI(cid:3) ERWK
SURJUDPV(cid:17)(cid:3) (cid:3) )RU(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3) DORQH(cid:15)(cid:3) ZH(cid:3) HVWLPDWH(cid:3) WKDW
UHYHQXH(cid:3) IURP(cid:3) SUHQDWDO(cid:3) DQG(cid:3) QHZERUQ(cid:3) WHVWLQJ(cid:3) IHHV(cid:3) H[FHHGHG
)RU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)DORQH(cid:15)(cid:3)WKH
UHODWHG(cid:3)FRVWV(cid:3)E\(cid:3)(cid:7)(cid:26)(cid:17)(cid:25)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)EUDQFK“V(cid:3)FRVWV(cid:3)ZLOO
EUDQFK(cid:3)JHQHUDWHG
LQFUHDVH(cid:3)ZKHQ(cid:3)LW(cid:3)OHDVHV(cid:3)WKH(cid:3)QHZ(cid:3)ODERUDWRU\(cid:3)HTXLSPHQW(cid:3)IRU(cid:3)WKH
(cid:7)(cid:26)(cid:17)(cid:25)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)H[FHVV
QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:15)(cid:3)UHYHQXHV(cid:3)IURP(cid:3)WKLV(cid:3)SURJUDP(cid:3)ZLOO
UHYHQXH(cid:3)IURP(cid:3)WKH(cid:3)SUHQDWDO
SUREDEO\(cid:3) DSSUR[LPDWH(cid:3) EUDQFK(cid:3) FRVWV(cid:3) E\(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:16)(cid:28)(cid:27)(cid:17)
DQG(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHHV(cid:17)
+RZHYHU(cid:15)(cid:3)EHFDXVH(cid:3)WKH(cid:3)FRVW(cid:3)IRU(cid:3)WKH(cid:3)SUHQDWDO(cid:3)GLDJQRVWLF(cid:3)FHQWHUV
ZDV(cid:3)DSSUR[LPDWHO\(cid:3)WKH(cid:3)VDPH(cid:3)LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)(cid:3)DV(cid:3)LW(cid:3)ZDV(cid:3)LQ
ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3) ZH(cid:3) H[SHFW(cid:3) WKDW(cid:3) WKH(cid:3) SUHQDWDO(cid:3) IHH(cid:3) ZLOO
FRQWLQXH(cid:3)WR(cid:3)H[FHHG(cid:3)FRVWV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)LI(cid:3)LW(cid:3)FRQWLQXHV(cid:3)WR(cid:3)UHFHLYH
(cid:7)(cid:20)(cid:23)(cid:17)(cid:19)(cid:24)(cid:3) SHU(cid:3) SUHQDWDO(cid:3) IHH(cid:3) LQ(cid:3) H[FHVV(cid:3) RI(cid:3) SURJUDP(cid:3) FRVWV(cid:15)(cid:3) DQG(cid:3) LI
SDUWLFLSDWLRQ(cid:3) UHPDLQV(cid:3) WKH(cid:3) VDPH(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) ZLOO(cid:3) DGG
DSSUR[LPDWHO\(cid:3)(cid:7)(cid:23)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)WR(cid:3)WKH(cid:3)IXQG(cid:3)EDODQFH(cid:3)HDFK(cid:3)ILVFDO(cid:3)\HDU(cid:17)
(cid:20)(cid:19)
2I(cid:3) FRXUVH(cid:15)(cid:3) D(cid:3) VPDOO(cid:3) UHVHUYH(cid:3) LV(cid:3) QHFHVVDU\(cid:3) WR(cid:3) FRYHU(cid:3) IXWXUH
GHYHORSPHQWV(cid:3) DQG(cid:3) RWKHU(cid:3) FRQWLQJHQFLHV(cid:15)(cid:3) EXW(cid:3) D(cid:3) JURZWK(cid:3) RI
(cid:7)(cid:23)(cid:17)(cid:27)(cid:3)PLOOLRQ(cid:3)SHU(cid:3)ILVFDO(cid:3)\HDU(cid:3)LV(cid:3)WRR(cid:3)PXFK(cid:17)
%HJLQQLQJ(cid:3)LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:16)(cid:28)(cid:27)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)SODQV(cid:3)WR(cid:3)SXUFKDVH
WZR(cid:3) QHZ(cid:3) FRPSXWHU(cid:3) V\VWHPV(cid:3) IRU(cid:3) WKH(cid:3) SUHQDWDO(cid:3) DQG(cid:3) QHZERUQ
VFUHHQLQJ(cid:3) SURJUDPV(cid:3) ZLWKRXW(cid:3) LQFUHDVLQJ(cid:3) H[LVWLQJ(cid:3) IHHV(cid:17)(cid:3) (cid:3) 2QH
V\VWHP(cid:3)ZLOO(cid:3)KDQGOH(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)IXQFWLRQV(cid:3)DQG(cid:3)WKH(cid:3)RWKHU
ZLOO(cid:3)GHDO(cid:3)ZLWK(cid:3)DFFRXQWLQJ(cid:3)DQG(cid:3)EXVLQHVV(cid:3)WDVNV(cid:30)(cid:3)WKH(cid:3)DGGLWLRQDO(cid:3)FRVW
RI(cid:3)WKHVH(cid:3)WZR(cid:3)V\VWHPV(cid:3)LV(cid:3)(cid:7)(cid:20)(cid:19)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)EHFDXVH(cid:3)ZH
H[SHFW(cid:3)WKH(cid:3)FRVW(cid:3)RI(cid:3)WKH(cid:3)QHZERUQ(cid:3)SURJUDP(cid:3)WR(cid:3)DSSUR[LPDWH(cid:3)LWV(cid:3)IHHV
LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:16)(cid:28)(cid:27)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)ZLOO(cid:3)HLWKHU(cid:3)KDYH(cid:3)WR(cid:3)LQFUHDVH
LWV(cid:3)QHZERUQ(cid:3)IHHV(cid:3)RU(cid:3)XVH(cid:3)SUHQDWDO(cid:3)IHHV(cid:3)WR(cid:3)SD\(cid:3)IRU(cid:3)WKH(cid:3)QHZERUQ
VFUHHQLQJ(cid:3)SURJUDP“V(cid:3)VKDUH(cid:3)RI(cid:3)WKH(cid:3)FRPSXWHU(cid:3)V\VWHPV“(cid:3)FRVWV(cid:17)
7KH(cid:3)%UDQFK(cid:3)1HHGV(cid:3)7R(cid:3)$VVHVV(cid:3)5HJXODUO\
WKH(cid:3)$SSURSULDWHQHVV(cid:3)RI(cid:3),WV(cid:3))HHV
7KH(cid:3) EUDQFK(cid:3) DVVHVVHV(cid:3) WKH(cid:3) DGHTXDF\(cid:3) RI(cid:3) LWV(cid:3) SURJUDP(cid:3) IHHV(cid:3) E\
PRQLWRULQJ(cid:3)WKH(cid:3)EDODQFH(cid:3)LQ(cid:3)WKH(cid:3)IXQG(cid:3)DV(cid:3)D(cid:3)ZKROH(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK
PDLQWDLQV(cid:3) VHSDUDWH(cid:3) H[SHQGLWXUH(cid:3) UHFRUGV(cid:3) IRU(cid:3) WKH(cid:3) SUHQDWDO(cid:3) DQG
QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:3) DQG(cid:3) DWWHPSWV(cid:3) WR(cid:3) NHHS(cid:3) IHHV
JHQHUDOO\(cid:3)HTXDO(cid:3)WR(cid:3)SURJUDP(cid:3)H[SHQGLWXUHV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)EUDQFK
GRHV(cid:3)QRW(cid:3)DQDO\]H(cid:3)VHSDUDWHO\(cid:3)WKH(cid:3)UHYHQXHV(cid:3)DQG(cid:3)H[SHQGLWXUHV(cid:3)RI
HDFK(cid:3)SURJUDP(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)IHHV(cid:3)HTXDO(cid:3)FRVWV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK“V
PDLQ(cid:3)FRQFHUQ(cid:3)LV(cid:3)WR(cid:3)NHHS(cid:3)WKH(cid:3)IXQG(cid:3)VROYHQW(cid:15)(cid:3)DQG(cid:3)LW(cid:3)KDV(cid:3)GRQH(cid:3)VR(cid:17)
:H(cid:3) DJUHH(cid:3) WKDW(cid:3) VROYHQF\(cid:3) LV(cid:3) LPSRUWDQW(cid:3) DQG(cid:3) WKDW(cid:3) WKH(cid:3) EUDQFK“V
PHWKRG(cid:3) SURYLGHV(cid:3) D(cid:3) JRRG(cid:3) RYHUYLHZ(cid:3) RI(cid:3) WKH(cid:3) IXQG(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)
EHFDXVH(cid:3) LW(cid:3) SHUIRUPV(cid:3) RQO\(cid:3) DQ(cid:3) RYHUYLHZ(cid:3) RI(cid:3) WKH(cid:3) HQWLUH(cid:3) IXQG
EHWZHHQ(cid:3) IHH(cid:16)VHWWLQJ(cid:3) GDWHV(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) PD\(cid:3) QRW(cid:3) QRWLFH(cid:3) ZKHQ
UHYHQXHV(cid:3)IURP(cid:3)RQH(cid:3)WHVW(cid:3)DUH(cid:3)LQDGHTXDWH(cid:3)WR(cid:3)FRYHU(cid:3)LWV(cid:3)FRVWV(cid:3)VR(cid:3)ORQJ
DV(cid:3)DQ(cid:3)DGHTXDWH(cid:3)IXQG(cid:3)EDODQFH(cid:3)H[LVWV(cid:17)(cid:3)(cid:3)7KXV(cid:15)(cid:3)EUDQFK(cid:3)VWDII(cid:3)PD\
LQDGYHUWHQWO\(cid:3) XVH(cid:3) IHHV(cid:3) IURP(cid:3) RQH(cid:3) WHVW(cid:3) WR(cid:3) VXEVLGL]H(cid:3) WKH(cid:3) FRVWV
RI(cid:3)DQRWKHU(cid:17)(cid:3)(cid:3)$(cid:3)VXSHULRU(cid:3)DSSURDFK(cid:3)ZRXOG(cid:3)DOVR(cid:3)LQYROYH(cid:3)SHULRGLF
PRQLWRULQJ(cid:3)RI(cid:3)WKH(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:3)IRU(cid:3)HDFK(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:17)(cid:3)(cid:3),Q
DGGLWLRQ(cid:15)(cid:3)WKH(cid:3)PHWKRG(cid:3)ZRXOG(cid:3)LQFOXGH(cid:3)DQDO\VHV(cid:3)WKDW(cid:3)UHVHPEOH(cid:3)WKH
FRPSDULVRQV(cid:3)RI(cid:3)IHHV(cid:3)DQG(cid:3)FRVWV(cid:3)SUHVHQWHG(cid:3)HDUOLHU(cid:3)LQ(cid:3)WKLV(cid:3)FKDSWHU(cid:17)
6XFK(cid:3)DQ(cid:3)DSSURDFK(cid:3)ZRXOG(cid:3)DOHUW(cid:3)WKH(cid:3)EUDQFK(cid:3)ZKHQ(cid:3)WKH(cid:3)FRVWV(cid:3)RI(cid:3)RQH
WHVW(cid:3)H[FHHG(cid:3)UHYHQXHV(cid:3)DQG(cid:3)ZKHQ(cid:3)IHHV(cid:3)UHTXLUH(cid:3)DGMXVWPHQW(cid:17)
5HFRPPHQGDWLRQV
7R(cid:3)HQVXUH(cid:3)WKDW(cid:3)SDWLHQWV“(cid:3)IHHV(cid:3)PRUH(cid:3)FORVHO\(cid:3)UHVHPEOH(cid:3)WKH(cid:3)FRVWV
UHTXLUHG(cid:3)WR(cid:3)UXQ(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)SURJUDPV(cid:15)(cid:3)WKH(cid:3)EUDQFK
VKRXOG(cid:3) GHYHORS(cid:3) D(cid:3) SURFHVV(cid:3) WR(cid:3) DOORZ(cid:3) VHSDUDWH(cid:3) PRQLWRULQJ(cid:3) DQG
DQDO\VLV(cid:3)RI(cid:3)HDFK(cid:3)SURJUDP“V(cid:3)UHYHQXHV(cid:3)DQG(cid:3)FRVWV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH
(cid:20)(cid:20)
EUDQFK(cid:3)QHHGV(cid:3)WR(cid:3)DQDO\]H(cid:3)VHSDUDWHO\(cid:3)HDFK(cid:3)SURJUDP“V(cid:3)IHHV(cid:3)DW(cid:3)OHDVW
RQFH(cid:3)D(cid:3) \HDU(cid:15)(cid:3) DQG(cid:3) LW(cid:3) VKRXOG(cid:3) DGMXVW(cid:3) WKH(cid:3) IHHV(cid:3) LI(cid:3) WKH(cid:3) GLIIHUHQFH
EHWZHHQ(cid:3)IHHV(cid:3)DQG(cid:3)FRVWV(cid:3)LV(cid:3)VLJQLILFDQW(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)DOVR
UHGXFH(cid:3)WKH(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)IHH(cid:3)WR(cid:3)D(cid:3)OHYHO(cid:3)WKDW(cid:3)PRUH(cid:3)FORVHO\
UHIOHFWV(cid:3)WKH(cid:3)FRVWV(cid:3)RI(cid:3)WKH(cid:3)SURJUDP(cid:17)
(cid:20)(cid:21)
Chapter 2
7KH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)+DV(cid:3)DQ(cid:3),QHIIHFWLYH
3URFHVV(cid:3)IRU(cid:3)%LOOLQJ(cid:3)DQG(cid:3)&ROOHFWLRQV
&KDSWHU(cid:3)6XPPDU\
7
KH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)(cid:11)EUDQFK(cid:12)(cid:3)QHHGV(cid:3)WR(cid:3)LPSURYH(cid:3)LWV
SURFHVV(cid:3) IRU(cid:3) ELOOLQJ(cid:3) DQG(cid:3) FROOHFWLQJ(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHHV(cid:17)
%HFDXVH(cid:3) LWV(cid:3) FXUUHQW(cid:3) SURFHGXUHV(cid:3) GR(cid:3) QRW(cid:3) HQVXUH(cid:3) WKDW
LQGLYLGXDO(cid:3) SDWLHQWV(cid:3) SD\(cid:3) WKH(cid:3) IHHV(cid:3) WKH\(cid:3) RZH(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) KDV
ZULWWHQ(cid:3)RII(cid:3)IHHV(cid:3)RI(cid:3)(cid:7)(cid:28)(cid:17)(cid:26)(cid:3)PLOOLRQ(cid:3)VLQFH(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)DQG(cid:3)LW(cid:3)PD\(cid:3)EH
XQDEOH(cid:3)WR(cid:3)FROOHFW(cid:3)DQ(cid:3)DGGLWLRQDO(cid:3)(cid:7)(cid:25)(cid:17)(cid:24)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)EUDQFK
VWDII(cid:3) ZHUH(cid:3) XQDZDUH(cid:3) WKDW(cid:3) WKH\(cid:3) KDG(cid:3) QRW(cid:3) ELOOHG(cid:3) WKH(cid:3) 0HGL(cid:16)&DO
SURJUDP(cid:3)IRU(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:3)LQ(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:17)
7KHVH(cid:3)IHHV(cid:3)PD\(cid:3)EH(cid:3)XQFROOHFWDEOH(cid:3)EHFDXVH(cid:3)0HGL(cid:16)&DO(cid:3)XVXDOO\(cid:3)GRHV
QRW(cid:3)SD\(cid:3)FKDUJHV(cid:3)PRUH(cid:3)WKDQ(cid:3)RQH(cid:3)\HDU(cid:3)ROG(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)WKH(cid:3)EUDQFK
LV(cid:3)KROGLQJ(cid:3)DSSUR[LPDWHO\(cid:3)(cid:7)(cid:26)(cid:26)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ(cid:3)RYHUSDLG(cid:3)SUHQDWDO(cid:3)IHHV
EHFDXVH(cid:3)LW(cid:3)LVVXHV(cid:3)IHH(cid:3)UHIXQGV(cid:3)RQO\(cid:3)ZKHQ(cid:3)UHTXHVWHG(cid:3)WR(cid:3)GR(cid:3)VR(cid:17)
)LQDOO\(cid:15)(cid:3)LQ(cid:3)PRVW(cid:3)LQVWDQFHV(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)FRPSOLHG(cid:3)ZLWK(cid:3)VWDWH
FRQWUDFWLQJ(cid:3) ODZV(cid:3) DQG(cid:3) UHJXODWLRQV(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) IURP(cid:3) (cid:20)(cid:28)(cid:28)(cid:19)(cid:3) WR
(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)VHHN(cid:3)FRPSHWLWLYH(cid:3)ELGV(cid:3)IRU(cid:3)LWV(cid:3)ODERUDWRU\(cid:3)WHVWLQJ
VHUYLFHV(cid:3)FRQWUDFWV(cid:17)
%DFNJURXQG
7KH(cid:3) +HDOWK(cid:3) DQG(cid:3) 6DIHW\(cid:3) &RGH(cid:3) UHTXLUHV(cid:3) WKDW(cid:3) WKH(cid:3) SUHQDWDO(cid:3) DQG
QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:3) EH(cid:3) VHOI(cid:16)VXSSRUWLQJ(cid:17)(cid:3) (cid:3) 7KXV(cid:3) WKH
EUDQFK(cid:3)FKDUJHV(cid:3)IHHV(cid:3)WR(cid:3)SURJUDP(cid:3)SDUWLFLSDQWV(cid:3)WR(cid:3)FRYHU(cid:3)LWV(cid:3)FRVWV(cid:3)RI
SURYLGLQJ(cid:3) WKHVH(cid:3) VFUHHQLQJ(cid:3) WHVWV(cid:17)(cid:3) (cid:3) )RU(cid:3) WKH(cid:3) QHZERUQ(cid:3) VFUHHQLQJ
SURJUDP(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)ELOOV(cid:3)KRVSLWDOV(cid:3)IRU(cid:3)HDFK(cid:3)WHVW(cid:3)SURYLGHG(cid:15)(cid:3)DQG(cid:3)LW
JHQHUDOO\(cid:3) FROOHFWV(cid:3) DOO(cid:3) IHHV(cid:3) FKDUJHG(cid:17)(cid:3) (cid:3) 8QGHU(cid:3) WKH(cid:3) SUHQDWDO
VFUHHQLQJ(cid:3)SURJUDP(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GLUHFWO\(cid:3)ELOOV(cid:3)VRPH(cid:3)WKLUG(cid:3)SDUWLHV(cid:15)
VXFK(cid:3)DV(cid:3)WKH(cid:3)&DOLIRUQLD(cid:3)0HGLFDO(cid:3)$VVLVWDQFH(cid:3)3URJUDP(cid:3)(cid:11)0HGL(cid:16)&DO(cid:12)
DQG(cid:3) D(cid:3) IHZ(cid:3) KHDOWK(cid:3) SODQV(cid:17)(cid:3) (cid:3) (cid:11)0HGL(cid:16)&DO(cid:3) LV(cid:3) D(cid:3) VWDWH(cid:3) DQG(cid:3) IHGHUDO
SURJUDP(cid:3)WKDW(cid:3)SURYLGHV(cid:3)PHGLFDO(cid:3)FDUH(cid:3)DVVLVWDQFH(cid:3)IRU(cid:3)QHHG\(cid:3)DQG
ORZ(cid:16)LQFRPH(cid:3) SHRSOH(cid:17)(cid:12)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) ELOOV(cid:3) SDWLHQWV
GLUHFWO\(cid:3)IRU(cid:3)DOPRVW(cid:3)KDOI(cid:3)RI(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:17)(cid:3)(cid:3)’XULQJ(cid:3)HDFK
PRQWK(cid:3)LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VHQW(cid:3)DQ(cid:3)DYHUDJH(cid:3)RI
(cid:20)(cid:21)(cid:15)(cid:24)(cid:19)(cid:19)(cid:3)LQLWLDO(cid:3)SDWLHQW(cid:3)ELOOV(cid:3)WRWDOLQJ(cid:3)(cid:7)(cid:20)(cid:17)(cid:22)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)3DWLHQWV(cid:3)DUH
UHVSRQVLEOH(cid:3) IRU(cid:3) SD\LQJ(cid:3) WKH(cid:3) ELOOV(cid:3) RU(cid:3) IRUZDUGLQJ(cid:3) WKHP(cid:3) WR(cid:3) WKHLU
LQVXUDQFH(cid:3)FRPSDQLHV(cid:17)
(cid:20)(cid:22)
7KH(cid:3)ELOOLQJ(cid:3)SURFHVV(cid:3)EHJLQV(cid:3)HYHQ(cid:3)EHIRUH(cid:3)SDSHUZRUN(cid:3)UHDFKHV(cid:3)WKH
EUDQFK“V(cid:3)DFFRXQWLQJ(cid:3)XQLW(cid:17)(cid:3)(cid:3):KHQ(cid:3)D(cid:3)SUHJQDQW(cid:3)ZRPDQ(cid:3)YLVLWV(cid:3)KHU
FOLQLFLDQ(cid:3)DQG(cid:3)GHFLGHV(cid:3)WR(cid:3)WDNH(cid:3)WKH(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:15)(cid:3)VKH
LQLWLDWHV(cid:3)WKH(cid:3)SURFHVV(cid:17)(cid:3)(cid:3)7KH(cid:3)FOLQLFLDQ(cid:3)ILOOV(cid:3)RXW(cid:3)D(cid:3)SUHQDWDO(cid:3)WHVW(cid:3)IRUP
WKDW(cid:3)OLVWV(cid:3)SDWLHQW(cid:3)DQG(cid:3)ELOOLQJ(cid:3)LQIRUPDWLRQ(cid:15)(cid:3)LQFOXGLQJ(cid:3)WKH(cid:3)SDWLHQW“V
QDPH(cid:15)(cid:3) DGGUHVV(cid:15)(cid:3) VRFLDO(cid:3) VHFXULW\(cid:3) QXPEHU(cid:15)(cid:3) DQG(cid:3) KHDOWK(cid:3) SODQ
VXEVFULEHU(cid:3) QXPEHU(cid:3) RU(cid:3) 0HGL(cid:16)&DO(cid:3) QXPEHU(cid:17)(cid:3) (cid:3) 7KH(cid:3) ZRPDQ“V(cid:3) WHVW
IRUP(cid:3)DQG(cid:3)EORRG(cid:3)VDPSOH(cid:3)WKHQ(cid:3)JR(cid:3)WR(cid:3)RQH(cid:3)RI(cid:3)WKH(cid:3)HLJKW(cid:3)ODERUDWRULHV
DXWKRUL]HG(cid:3) E\(cid:3) WKH(cid:3) EUDQFK(cid:3) WR(cid:3) FRPSOHWH(cid:3) WKH(cid:3) VFUHHQLQJ(cid:3) WHVW(cid:17)
%HVLGHV(cid:3) DQDO\]LQJ(cid:3) WKH(cid:3) EORRG(cid:15)(cid:3) WKH(cid:3) ODERUDWRU\(cid:3) HQWHUV(cid:3) WKH
LQIRUPDWLRQ(cid:3)IURP(cid:3)WKH(cid:3)WHVW(cid:3)IRUP(cid:3)LQWR(cid:3)D(cid:3)FRPSXWHU(cid:3)WHUPLQDO(cid:3)OLQNHG
WR(cid:3) WKH(cid:3) EUDQFK“V(cid:3) FRPSXWHU(cid:3) GDWDEDVH(cid:3) WKDW(cid:3) SURGXFHV(cid:3) WKH(cid:3) ELOOV(cid:17)
7ZR(cid:3)ZHHNV(cid:3)DIWHU(cid:3)WKH(cid:3)WHVW(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)PDLOV(cid:3)WKH(cid:3)LQLWLDO(cid:3)ELOO(cid:3)WR
WKH(cid:3)SDWLHQW(cid:17)(cid:3)(cid:3),I(cid:3)VKH(cid:3)GRHV(cid:3)QRW(cid:3)UHVSRQG(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VHQGV(cid:3)RXW
WKUHH(cid:3)DGGLWLRQDO(cid:3)ELOOV(cid:3)RYHU(cid:3)WKH(cid:3)QH[W(cid:3)WKUHH(cid:3)PRQWKV(cid:17)(cid:3)(cid:3),I(cid:3)WKH(cid:3)SDWLHQW
GRHV(cid:3)QRW(cid:3)SD\(cid:3)DIWHU(cid:3)WKH(cid:3)IRXUWK(cid:3)ELOO(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)PDNHV(cid:3)QR(cid:3)IXUWKHU
DWWHPSW(cid:3)WR(cid:3)FROOHFW(cid:3)WKH(cid:3)IHH(cid:17)(cid:3)(cid:3)7KH(cid:3)SDWLHQW(cid:3)ZLOO(cid:3)RQO\(cid:3)EHJLQ(cid:3)UHFHLYLQJ
DGGLWLRQDO(cid:3)LQYRLFHV(cid:3)LI(cid:3)KHU(cid:3)DFFRXQW(cid:3)VKRZV(cid:3)DFWLYLW\(cid:15)(cid:3)VXFK(cid:3)DV(cid:3)DQ
DGGUHVV(cid:3)FKDQJH(cid:15)(cid:3)RU(cid:3)LI(cid:3)WKH(cid:3)SDWLHQW(cid:3)PDNHV(cid:3)D(cid:3)SDUWLDO(cid:3)SD\PHQW(cid:17)(cid:3)(cid:3)7KH
EUDQFK“V(cid:3)SROLF\(cid:3)LV(cid:3)WR(cid:3)ZULWH(cid:3)RII(cid:3)ELOOLQJV(cid:3)PRUH(cid:3)WKDQ(cid:3)WZR(cid:3)\HDUV(cid:3)ROG(cid:17)
$OWKRXJK(cid:3)WKH(cid:3)EUDQFK(cid:3)FROOHFWV(cid:3)DOPRVW(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)IHHV(cid:3)FKDUJHG(cid:3)WR
0HGL(cid:16)&DO(cid:3) RU(cid:3) WR(cid:3) KHDOWK(cid:3) SODQV(cid:15)(cid:3) LW(cid:3) KDV(cid:3) GLIILFXOW\(cid:3) FROOHFWLQJ(cid:3) WKH
7KH(cid:3)EUDQFK(cid:3)KDV(cid:3)IDLOHG(cid:3)WR
SUHQDWDO(cid:3)IHHV(cid:3)ELOOHG(cid:3)WR(cid:3)SDWLHQWV(cid:17)(cid:3)(cid:3)2YHU(cid:3)WKH(cid:3)SDVW(cid:3)WKUHH(cid:3)ILVFDO(cid:3)\HDUV(cid:15)
FROOHFW(cid:3)DQ(cid:3)DYHUDJH(cid:3)RI(cid:3)(cid:22)(cid:23)
WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)IDLOHG(cid:3)WR(cid:3)FROOHFW(cid:3)DQ(cid:3)DYHUDJH(cid:3)RI(cid:3)(cid:22)(cid:23)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH
SHUFHQW(cid:3)RI(cid:3)SUHQDWDO(cid:3)IHHV
SUHQDWDO(cid:3)IHHV(cid:3)LW(cid:3)ELOOHG(cid:3)WR(cid:3)SDWLHQWV(cid:17)(cid:3)(cid:3)$V(cid:3)D(cid:3)UHVXOW(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GLG
ELOOHG(cid:3)WR(cid:3)SDWLHQWV(cid:17)
QRW(cid:3)FROOHFW(cid:3)DQ(cid:3)DYHUDJH(cid:3)RI(cid:3)(cid:20)(cid:22)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH(cid:3)WRWDO(cid:3)SUHQDWDO(cid:3)IHHV(cid:3)LW
ELOOHG(cid:3)GXULQJ(cid:3)WKH(cid:3)VDPH(cid:3)SHULRG(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) RI(cid:3)WKHVH(cid:3) FROOHFWLRQ
LQHIILFLHQFLHV(cid:15)(cid:3)(cid:7)(cid:20)(cid:23)(cid:17)(cid:23)(cid:28)(cid:3)RI(cid:3)HDFK(cid:3)IHH(cid:3)SDLG(cid:3)E\(cid:3)SDWLHQWV(cid:3)DQG(cid:3)KHDOWK
SODQV(cid:3)KDV(cid:3)VXEVLGL]HG(cid:3)QRQSD\LQJ(cid:3)FRQVXPHUV(cid:17)
7KH(cid:3)%UDQFK(cid:3)+DV(cid:3):ULWWHQ(cid:3)2II(cid:3)0LOOLRQV
RI(cid:3)’ROODUV(cid:3)LQ(cid:3))HHV(cid:3)%HFDXVH(cid:3)RI(cid:3):HDN
%LOOLQJ(cid:3)DQG(cid:3)&ROOHFWLRQ(cid:3)3URFHGXUHV
6LQFH(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:22)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)ZULWWHQ(cid:3)RII(cid:3)(cid:7)(cid:28)(cid:17)(cid:26)(cid:3)PLOOLRQ(cid:3)LQ
XQFROOHFWHG(cid:3) IHHV(cid:3) EHFDXVH(cid:3) LWV(cid:3) SURFHGXUHV(cid:3) IRU(cid:3) ELOOLQJ(cid:3) DQG
FROOHFWLQJ(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)DUH(cid:3)LQDGHTXDWH(cid:17)(cid:3)(cid:3)&XUUHQW(cid:3)SDWLHQW
ELOOLQJV(cid:3) LQGLFDWH(cid:3) WKDW(cid:3) DQ(cid:3) DGGLWLRQDO(cid:3) (cid:7)(cid:25)(cid:17)(cid:24)(cid:3) PLOOLRQ(cid:3) LQ(cid:3) IHHV(cid:3) DUH
SRWHQWLDOO\(cid:3)XQFROOHFWDEOH(cid:3)EHFDXVH(cid:3)WKH\(cid:3)DUH(cid:3)PRUH(cid:3)WKDQ(cid:3)RQH(cid:3)\HDU
ROG(cid:17)
)RU(cid:3)VHYHUDO(cid:3)\HDUV(cid:15)(cid:3)EUDQFK(cid:3)VWDII(cid:3)KDYH(cid:3)EHHQ(cid:3)DZDUH(cid:3)RI(cid:3)GHILFLHQFLHV
LQ(cid:3)WKH(cid:3)ELOOLQJ(cid:3)DQG(cid:3)FROOHFWLRQ(cid:3)SURFHGXUHV(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV
WDNHQ(cid:3)VRPH(cid:3)DFWLRQ(cid:3)WR(cid:3)DGGUHVV(cid:3)WKHVH(cid:3)GHILFLHQFLHV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)LQ
)HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FRPSOHWHG(cid:3)D(cid:3)IHDVLELOLW\(cid:3)VWXG\(cid:3)IRU(cid:3)D
QHZ(cid:3) FRPSXWHU(cid:3) DFFRXQWLQJ(cid:3) V\VWHP(cid:3) WKDW(cid:3) EUDQFK(cid:3) PDQDJHPHQW
EHOLHYHV(cid:3)ZLOO(cid:3)FRUUHFW(cid:3)VHYHUDO(cid:3)SUREOHPV(cid:3)LQ(cid:3)WKH(cid:3)ELOOLQJ(cid:3)SURFHVV(cid:15)
VXFK(cid:3)DV(cid:3)PLVVLQJ(cid:3)SDWLHQW(cid:3)DGGUHVVHV(cid:3)DQG(cid:3)ELOOLQJ(cid:3)IRU(cid:3)FR(cid:16)SD\PHQWV(cid:15)
(cid:20)(cid:23)
DQG(cid:3)DOVR(cid:3) LPSURYH(cid:3) FROOHFWLRQV(cid:17)(cid:3) (cid:3) 7KH(cid:3) EUDQFK(cid:3) EHJDQ(cid:3) DFFHSWLQJ
FUHGLW(cid:3) FDUG(cid:3) SD\PHQWV(cid:3) IRU(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHHV(cid:17)(cid:3) (cid:3) )XUWKHU(cid:15)(cid:3) WKH
EUDQFK(cid:3)DOVR(cid:3)UHFHQWO\(cid:3)UHDVVLJQHG(cid:3)WZR(cid:3)VWDII(cid:3)WR(cid:3)LWV(cid:3)DFFRXQWLQJ(cid:3)XQLW
WR(cid:3) DVVLVW(cid:3) ZLWK(cid:3) ELOOLQJ(cid:17)(cid:3) (cid:3) 1RQHWKHOHVV(cid:15)(cid:3) GHVSLWH(cid:3) WKHVH
DFFRPSOLVKPHQWV(cid:15)(cid:3)PRUH(cid:3)LPSURYHPHQW(cid:3)LV(cid:3)QHHGHG(cid:17)
6HYHUDO(cid:3) DVSHFWV(cid:3) FRQWULEXWH(cid:3) WR(cid:3) WKH(cid:3) EUDQFK“V(cid:3) GLIILFXOWLHV(cid:3) LQ
FROOHFWLQJ(cid:3)SUHQDWDO(cid:3)IHHV(cid:3)IURP(cid:3)LQGLYLGXDO(cid:3)SDWLHQWV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)
XQOLNH(cid:3)KHDOWK(cid:3)FDUH(cid:3)SURYLGHUV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)ELOOV(cid:3)SDWLHQWV(cid:3)LQ(cid:3)DUUHDUV
IRU(cid:3)WKH(cid:3)WHVW(cid:3)UDWKHU(cid:3)WKDQ(cid:3)FROOHFWLQJ(cid:3)IHHV(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)RI(cid:3)VHUYLFH(cid:17)
+HDOWK(cid:3)FDUH(cid:3)SURYLGHUV(cid:3)XVXDOO\(cid:3)UHTXLUH(cid:3)SDWLHQWV(cid:3)ZLWKRXW(cid:3)LQVXUDQFH
WR(cid:3) SD\(cid:3) IRU(cid:3) VHUYLFHV(cid:3) EHIRUH(cid:3) WKH(cid:3) VHUYLFHV(cid:3) DUH(cid:3) SURYLGHG(cid:17)
$GGLWLRQDOO\(cid:15)(cid:3) PRVW(cid:3) KHDOWK(cid:3) SODQV(cid:3) UHTXLUH(cid:3) SDWLHQWV(cid:3) WR(cid:3) PDNH
FR(cid:16)SD\PHQWV(cid:3)ZKHQ(cid:3)WKH\(cid:3)YLVLW(cid:3)WKHLU(cid:3)GRFWRUV(cid:17)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)GRHV
QRW(cid:3)UHTXLUH(cid:3)SDWLHQWV(cid:3)WR(cid:3)PDNH(cid:3)SD\PHQWV(cid:3)RU(cid:3)WR(cid:3)VHOHFW(cid:3)SD\PHQW
RSWLRQV(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)RI(cid:3)WKHLU(cid:3)EORRG(cid:3)WHVWV(cid:17)(cid:3)(cid:3)7KHVH(cid:3)RSWLRQV(cid:3)FRXOG
LQFOXGH(cid:3)SD\LQJ(cid:3)LQ(cid:3)IXOO(cid:15)(cid:3)SD\LQJ(cid:3)E\(cid:3)FUHGLW(cid:3)FDUG(cid:15)(cid:3)RU(cid:3)PDNLQJ(cid:3)D(cid:3)SDUWLDO
SD\PHQW(cid:3)DQG(cid:3)KDYLQJ(cid:3)WKH(cid:3)EUDQFK(cid:3)ELOO(cid:3)WKH(cid:3)SDWLHQWV(cid:3)ODWHU(cid:3)IRU(cid:3)WKH
EDODQFH(cid:17)(cid:3) (cid:3) %\(cid:3) QRW(cid:3) UHTXLULQJ(cid:3) WKDW(cid:3) SDWLHQWV(cid:3) FKRRVH(cid:3) SD\PHQW
7KH(cid:3)EUDQFK(cid:3)GRHV(cid:3)QRW RSWLRQV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)LV(cid:3)QRW(cid:3)WDNLQJ(cid:3)DGYDQWDJH(cid:3)RI(cid:3)DGGLWLRQDO(cid:3)PHDQV
UHTXLUH(cid:3)SDWLHQWV(cid:3)WR WR(cid:3)UHGXFH(cid:3)ELOOLQJV(cid:3)DQG(cid:3)LQFUHDVH(cid:3)FROOHFWLRQV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH(cid:3)EUDQFK
PDNH(cid:3)SD\PHQWV(cid:3)RU(cid:3)VHOHFW FRXOG(cid:3) SURYLGH(cid:3) SRVWDJH(cid:16)SDLG(cid:3) HQYHORSHV(cid:3) ZLWK(cid:3) WKH(cid:3) SUHQDWDO(cid:3) WHVW
SD\PHQW(cid:3)RSWLRQV(cid:3)DW(cid:3)WKH IRUPV(cid:3)VR(cid:3)WKDW(cid:3)SDWLHQWV(cid:3)FRXOG(cid:3)PDLO(cid:3)WKHLU(cid:3)SD\PHQWV(cid:3)WR(cid:3)WKH(cid:3)EUDQFK
WLPH(cid:3)RI(cid:3)VHUYLFH(cid:17) ZKHQ(cid:3)WKH\(cid:3)KDYH(cid:3)WKHLU(cid:3)EORRG(cid:3)GUDZQ(cid:17)(cid:3)(cid:3) $GGLWLRQDOO\(cid:15)(cid:3) IRU(cid:3)WKRVH
SDWLHQWV(cid:3)ZKR(cid:3)FKRRVH(cid:3)WR(cid:3)SD\(cid:3)E\(cid:3)FUHGLW(cid:3)FDUG(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FRXOG
SURYLGH(cid:3)VSDFH(cid:3)RQ(cid:3)WKH(cid:3)WHVW(cid:3)IRUP(cid:3)IRU(cid:3)FUHGLW(cid:3)FDUG(cid:3)LQIRUPDWLRQ(cid:17)(cid:3)(cid:3)7KH
EUDQFK(cid:3)FRXOG(cid:3)WKHQ(cid:3)ELOO(cid:3)WKH(cid:3)FUHGLW(cid:3)FDUG(cid:3)FRPSDQ\(cid:3)GLUHFWO\(cid:17)
7KH(cid:3)EUDQFK(cid:3)FRXOG(cid:3)DOVR(cid:3)LPSURYH(cid:3)FROOHFWLRQV(cid:3)RI(cid:3)SUHQDWDO(cid:3)WHVWLQJ
IHHV(cid:3)E\(cid:3)ELOOLQJ(cid:3)KHDOWK(cid:3)SODQV(cid:3)GLUHFWO\(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV
DJUHHPHQWV(cid:3) ZLWK(cid:3) VRPH(cid:3) KHDOWK(cid:3) SODQV(cid:15)(cid:3) LW(cid:3) GRHV(cid:3) QRW
KDYH(cid:3) DJUHHPHQWV(cid:3) ZLWK(cid:3) PDQ\(cid:3) RI(cid:3) WKH(cid:3) ODUJH(cid:3) KHDOWK(cid:3) SODQV(cid:3) LQ
&DOLIRUQLD(cid:17)(cid:3) (cid:3) )RU(cid:3) H[DPSOH(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) KDV(cid:3) GLUHFW(cid:3) ELOOLQJ
DJUHHPHQWV(cid:3)ZLWK(cid:3)RQO\(cid:3)(cid:24)(cid:3)RI(cid:3)WKH(cid:3)(cid:20)(cid:25)(cid:3)ODUJHVW(cid:3)KHDOWK(cid:3)PDLQWHQDQFH
RUJDQL]DWLRQV(cid:3) RSHUDWLQJ(cid:3) LQ(cid:3) WKH(cid:3) 6WDWH(cid:3) WKDW(cid:3) KDYH(cid:3) PRUH(cid:3) WKDQ
(cid:20)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)PHPEHUV(cid:17)(cid:3)(cid:3):KHQ(cid:3)WKH(cid:3)EUDQFK(cid:3)GRHV(cid:3)QRW(cid:3)KDYH(cid:3)D(cid:3)GLUHFW
ELOOLQJ(cid:3)DJUHHPHQW(cid:15)(cid:3)LW(cid:3)UHOLHV(cid:3)XSRQ(cid:3)SDWLHQWV(cid:3)WR(cid:3)IRUZDUG(cid:3)WR(cid:3) WKHLU
KHDOWK(cid:3)SODQV(cid:3)WKH(cid:3)ELOOV(cid:3)IRU(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:17)
,I(cid:3)LW(cid:3)ELOOV(cid:3)KHDOWK(cid:3)SODQV(cid:3)GLUHFWO\(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FDQ(cid:3)DOVR(cid:3)UHGXFH(cid:3)LWV
QXPEHU(cid:3)RI(cid:3)LQGLYLGXDO(cid:3)SDWLHQW(cid:3)ELOOLQJV(cid:17)(cid:3)(cid:3))RU(cid:3)H[DPSOH(cid:15)(cid:3)LQ(cid:3)0D\
(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VHQW(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:21)(cid:23)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQLWLDO(cid:3)ELOOV(cid:3)DQG(cid:3)DOPRVW
(cid:24)(cid:27)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)IROORZ(cid:16)XS(cid:3)ELOOV(cid:3)WR(cid:3)LQGLYLGXDO(cid:3)SDWLHQWV(cid:17)(cid:3)(cid:3)$W(cid:3)WKH(cid:3)VDPH(cid:3)WLPH(cid:15)
WKH(cid:3)EUDQFK(cid:3) ELOOHG(cid:3) RQO\(cid:3) (cid:20)(cid:20)(cid:28)(cid:3) KHDOWK(cid:3) SODQV(cid:3) IRU(cid:3) (cid:24)(cid:15)(cid:25)(cid:19)(cid:19)(cid:3) SDWLHQWV(cid:17)
+LVWRULFDOO\(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)FROOHFWHG(cid:3)DOPRVW(cid:3)(cid:20)(cid:19)(cid:19)(cid:3)SHUFHQW(cid:3)RI(cid:3)LWV
KHDOWK(cid:3)SODQ(cid:3)ELOOLQJV(cid:17)(cid:3)(cid:3)%\(cid:3)ELOOLQJ(cid:3)PRUH(cid:3)KHDOWK(cid:3)SODQV(cid:3)IRU(cid:3)SDWLHQWV“
SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHHV(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) FRXOG(cid:3) UHGXFH(cid:3) ELOOLQJ(cid:3) FRVWV(cid:15)
VWUHDPOLQH(cid:3)LWV(cid:3)ELOOLQJ(cid:3)SURFHVV(cid:15)(cid:3)DQG(cid:3)LQFUHDVH(cid:3)FROOHFWLRQV(cid:17)
(cid:20)(cid:24)
7KH(cid:3)EUDQFK(cid:3)KDV(cid:3)DOVR(cid:3)IDLOHG(cid:3)WR(cid:3)XVH(cid:3)LQYRLFHV(cid:3)WKDW(cid:3)LQGLFDWH(cid:3)ZKHQ(cid:3)D
ELOO(cid:3)LV(cid:3)RYHUGXH(cid:17)(cid:3)(cid:3)&XUUHQWO\(cid:15)(cid:3)HDFK(cid:3)RI(cid:3)WKH(cid:3)IRXU(cid:3)ELOOV(cid:3)VHQW(cid:3)WR(cid:3)SDWLHQWV
LV(cid:3) LGHQWLFDO(cid:3) DQG(cid:3) FRQWDLQV(cid:3) QR(cid:3) ODQJXDJH(cid:3) WR(cid:3) HPSKDVL]H(cid:3) WKDW
SD\PHQW(cid:3)LV(cid:3)SDVW(cid:3)GXH(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)EHFDXVH(cid:3)FROOHFWLRQ(cid:3)HIIRUWV(cid:3)HQG
DIWHU(cid:3) WKH(cid:3) IRXUWK(cid:3) ELOO(cid:15)(cid:3) D(cid:3) SDWLHQW(cid:3) FDQ(cid:3) LJQRUH(cid:3) DOO(cid:3) ELOOLQJ(cid:3) QRWLFHV
ZLWKRXW(cid:3)SHQDOW\(cid:17)
)LQDOO\(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GRHV(cid:3)QRW(cid:3)WDNH(cid:3)DGYDQWDJH(cid:3)RI(cid:3)YDULRXV(cid:3)RIIVHW
SURJUDPV(cid:15)(cid:3) VXFK(cid:3) DV(cid:3) DWWDFKLQJ(cid:3) WKH(cid:3) SDWLHQW“V(cid:3) WD[(cid:3) UHIXQG(cid:3) LI(cid:3) WKH
SDWLHQW(cid:3)IDLOV(cid:3)WR(cid:3)SD\(cid:17)(cid:3)(cid:3),Q(cid:3))HEUXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW“V(cid:3)LQWHUQDO
DXGLWRUV(cid:3) UHFRPPHQGHG(cid:3) WKDW(cid:3) WKH(cid:3) EUDQFK(cid:3) VWDUW(cid:3) SHUIRUPLQJ
WD[(cid:3)UHIXQG(cid:3)RIIVHWV(cid:3)WR(cid:3)LPSURYH(cid:3)FROOHFWLRQV(cid:15)(cid:3)(cid:3)EXW(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV
QRW(cid:3)\HW(cid:3)GRQH(cid:3)VR(cid:17)(cid:3)(cid:3),QVWHDG(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VWDWHV(cid:3)WKDW(cid:3)LW(cid:3)LV(cid:3)ZDLWLQJ
XQWLO(cid:3)DQ(cid:3)DQWLFLSDWHG(cid:3)QHZ(cid:3)FRPSXWHU(cid:3)V\VWHP(cid:3)LV(cid:3)LQ(cid:3)SODFH(cid:17)(cid:3)(cid:3)2QFH(cid:3)LQ
SODFH(cid:15)(cid:3)WKH(cid:3)V\VWHP(cid:3)ZLOO(cid:3)LPSOHPHQW(cid:3)D(cid:3)WD[(cid:3)UHIXQG(cid:3)RIIVHW(cid:3)SURFHVV(cid:3)WR
SURYLGH(cid:3)DQQXDO(cid:3)FROOHFWLRQV(cid:3)RI(cid:3)PRUH(cid:3)WKDQ(cid:3)(cid:7)(cid:26)(cid:19)(cid:19)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17)
7KH(cid:3)%UDQFK(cid:3)’LG(cid:3)1RW(cid:3)%LOO(cid:3)6RPH
3UHQDWDO(cid:3))HHV(cid:3)WR(cid:3)0HGL(cid:16)&DO
7KH(cid:3)EUDQFK(cid:3)GLUHFWO\(cid:3)ELOOV(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)WR(cid:3)0HGL(cid:16)&DO(cid:3)IRU
HOLJLEOH(cid:3) SDWLHQWV(cid:3) DQG(cid:3) JHQHUDOO\(cid:3) FROOHFWV(cid:3) WKH(cid:3) IXOO(cid:3) DPRXQW(cid:3) GXH(cid:17)
+RZHYHU(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GLG(cid:3)QRW(cid:3)ELOO(cid:3)0HGL(cid:16)&DO(cid:3)IRU(cid:3)WHVWV(cid:3)SURYLGHG(cid:3)WR
7KH(cid:3)EUDQFK(cid:3)IDLOHG(cid:3)WR (cid:20)(cid:19)(cid:15)(cid:23)(cid:26)(cid:25)(cid:3)SDWLHQWV(cid:3)EHWZHHQ(cid:3)-XO\(cid:3)DQG(cid:3)1RYHPEHU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)(cid:3)(cid:3)8VLQJ(cid:3)D
ELOO(cid:3)0HGL(cid:16)&DO(cid:3)IRU ZHLJKWHG(cid:3)DYHUDJH(cid:3)IHH(cid:3)RI(cid:3)(cid:7)(cid:20)(cid:20)(cid:20)(cid:17)(cid:23)(cid:22)(cid:15)(cid:3)WKH(cid:3)DYHUDJH(cid:3)DPRXQW(cid:3)ELOOHG(cid:3)IRU
(cid:20)(cid:19)(cid:15)(cid:23)(cid:26)(cid:25)(cid:3)SDWLHQWV(cid:3)DQG(cid:3)WKXV HDFK(cid:3)WHVW(cid:15)(cid:3)ZH(cid:3)HVWLPDWH(cid:3)WKDW(cid:3)WKH(cid:3)IHHV(cid:3)IRU(cid:3)WKHVH(cid:3)WHVWV(cid:3)WRWDOHG(cid:3)RYHU
GLG(cid:3)QRW(cid:3)FROOHFW(cid:3)PRUH(cid:3)WKDQ (cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)EUDQFK(cid:3)FKLHI(cid:15)(cid:3)0HGL(cid:16)&DO(cid:3)GLG(cid:3)QRW
UHFHLYH(cid:3)LQYRLFHV(cid:3)IRU(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWV(cid:3)EHFDXVH(cid:3)RI(cid:3)D(cid:3)FRPSXWHU
(cid:7)(cid:20)(cid:17)(cid:20)(cid:3)PLOOLRQ(cid:17)
SURJUDPPLQJ(cid:3) HUURU(cid:17)(cid:3) (cid:3) 8QWLO(cid:3) ZH(cid:3) EURXJKW(cid:3) WKH(cid:3) SUREOHP(cid:3) WR(cid:3) WKHLU
DWWHQWLRQ(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VWDII(cid:3)ZHUH(cid:3)XQDZDUH(cid:3)RI(cid:3)WKLV(cid:3)HUURU(cid:30)(cid:3)KRZHYHU(cid:15)
WKH\(cid:3)DJUHHG(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)QHHGHG(cid:3)WR(cid:3)SXUVXH(cid:3)FROOHFWLRQ(cid:3)IURP
0HGL(cid:16)&DO(cid:17)(cid:3)(cid:3),Q(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VXEPLWWHG(cid:3)WKHVH(cid:3)FODLPV(cid:3)IRU
SD\PHQW(cid:17)(cid:3)(cid:3)8QIRUWXQDWHO\(cid:15)(cid:3)0HGL(cid:16)&DO(cid:3)GHQLHG(cid:3)WKH(cid:3)FODLPV(cid:3)EHFDXVH
WKH\(cid:3)ZHUH(cid:3)WRR(cid:3)ROG(cid:17)(cid:3)(cid:3)1RQHWKHOHVV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)FKLHI(cid:3)ZLOO(cid:3)FRQWLQXH
WR(cid:3) QHJRWLDWH(cid:3) ZLWK(cid:3) 0HGL(cid:16)&DO(cid:3) IRU(cid:3) SD\PHQW(cid:17)(cid:3) (cid:3) (YHQ(cid:3) LI(cid:3) 0HGL(cid:16)&DO
DJUHHV(cid:3)WR(cid:3)SD\(cid:3)WKH(cid:3)IHHV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)DOUHDG\(cid:3)ORVW(cid:3)DQ(cid:3)HVWLPDWHG
(cid:7)(cid:25)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)LQ(cid:3)LQWHUHVW(cid:3)HDUQLQJV(cid:3)EHFDXVH(cid:3)RI(cid:3)WKH(cid:3)ELOOLQJ(cid:3)GHOD\(cid:17)
7KH(cid:3)%UDQFK(cid:3)5HWXUQV(cid:3)2YHUSD\PHQWV
RI(cid:3)3UHQDWDO(cid:3))HHV(cid:3)2QO\(cid:3)8SRQ(cid:3)5HTXHVW
2FFDVLRQDOO\(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) UHFHLYHV(cid:3) RYHUSD\PHQWV(cid:3) RQ(cid:3) SDWLHQW
ELOOLQJV(cid:3)IRU(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVWV(cid:17)(cid:3)(cid:3)$Q(cid:3)RYHUSD\PHQW(cid:3)FDQ(cid:3)RFFXU
ZKHQ(cid:3) D(cid:3) SDWLHQW(cid:3) RU(cid:3) D(cid:3) KHDOWK(cid:3) SODQ(cid:3) SD\V(cid:3) WKH(cid:3) VDPH(cid:3) ELOO(cid:3) WZLFH(cid:17)
’XULQJ(cid:3) ILVFDO(cid:3) \HDU(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) LVVXHG(cid:3) (cid:25)(cid:26)(cid:27)(cid:3) UHIXQGV
WRWDOLQJ(cid:3)(cid:7)(cid:23)(cid:22)(cid:15)(cid:19)(cid:19)(cid:19)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)D(cid:3)SROLF\(cid:3)QRW(cid:3)WR
LVVXH(cid:3) UHIXQGV(cid:3) XQOHVV(cid:3) SDWLHQWV(cid:3) RU(cid:3) KHDOWK(cid:3) SODQV(cid:3) UHTXHVW(cid:3) WKHP(cid:17)
(cid:20)(cid:25)
6LQFH(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)UHFHLYHG(cid:3)EXW(cid:3)QRW(cid:3)UHIXQGHG
RYHUSD\PHQWV(cid:3) WRWDOLQJ(cid:3) PRUH(cid:3) WKDQ(cid:3) (cid:7)(cid:26)(cid:26)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3) IRU(cid:3) DERXW(cid:3) (cid:28)(cid:15)(cid:24)(cid:19)(cid:19)
DFFRXQWV(cid:17)(cid:3)(cid:3)7KXV(cid:3)WKH(cid:3)EUDQFK(cid:3)LV(cid:3)KROGLQJ(cid:3)PRQH\(cid:3)WKDW(cid:3)ULJKWIXOO\
7KH(cid:3)EUDQFK(cid:3)LV(cid:3)KROGLQJ EHORQJV(cid:3)WR(cid:3)RWKHUV(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)EUDQFK(cid:3)FKLHI(cid:15)(cid:3)WKLV(cid:3)SROLF\
(cid:7)(cid:26)(cid:26)(cid:24)(cid:15)(cid:19)(cid:19)(cid:19)(cid:3)WKDW(cid:3)EHORQJV(cid:3)WR H[LVWV(cid:3)EHFDXVH(cid:3)D(cid:3)VLJQLILFDQW(cid:3)DPRXQW(cid:3)RI(cid:3)UHVHDUFK(cid:3)LV(cid:3)QHFHVVDU\(cid:3)WR
KHDOWK(cid:3)SODQV(cid:3)DQG(cid:3)SDWLHQWV(cid:17) YHULI\(cid:3)DQ(cid:3)RYHUSD\PHQW(cid:3)DQG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)SULRULW\(cid:3)LV(cid:3)WR(cid:3)FROOHFW
UHYHQXH(cid:17)
7KH(cid:3)%UDQFK(cid:3)*HQHUDOO\(cid:3)0HHWV(cid:3)$OO
&RQWUDFWLQJ(cid:3)5HTXLUHPHQWV
,Q(cid:3)JHQHUDO(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)XVHV(cid:3)SURSHU(cid:3)FRQWUDFWLQJ(cid:3)DQG(cid:3)SURFXUHPHQW
SURFHGXUHV(cid:3) LQ(cid:3) FRPSOLDQFH(cid:3) ZLWK(cid:3) VWDWH(cid:3) ODZV(cid:3) DQG(cid:3) UHJXODWLRQV(cid:17)
+RZHYHU(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)KDV(cid:3)QRW(cid:3)DOZD\V(cid:3)IROORZHG(cid:3)JRRG(cid:3)EXVLQHVV
SUDFWLFHV(cid:3) ZKHQ(cid:3) DZDUGLQJ(cid:3) FRQWUDFWV(cid:3) IRU(cid:3) ODERUDWRU\(cid:3) WHVWLQJ
VHUYLFHV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)GLG(cid:3)QRW(cid:3)XVH(cid:3)D(cid:3)FRPSHWLWLYH
ELGGLQJ(cid:3) SURFHVV(cid:3) WR(cid:3) DZDUG(cid:3) VRPH(cid:3) FRQWUDFWV(cid:3) DQG(cid:3) WKXV(cid:3) GLG(cid:3) QRW
HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)6WDWH(cid:3)REWDLQHG(cid:3)D(cid:3)FRPSHWLWLYH(cid:3)SULFH(cid:3)IRU(cid:3)ODERUDWRU\
WHVWLQJ(cid:3) VHUYLFHV(cid:3) DQG(cid:3) WKDW(cid:3) RWKHU(cid:3) SULYDWH(cid:3) ODERUDWRULHV(cid:3) KDG(cid:3) DQ
RSSRUWXQLW\(cid:3) WR(cid:3) SDUWLFLSDWH(cid:17)(cid:3)(cid:3) 7KH(cid:3) FRPSHWLWLYH(cid:3) ELGGLQJ(cid:3) SURFHVV
DOORZV(cid:3)VWDWH(cid:3)DJHQFLHV(cid:3)WR(cid:3)FKRRVH(cid:3)TXDOLILHG(cid:3)YHQGRUV(cid:3)WKDW(cid:3)SUHVHQW
WKH(cid:3)ORZHVW(cid:3)ELGV(cid:3)IRU(cid:3)VHUYLFHV(cid:17)
7KH(cid:3)&DOLIRUQLD(cid:3)&RGH(cid:3)RI(cid:3)5HJXODWLRQV(cid:3)UHTXLUHV(cid:3)WKH(cid:3)EUDQFK(cid:3)WR(cid:3)XVH(cid:3)D
FRPSHWLWLYH(cid:3) SURFHVV(cid:3) WR(cid:3) DZDUG(cid:3) FRQWUDFWV(cid:3) WR(cid:3) ODERUDWRULHV(cid:3) IRU
QHZERUQ(cid:3) WHVWLQJ(cid:3) VHUYLFHV(cid:17)(cid:3) (cid:3) )XUWKHU(cid:15)(cid:3) DFFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) 6WDWH
&RQWUDFWLQJ(cid:3)0DQXDO(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)DZDUG(cid:3)FRQWUDFWV(cid:3)VXFK(cid:3)DV
WKRVH(cid:3)IRU(cid:3)ERWK(cid:3)QHZERUQ(cid:3)DQG(cid:3)SUHQDWDO(cid:3)ODERUDWRU\(cid:3)WHVWLQJ(cid:3)VHUYLFHV
WKURXJK(cid:3) D(cid:3) FRPSHWLWLYH(cid:3) ELGGLQJ(cid:3) SURFHVV(cid:3) XQOHVV(cid:3) WKH(cid:3) EUDQFK
GHPRQVWUDWHV(cid:3)D(cid:3)JRRG(cid:3)EXVLQHVV(cid:3)UHDVRQ(cid:3)IRU(cid:3)QRW(cid:3)GRLQJ(cid:3)VR(cid:17)(cid:3)(cid:3)(YHU\
\HDU(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) DZDUGV(cid:3) WZR(cid:3) RI(cid:3) WKH(cid:3) VL[(cid:3) UHJLRQDO(cid:3) ODERUDWRU\
FRQWUDFWV(cid:3)IRU(cid:3)WHUPV(cid:3)RI(cid:3)WKUHH(cid:3)\HDUV(cid:3)HDFK(cid:17)(cid:3)(cid:3)2YHU(cid:3)D(cid:3)VL[(cid:16)\HDU(cid:3)SHULRG
EHJLQQLQJ(cid:3) LQ(cid:3) (cid:20)(cid:28)(cid:28)(cid:19)(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) GLG(cid:3) QRW(cid:3) VROLFLW(cid:3) FRPSHWLWLYH
ELGV(cid:3) IRU(cid:3) DQ\(cid:3) RI(cid:3) WKHVH(cid:3) VL[(cid:3) FRQWUDFWV(cid:17)(cid:3) (cid:3) (cid:11)7KH(cid:3) EUDQFK(cid:3) DOVR(cid:3) KDV
WZR(cid:3)FRQWUDFWV(cid:3)ZLWK(cid:3)D(cid:3)ODUJH(cid:3)SUHSDLG(cid:3)KHDOWK(cid:3)SODQ(cid:30)(cid:3)WKHVH(cid:3)FRQWUDFWV
DUH(cid:3)QRW(cid:3)UHTXLUHG(cid:3)WR(cid:3)EH(cid:3)ELG(cid:3)FRPSHWLWLYHO\(cid:17)(cid:12)(cid:3)(cid:3)7KH(cid:3)EUDQFK(cid:3)EHJDQ
VHHNLQJ(cid:3)FRPSHWLWLYH(cid:3)ELGV(cid:3)LQ(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)DQG(cid:3)VR(cid:3)IDU(cid:3)LW(cid:3)KDV(cid:3)DZDUGHG
IRXU(cid:3)FRQWUDFWV(cid:17)(cid:3)(cid:3),Q(cid:3)PRVW(cid:3)FDVHV(cid:15)(cid:3)PRUH(cid:3)WKDQ(cid:3)RQH(cid:3)ODERUDWRU\(cid:3)ELG(cid:3)IRU
WKHVH(cid:3)FRQWUDFWV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)ZH(cid:3)IRXQG(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)JHQHUDOO\
SDLG(cid:3) D(cid:3) ORZHU(cid:3) SULFH(cid:3) IRU(cid:3) WKHVH(cid:3) VHUYLFHV(cid:3) ZKHQ(cid:3) LW(cid:3) UHVXPHG
DZDUGLQJ(cid:3)WKH(cid:3)FRQWUDFWV(cid:3)FRPSHWLWLYHO\(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)RQH(cid:3)RI(cid:3)WKH
ODERUDWRULHV(cid:3)UHGXFHG(cid:3)LWV(cid:3)SULFH(cid:3)IRU(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)WHVWV(cid:3)IURP
(cid:7)(cid:28)(cid:17)(cid:19)(cid:21)(cid:3)WR(cid:3)(cid:7)(cid:27)(cid:17)(cid:20)(cid:19)(cid:15)(cid:3)RU(cid:3)(cid:7)(cid:17)(cid:28)(cid:21)(cid:3)SHU(cid:3)WHVW(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)DOO(cid:3)IRXU(cid:3)UHGXFHG
WKHLU(cid:3)SULFHV(cid:3)IRU(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)WHVWV(cid:15)(cid:3)UHVXOWLQJ(cid:3)LQ(cid:3)D(cid:3)GHFUHDVH
LQ(cid:3)WKH(cid:3)DYHUDJH(cid:3)SULFH(cid:3)IURP(cid:3)(cid:7)(cid:23)(cid:17)(cid:26)(cid:28)(cid:3)WR(cid:3)(cid:7)(cid:23)(cid:17)(cid:22)(cid:23)(cid:15)(cid:3)RU(cid:3)(cid:7)(cid:17)(cid:23)(cid:24)(cid:3)SHU(cid:3)WHVW(cid:3)IRU
WKH(cid:3)IRXU(cid:3)ODERUDWRULHV(cid:17)
(cid:20)(cid:26)
$FFRUGLQJ(cid:3) WR(cid:3) EUDQFK(cid:3) GRFXPHQWV(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) VNLSSHG
FRPSHWLWLYH(cid:3)ELGGLQJ(cid:3)IURP(cid:3)(cid:20)(cid:28)(cid:28)(cid:19)(cid:3)XQWLO(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:3)EHFDXVH(cid:3)LW(cid:3)GLG(cid:3)QRW
KDYH(cid:3)WKH(cid:3)VWDII(cid:3)WR(cid:3)GLUHFW(cid:3)WKH(cid:3)ELGGLQJ(cid:3)SURFHVV(cid:3)DQG(cid:3)PDLQWDLQ(cid:3)RWKHU
SURJUDP(cid:3)IXQFWLRQV(cid:3)DW(cid:3)WKH(cid:3)VDPH(cid:3)WLPH(cid:17)(cid:3)(cid:3))RU(cid:3)LQVWDQFH(cid:15)(cid:3)EUDQFK(cid:3)VWDII
IHOW(cid:3)WKDW(cid:3)LW(cid:3)FRXOG(cid:3)QRW(cid:3)FRQFXUUHQWO\(cid:3)FRPSOHWH(cid:3)WKH(cid:3)ELGGLQJ(cid:3)SURFHVV
DQG(cid:3) DGG(cid:3) QHZ(cid:3) VFUHHQLQJ(cid:3) WHVWV(cid:15)(cid:3) UHSODFH(cid:3) ZRUQ(cid:3) RU(cid:3) REVROHWH
HTXLSPHQW(cid:15)(cid:3) UHGLVWULEXWH(cid:3) ZRUNORDG(cid:15)(cid:3) DQG(cid:3) WUDLQ(cid:3) FRQWUDFW
ODERUDWRULHV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKHVH(cid:3)VLWXDWLRQV(cid:3)DUH(cid:3)IXQGDPHQWDO(cid:3)WR(cid:3)WKH
SURJUDP(cid:30)(cid:3) WKH(cid:3) EUDQFK(cid:3) QHHGV(cid:3) WR(cid:3) EH(cid:3) SUHSDUHG(cid:3) WR(cid:3) PHHW(cid:3) VXFK
QHHGV(cid:3)RQ(cid:3)DQ(cid:3)RQJRLQJ(cid:3)EDVLV(cid:17)(cid:3)(cid:3)7R(cid:3)DGGUHVV(cid:3)LWV(cid:3)VWDIILQJ(cid:3)SUREOHP(cid:15)
WKH(cid:3) EUDQFK(cid:3) UHFHQWO\(cid:3) DGGHG(cid:3) D(cid:3) SRVLWLRQ(cid:3) WKDW(cid:3) ZLOO(cid:3) RYHUVHH(cid:3) WKH
ODERUDWRU\(cid:3) FRQWUDFWV(cid:15)(cid:3) DPRQJ(cid:3) RWKHU(cid:3) GXWLHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) EUDQFK(cid:3) QRZ
QHHGV(cid:3)WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)LW(cid:3)FRQWLQXHV(cid:3)WR(cid:3)VROLFLW(cid:3)FRPSHWLWLYH(cid:3)ELGV(cid:3)IRU
LWV(cid:3)FRQWUDFWV(cid:17)
5HFRPPHQGDWLRQV
7R(cid:3)LPSURYH(cid:3)LWV(cid:3)FROOHFWLRQ(cid:3)RI(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)FKDUJHG(cid:3)WR
SDWLHQWV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)FRQVLGHU(cid:3)WKH(cid:3)IROORZLQJ(cid:3)FKDQJHV(cid:29)
• 5HTXLULQJ(cid:3)SDWLHQWV(cid:3)WR(cid:3)VHOHFW(cid:3)D(cid:3)SD\PHQW(cid:3)RSWLRQ(cid:3)DQG(cid:3)PDNH(cid:3)D
SD\PHQW(cid:3)ZKHQ(cid:3)WHVWHG(cid:17)
• 2IIHULQJ(cid:3) SDWLHQWV(cid:3) PRUH(cid:3) SD\PHQW(cid:3) RSWLRQV(cid:15)(cid:3) VXFK(cid:3) DV(cid:3) WKH
RSSRUWXQLW\(cid:3)WR(cid:3)SD\(cid:3)LQ(cid:3)IXOO(cid:15)(cid:3)SD\(cid:3)E\(cid:3)FUHGLW(cid:3)FDUG(cid:15)(cid:3)RU(cid:3)PDNH(cid:3)D
SDUWLDO(cid:3)SD\PHQW(cid:17)
• ,QFUHDVLQJ(cid:3)WKH(cid:3)DPRXQW(cid:3)RI(cid:3)GLUHFW(cid:3)ELOOLQJ(cid:3)WR(cid:3)KHDOWK(cid:3)SODQV(cid:17)
• ,QGLFDWLQJ(cid:3) RQ(cid:3) LQYRLFHV(cid:3) ZKHQ(cid:3) SD\PHQWV(cid:3) DUH(cid:3) RYHUGXH(cid:3) DQG
FRQWLQXLQJ(cid:3)WR(cid:3)ELOO(cid:3)SDWLHQWV(cid:3)XQWLO(cid:3)LW(cid:3)FROOHFWV(cid:3)LQ(cid:3)IXOO(cid:17)
• (VWDEOLVKLQJ(cid:3)D(cid:3)WD[(cid:3)UHIXQG(cid:3)RIIVHW(cid:3)SURFHVV(cid:3)IRU(cid:3)RYHUGXH(cid:3)ELOOV(cid:17)
7R(cid:3) FROOHFW(cid:3) WKH(cid:3) DSSUR[LPDWHO\(cid:3) (cid:7)(cid:20)(cid:17)(cid:20)(cid:3) PLOOLRQ(cid:3) LQ(cid:3) IHHV(cid:3) GXH(cid:3) IURP
0HGL(cid:16)&DO(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)FRQWLQXH(cid:3)WU\LQJ(cid:3)WR(cid:3)REWDLQ(cid:3)SD\PHQW
RI(cid:3)WKHVH(cid:3)IHHV(cid:17)
7R(cid:3)HQVXUH(cid:3)WKDW(cid:3)LW(cid:3)GRHV(cid:3)QRW(cid:3)KROG(cid:3)RYHUSD\PHQWV(cid:3)RI(cid:3)SUHQDWDO(cid:3)WHVWLQJ
IHHV(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) VKRXOG(cid:3) GHYHORS(cid:3) SURFHGXUHV(cid:3) WR(cid:3) UHIXQG(cid:3) WKH
RYHUSD\PHQWV(cid:3)WKDW(cid:3)LW(cid:3)FXUUHQWO\(cid:3)SRVVHVVHV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH(cid:3)EUDQFK
VKRXOG(cid:3)GHYHORS(cid:3)SURFHGXUHV(cid:3)WR(cid:3)UHIXQG(cid:3)SURPSWO\(cid:3) DQ\(cid:3)RYHUSDLG
IHHV(cid:3)WKDW(cid:3)LW(cid:3)UHFHLYHV(cid:3)LQ(cid:3)WKH(cid:3)IXWXUH(cid:17)
(cid:20)(cid:27)
)LQDOO\(cid:15)(cid:3)WR(cid:3)PDNH(cid:3)FHUWDLQ(cid:3)WKDW(cid:3)LW(cid:3)UHFHLYHV(cid:3)WKH(cid:3)EHVW(cid:3)VHUYLFHV(cid:3)DW(cid:3)WKH
PRVW(cid:3)FRPSHWLWLYH(cid:3)SULFHV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)VKRXOG(cid:3)FRQWLQXH(cid:3)WR(cid:3)XVH(cid:3)D
FRPSHWLWLYH(cid:3)ELGGLQJ(cid:3)SURFHVV(cid:3)WR(cid:3)DZDUG(cid:3)FRQWUDFWV(cid:3)IRU(cid:3)ODERUDWRU\
WHVWLQJ(cid:3)VHUYLFHV(cid:17)
(cid:20)(cid:28)
7KLV(cid:3)SDJH(cid:3)OHIW(cid:3)EODQN(cid:3)LQWHQWLRQDOO\(cid:3)IRU(cid:3)UHSURGXFWLRQ(cid:3)SXUSRVHV(cid:17)
(cid:21)(cid:19)
Chapter 3
*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)5HJXODWLRQV
’R(cid:3)1RW(cid:3):DUUDQW(cid:3)(PHUJHQF\(cid:3)6WDWXV
&KDSWHU(cid:3)6XPPDU\
%
HFDXVH(cid:3) PDQ\(cid:3) UHJXODWLRQV(cid:3) DIIHFWLQJ(cid:3) WKH(cid:3) *HQHWLF(cid:3) ’LVHDVH
%UDQFK“V(cid:3) SUHQDWDO(cid:3) DQG(cid:3) QHZERUQ(cid:3) VFUHHQLQJ(cid:3) SURJUDPV
(cid:11)EUDQFK(cid:3) UHJXODWLRQV(cid:12)(cid:3) DUH(cid:3) QRW(cid:3) WUXO\(cid:3) HPHUJHQFLHV(cid:15)(cid:3) WKH
’HSDUWPHQW(cid:3) RI(cid:3) +HDOWK(cid:3) 6HUYLFHV(cid:3) (cid:11)GHSDUWPHQW(cid:12)(cid:3) GRHV(cid:3) QRW(cid:3) QHHG
VSHFLILF(cid:3) DXWKRULW\(cid:3) WR(cid:3) DGRSW(cid:3) DOO(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) DV
HPHUJHQFLHV(cid:17)(cid:3)(cid:3)$IWHU(cid:3)DOO(cid:15)(cid:3)WKH(cid:3)$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:3)(cid:11)DFW(cid:12)(cid:15)
ZKLFK(cid:3) JRYHUQV(cid:3) &DOLIRUQLD“V(cid:3) UXOH(cid:16)PDNLQJ(cid:3) SURFHVV(cid:15)(cid:3) SURYLGHV(cid:3) D
PHWKRG(cid:3)IRU(cid:3)GHSDUWPHQWV(cid:3)WR(cid:3)DGRSW(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)LI(cid:3)DQ
HPHUJHQF\(cid:3)DULVHV(cid:17)(cid:3)(cid:3)1RQHWKHOHVV(cid:15)(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH
UHTXLUHV(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) WR(cid:3) DGRSW(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) DV
HPHUJHQFLHV(cid:17)(cid:3)(cid:3)7KH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)DOVR(cid:3)H[HPSWV(cid:3)EUDQFK
UHJXODWLRQV(cid:3) IURP(cid:3) UHYLHZ(cid:3) RU(cid:3) UHSHDO(cid:3) E\(cid:3) WKH(cid:3) 2IILFH(cid:3) RI
$GPLQLVWUDWLYH(cid:3) /DZ(cid:3) (cid:11)RIILFH(cid:12)(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) ZH(cid:3) GHWHUPLQHG(cid:3) WKDW
EUDQFK(cid:3) UHJXODWLRQV(cid:3) VKRXOG(cid:3) QRW(cid:3) EH(cid:3) H[HPSW(cid:3) IURP(cid:3) WKH(cid:3) RIILFH“V
UHYLHZ(cid:3)RU(cid:3)UHSHDO(cid:3)EHFDXVH(cid:3)WKH(cid:3)RIILFH(cid:3)SURYLGHV(cid:3)LPSRUWDQW(cid:3)FRQWUROV
WR(cid:3)HQVXUH(cid:3)WKDW(cid:3)UHJXODWLRQV(cid:3)PHHW(cid:3)WKH(cid:3)DFW“V(cid:3)VWDQGDUGV(cid:3)DQG(cid:3)IROORZ
WKH(cid:3) DFW“V(cid:3) UHJXODWRU\(cid:3) SURFHVV(cid:15)(cid:3) ZKLFK(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DEXVHG
ZKHQ(cid:3)LW(cid:3)UHFHQWO\(cid:3)DGRSWHG(cid:3)DQ(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQ(cid:17)(cid:3)(cid:3))LQDOO\(cid:15)
DOWKRXJK(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)KDV(cid:3)JHQHUDOO\(cid:3)FRPSOLHG(cid:3)ZLWK(cid:3)WKH(cid:3)DFW“V
UXOH(cid:16)PDNLQJ(cid:3) SURFHVV(cid:15)(cid:3) ZH(cid:3) QRWHG(cid:3) WZR(cid:3) LQVWDQFHV(cid:3) LQ(cid:3) ZKLFK(cid:3) WKH
GHSDUWPHQW(cid:3)GHOD\HG(cid:3)WKH(cid:3)DGRSWLRQ(cid:3)RI(cid:3)WZR(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)IRU
(cid:23)(cid:20)(cid:3)DQG(cid:3)(cid:21)(cid:22)(cid:3)PRQWKV(cid:3)DIWHU(cid:3)WKH(cid:3)*HQHWLF(cid:3)’LVHDVH(cid:3)%UDQFK(cid:3)(cid:11)EUDQFK(cid:12)
LPSOHPHQWHG(cid:3)SURJUDP(cid:3)FKDQJHV(cid:3)DQG(cid:3)LQFUHDVHG(cid:3)SURJUDP(cid:3)IHHV(cid:17)
(PHUJHQF\(cid:3)$XWKRULW\(cid:3),V(cid:3)8QQHFHVVDU\
IRU(cid:3)%UDQFK(cid:3)5HJXODWLRQV
7KH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:15)(cid:3)VHFWLRQV(cid:3) (cid:20)(cid:21)(cid:24)(cid:19)(cid:19)(cid:19)(cid:3) DQG(cid:3) (cid:20)(cid:21)(cid:24)(cid:19)(cid:26)(cid:19)(cid:15)
VWDWHV(cid:3)WKDW(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)VKDOO(cid:3)EH(cid:3)FRQVLGHUHG(cid:3)DQ(cid:3)HPHUJHQF\
DQG(cid:3) QHFHVVDU\(cid:3) IRU(cid:3) WKH(cid:3) LPPHGLDWH(cid:3) SUHVHUYDWLRQ(cid:3) RI(cid:3) WKH(cid:3) SXEOLF
SHDFH(cid:15)(cid:3)KHDOWK(cid:3)DQG(cid:3)VDIHW\(cid:15)(cid:3)DQG(cid:3)JHQHUDO(cid:3)ZHOIDUH(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH
/HJLVODWLYH(cid:3) &RXQVHO(cid:3) RI(cid:3) &DOLIRUQLD(cid:3) (cid:11)OHJLVODWLYH(cid:3) FRXQVHO(cid:12)(cid:15)(cid:3) WKHVH
FRGH(cid:3)VHFWLRQV(cid:3)UHTXLUH(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)WR(cid:3)DGRSW(cid:3)DQG(cid:3)ILOH(cid:3)HYHU\
EUDQFK(cid:3) UHJXODWLRQ(cid:3) DV(cid:3) DQ(cid:3) HPHUJHQF\(cid:15)(cid:3) HYHQ(cid:3) LI(cid:3) QR(cid:3) HPHUJHQF\
H[LVWV(cid:17)(cid:3)(cid:3)2UGLQDULO\(cid:15)(cid:3)DIWHU(cid:3)D(cid:3)OHQJWK\(cid:3)SXEOLF(cid:3)KHDULQJ(cid:3)SURFHVV(cid:15)(cid:3)D
VWDWH(cid:3)DJHQF\(cid:3)ILOHV(cid:3)UHJXODWLRQV(cid:3)ZLWK(cid:3)WKH(cid:3)6HFUHWDU\(cid:3)RI(cid:3)6WDWH(cid:15)(cid:3)DQG
WKH\(cid:3)EHFRPH(cid:3)HIIHFWLYH(cid:17)(cid:3)(cid:3),Q(cid:3)FRQWUDVW(cid:15)(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)DUH
ILOHG(cid:3)DQG(cid:3)EHFRPH(cid:3)HIIHFWLYH(cid:3)EHIRUH(cid:3)WKH(cid:3)SXEOLF(cid:3)KHDULQJ(cid:3)SURFHVV
(cid:21)(cid:20)
EHJLQV(cid:17)(cid:3)(cid:3)7KXV(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)JR(cid:3)LQWR(cid:3)HIIHFW(cid:3)PXFK(cid:3)PRUH
TXLFNO\(cid:3)WKDQ(cid:3)GR(cid:3)QRQHPHUJHQF\(cid:3)UHJXODWLRQV(cid:17)(cid:3)(cid:3)7KH(cid:3)DXWKRULW\(cid:3)WR
DGRSW(cid:3) HPHUJHQF\(cid:3) UHJXODWLRQV(cid:3) FDQ(cid:3) EH(cid:3) LPSRUWDQW(cid:3) ZKHQ(cid:3) WKH
GHSDUWPHQW(cid:3)LV(cid:3)GHYHORSLQJ(cid:3)QHZ(cid:3)SURJUDPV(cid:3)RU(cid:3)PDNLQJ(cid:3)FKDQJHV(cid:3)WR
HVWDEOLVKHG(cid:3)SURJUDPV(cid:3)WKDW(cid:3)DIIHFW(cid:3)WKH(cid:3)SXEOLF(cid:3)KHDOWK(cid:3)DQG(cid:3)VDIHW\(cid:17)
+RZHYHU(cid:15)(cid:3)WKLV(cid:3)DXWKRULW\(cid:3)LV(cid:3)QRW(cid:3)DSSURSULDWH(cid:3)ZKHQ(cid:3)WKH(cid:3)GHSDUWPHQW
PDNHV(cid:3)URXWLQH(cid:3)DGPLQLVWUDWLYH(cid:3)FKDQJHV(cid:3)WR(cid:3)HVWDEOLVKHG(cid:3)SURJUDPV(cid:17)
1RW(cid:3)$OO(cid:3)RI(cid:3)WKH(cid:3)%UDQFKnV(cid:3)5HJXODWRU\
&KDQJHV(cid:3)$UH(cid:3)(PHUJHQFLHV
:H(cid:3) UHYLHZHG(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) ILOHG(cid:3) E\(cid:3) WKH
GHSDUWPHQW(cid:3) GXULQJ(cid:3) WKH(cid:3) SDVW(cid:3) WHQ(cid:3) \HDUV(cid:3) DQG(cid:3) IRXQG(cid:3) WKDW
WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWHG(cid:3) DOO(cid:3) RI(cid:3) WKHVH(cid:3) UHJXODWRU\(cid:3) FKDQJHV
DV(cid:3) HPHUJHQFLHV(cid:17)(cid:3) (cid:3) 6RPH(cid:3) RI(cid:3) WKH(cid:3) UHJXODWLRQV(cid:3) FKDQJHG(cid:3) H[LVWLQJ
SURJUDPV(cid:3)VXEVWDQWLDOO\(cid:15)(cid:3)EXW(cid:3)PDQ\(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)DGPLQLVWUDWLYH(cid:17)
6SHFLILFDOO\(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)DGRSWHG(cid:3)WHQ(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQ
SDFNDJHV(cid:3)VLQFH(cid:3)(cid:20)(cid:28)(cid:27)(cid:26)(cid:17)(cid:3)(cid:3)2QH(cid:3)FRQVLVWHG(cid:3)RI(cid:3)D(cid:3)VLJQLILFDQW(cid:3)SURJUDP
FKDQJH(cid:15)(cid:3) DQG(cid:3) IRXU(cid:3) LQYROYHG(cid:3) DGPLQLVWUDWLYH(cid:3) FKDQJHV(cid:17)(cid:3) (cid:3) 7KH
UHPDLQLQJ(cid:3)ILYH(cid:3)LQFRUSRUDWHG(cid:3)ERWK(cid:3)W\SHV(cid:3)RI(cid:3)FKDQJHV(cid:17)
$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)DFW(cid:15)(cid:3)IRU(cid:3)D(cid:3)GHSDUWPHQW(cid:3)WR(cid:3)DGRSW(cid:3)D(cid:3)UHJXODWLRQ(cid:3)DV
DQ(cid:3) HPHUJHQF\(cid:15)(cid:3) WKH(cid:3) UHJXODWLRQ(cid:3) PXVW(cid:3) EH(cid:3) QHFHVVDU\(cid:3) IRU(cid:3) WKH
$Q(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQ
LPPHGLDWH(cid:3)SUHVHUYDWLRQ(cid:3)RI(cid:3)WKH(cid:3)SXEOLF(cid:3)SHDFH(cid:15)(cid:3)KHDOWK(cid:3)DQG(cid:3)VDIHW\(cid:15)
PXVW(cid:3)DGGUHVV(cid:3)WKH
RU(cid:3)JHQHUDO(cid:3)ZHOIDUH(cid:17)(cid:3)(cid:3)8VLQJ(cid:3)WKLV(cid:3)VWDQGDUG(cid:15)(cid:3)ZH(cid:3)DVVHVVHG(cid:3)ZKHWKHU
LPPHGLDWH(cid:3)SUHVHUYDWLRQ(cid:3)RI
WKH(cid:3)EUDQFK“V(cid:3)UHJXODWRU\(cid:3)FKDQJHV(cid:3)PDGH(cid:3)RYHU(cid:3)WKH(cid:3)ODVW(cid:3)WHQ(cid:3)\HDUV
WKH(cid:3)SXEOLF“V(cid:3)SHDFH(cid:15)(cid:3)KHDOWK
FRQVWLWXWHG(cid:3) HPHUJHQFLHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) IROORZLQJ(cid:3) DUH(cid:3) H[DPSOHV(cid:3) RI
DQG(cid:3)VDIHW\(cid:15)(cid:3)RU(cid:3)JHQHUDO
UHJXODWLRQV(cid:3)ZH(cid:3)UHYLHZHG(cid:29)
ZHOIDUH(cid:17)
,Q(cid:3) ’HFHPEHU(cid:3) (cid:20)(cid:28)(cid:28)(cid:19)(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWHG
EUDQFK(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)LQFUHDVH(cid:3)WKH(cid:3)QHZERUQ(cid:3)WHVWLQJ
IHH(cid:3) DQG(cid:3) WR(cid:3) OLPLW(cid:3) WKH(cid:3) DPRXQW(cid:3) WKDW(cid:3) KRVSLWDOV(cid:3) FDQ
FKDUJH(cid:3) IRU(cid:3) EORRG(cid:3) VSHFLPHQV(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH
EUDQFK(cid:15)(cid:3) WKH(cid:3) IHH(cid:3) LQFUHDVH(cid:3) ZDV(cid:3) DQ(cid:3) HPHUJHQF\
EHFDXVH(cid:3)LW(cid:3)QHHGHG(cid:3)WR(cid:3)UDLVH(cid:3)IXQGV(cid:3)TXLFNO\(cid:3)VR(cid:3)WKDW(cid:3)LW
FRXOG(cid:3)LPSOHPHQW(cid:3)D(cid:3)QHZ(cid:3)WHVW(cid:3)WR(cid:3)GHWHFW(cid:3)VLFNOH(cid:16)FHOO
GLVHDVH(cid:17)(cid:3) (cid:3) $(cid:3) IHH(cid:3) LQFUHDVH(cid:3) WR(cid:3) LPSOHPHQW(cid:3) D(cid:3) QHZ
SURJUDP(cid:15)(cid:3) XQOLNH(cid:3) D(cid:3) URXWLQH(cid:3) IHH(cid:3) LQFUHDVH(cid:15)(cid:3) PD\
PHHW(cid:3) WKH(cid:3) FULWHULD(cid:3) IRU(cid:3) DQ(cid:3) HPHUJHQF\(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)
OLPLWLQJ(cid:3)WKH(cid:3)DPRXQWV(cid:3)WKDW(cid:3)KRVSLWDOV(cid:3)FDQ(cid:3)FKDUJH(cid:3)IRU
FROOHFWLQJ(cid:3) EORRG(cid:3) VSHFLPHQV(cid:3) GRHV(cid:3) QRW(cid:3) DSSHDU
QHFHVVDU\(cid:3) IRU(cid:3) WKH(cid:3) LPPHGLDWH(cid:3) SUHVHUYDWLRQ(cid:3) RI(cid:3) WKH
SXEOLF(cid:3) SHDFH(cid:15)(cid:3) KHDOWK(cid:3) DQG(cid:3) VDIHW\(cid:15)(cid:3) RU(cid:3) JHQHUDO
ZHOIDUH(cid:17)
,Q(cid:3) $SULO(cid:3) (cid:20)(cid:28)(cid:28)(cid:21)(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWHG(cid:3) EUDQFK
UHJXODWLRQV(cid:3)WR(cid:3)HOLPLQDWH(cid:3)FRQWUDFWV(cid:3)DQG(cid:3)HVWDEOLVK(cid:3)D
YHQGRU(cid:3) UHLPEXUVHPHQW(cid:3) V\VWHP(cid:17)(cid:3) (cid:3) 7KH(cid:3) EUDQFK
SODQQHG(cid:3)WR(cid:3)LPSOHPHQW(cid:3)WKLV(cid:3)V\VWHP(cid:3)E\(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:21)(cid:17)
(cid:21)(cid:21)
$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)EUDQFK(cid:15)(cid:3)LI(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)KDG
EHHQ(cid:3) UHTXLUHG(cid:3) WR(cid:3) ILOH(cid:3) WKHVH(cid:3) UHJXODWLRQV(cid:3) DV(cid:3) D
QRQHPHUJHQF\(cid:15)(cid:3)LW(cid:3)ZRXOG(cid:3) QRW(cid:3) KDYH(cid:3) EHHQ(cid:3) DEOH(cid:3) WR
PHHW(cid:3)WKLV(cid:3)VHOI(cid:16)LPSRVHG(cid:3)-XO\(cid:3)GHDGOLQH(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)ILOLQJ
GHOD\V(cid:3) PD\(cid:3) KDYH(cid:3) FDXVHG(cid:3) D(cid:3) ODSVH(cid:3) LQ(cid:3) VHUYLFHV(cid:17)
+RZHYHU(cid:15)(cid:3)DOWHULQJ(cid:3)PHWKRGV(cid:3)RI(cid:3)SD\LQJ(cid:3)IRU(cid:3)VHUYLFHV
LV(cid:3)DQ(cid:3)DGPLQLVWUDWLYH(cid:3)FKDQJH(cid:3)WKDW(cid:3)GRHV(cid:3)QRW(cid:3)DSSHDU(cid:3)WR
TXDOLI\(cid:3) DV(cid:3) DQ(cid:3) HPHUJHQF\(cid:17)(cid:3) (cid:3) ,QVWHDG(cid:15)(cid:3) WKH(cid:3) EUDQFK
QHHGV(cid:3)WR(cid:3)EH(cid:3)SUHSDUHG(cid:3)WR(cid:3)DFFRPPRGDWH(cid:3)FRQWUDFWLQJ
FKDQJHV(cid:3) EHFDXVH(cid:3) WKH\(cid:3) DUH(cid:3) LQHYLWDEOH(cid:3) LQ(cid:3) WKH
DGPLQLVWUDWLRQ(cid:3)RI(cid:3)LWV(cid:3)SURJUDPV(cid:17)
,Q(cid:3) -XQH(cid:3) (cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWHG(cid:3) EUDQFK
UHJXODWLRQV(cid:3)WR(cid:3)LPSOHPHQW(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WULSOH(cid:3)PDUNHU
WHVW(cid:3) DQG(cid:3) WR(cid:3) DOORZ(cid:3) QRQFRQWUDFW(cid:3) ODERUDWRULHV(cid:3) WR
SURYLGH(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) SURJUDPV(cid:3) LQ(cid:3) DGGLWLRQ
WR(cid:3)WKDW(cid:3)RIIHUHG(cid:3)E\(cid:3)WKH(cid:3)6WDWH(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)WULSOH
PDUNHU(cid:3)LGHQWLILHV(cid:3)PRUH(cid:3)JHQHWLF(cid:3)GLVRUGHUV(cid:3)WKDQ(cid:3)GRHV
WKH(cid:3)VLQJOH(cid:3)PDUNHU(cid:3)WHVW(cid:15)(cid:3)LPSOHPHQWDWLRQ(cid:3)RI(cid:3)WKH(cid:3)WULSOH
PDUNHU(cid:3)WHVW(cid:3)PD\(cid:3)EH(cid:3)QHFHVVDU\(cid:3)IRU(cid:3)WKH(cid:3)SUHVHUYDWLRQ
RI(cid:3) WKH(cid:3) SXEOLF(cid:3) KHDOWK(cid:17)(cid:3) (cid:3) +RZHYHU(cid:15)(cid:3) UHJXODWLRQV
DOORZLQJ(cid:3) QRQFRQWUDFW(cid:3) ODERUDWRULHV(cid:3) WR(cid:3) FRQGXFW
SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)VHUYLFHV(cid:3)GR(cid:3)QRW(cid:3)DSSHDU(cid:3)WR(cid:3)EH(cid:3)IRU
HPHUJHQFLHV(cid:17)(cid:3) (cid:3) 7KH(cid:3) EUDQFK(cid:3) DJUHHV(cid:3) WKDW(cid:3) WKLV(cid:3) ODVW
FKDQJH(cid:3) GRHV(cid:3) QRW(cid:3) FRQVWLWXWH(cid:3) D(cid:3) SXEOLF(cid:3) KHDOWK
HPHUJHQF\(cid:17)
$FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) DFW“V(cid:3) VWDQGDUG(cid:15)(cid:3) QRW(cid:3) DOO(cid:3) RI(cid:3) WKH(cid:3) EUDQFK“V
UHJXODWRU\(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)HPHUJHQFLHV(cid:30)(cid:3)LQVWHDG(cid:15)(cid:3)PDQ\(cid:3)LQYROYHG
URXWLQH(cid:3)DGPLQLVWUDWLYH(cid:3)FKDQJHV(cid:3)WKDW(cid:3)GLG(cid:3)QRW(cid:3)ZDUUDQW(cid:3)HPHUJHQF\
VWDWXV(cid:17)
7KH(cid:3)’HSDUWPHQW(cid:3)&DQ(cid:3)$GRSW(cid:3)(PHUJHQF\
5HJXODWLRQV(cid:3)8QGHU(cid:3)WKH(cid:3)$FWnV(cid:3)3URYLVLRQV
&XUUHQWO\(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWV(cid:3) DOO(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) DV
HPHUJHQFLHV(cid:3)XVLQJ(cid:3)DXWKRULW\(cid:3)JUDQWHG(cid:3)WR(cid:3)LW(cid:3)E\(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG
6DIHW\(cid:3)&RGH(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKLV(cid:3)DXWKRULW\(cid:3)LV(cid:3)XQQHFHVVDU\(cid:3)EHFDXVH
WKH(cid:3)DFW(cid:3)VWDWHV(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)FDQ(cid:3)DGRSW(cid:3)D(cid:3)UHJXODWLRQ(cid:3)DV(cid:3)DQ
HPHUJHQF\(cid:3) LI(cid:3) WKH(cid:3) UHJXODWLRQ(cid:3) LV(cid:3) HVVHQWLDO(cid:3) IRU(cid:3) WKH(cid:3) LPPHGLDWH
SUHVHUYDWLRQ(cid:3)RI(cid:3)WKH(cid:3)SXEOLF(cid:3)SHDFH(cid:15)(cid:3)KHDOWK(cid:3)DQG(cid:3)VDIHW\(cid:15)(cid:3)RU(cid:3)JHQHUDO
ZHOIDUH(cid:17)
8QGHU(cid:3)H[LVWLQJ(cid:3)ODZ(cid:15)
EUDQFK(cid:3)UHJXODWLRQV(cid:3)GR(cid:3)QRW ,I(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) ZHUH(cid:3) WR(cid:3) DGRSW(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) DV
UHFHLYH(cid:3)D(cid:3)UHYLHZ(cid:3)E\(cid:3)WKH HPHUJHQFLHV(cid:3)XQGHU(cid:3)WKH(cid:3)DFW(cid:15)(cid:3)LW(cid:3)ZRXOG(cid:3)EH(cid:3)UHTXLUHG(cid:3)WR(cid:3)VXEPLW(cid:3)WKRVH
2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH UHJXODWLRQV(cid:3) WR(cid:3) WKH(cid:3) 2IILFH(cid:3) RI(cid:3) $GPLQLVWUDWLYH(cid:3) /DZ(cid:3) (cid:11)RIILFH(cid:12)(cid:3) IRU
/DZ(cid:17) UHYLHZ(cid:3) DQG(cid:3) DSSURYDO(cid:3) EHIRUH(cid:3) WKH(cid:3) UHJXODWLRQV(cid:3) FRXOG(cid:3) EHFRPH
HIIHFWLYH(cid:17)(cid:3)(cid:3)7KH(cid:3)RIILFH“V(cid:3)UHYLHZ(cid:3)LV(cid:3)LPSRUWDQW(cid:3)EHFDXVH(cid:3)LW(cid:3)SURYLGHV
DQ(cid:3)LQGHSHQGHQW(cid:3)H[DPLQDWLRQ(cid:3)RI(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)HQVXUH(cid:3)WKH\(cid:3)PHHW
(cid:21)(cid:22)
WKH(cid:3) DFW“V(cid:3) VWDQGDUGV(cid:17)(cid:3) (cid:3) &XUUHQWO\(cid:15)(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) DUH(cid:3) QRW
VXEMHFW(cid:3) WR(cid:3) WKLV(cid:3) UHYLHZ(cid:3) EHFDXVH(cid:3) WKH(cid:3) +HDOWK(cid:3) DQG(cid:3) 6DIHW\(cid:3) &RGH
UHTXLUHV(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)WR(cid:3)VXEPLW(cid:3)LWV(cid:3)UHJXODWLRQV(cid:3)GLUHFWO\(cid:3)WR(cid:3)WKH
6HFUHWDU\(cid:3)RI(cid:3)6WDWH(cid:3)IRU(cid:3)ILOLQJ(cid:17)(cid:3)(cid:3)$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)EUDQFK(cid:3)FKLHI(cid:15)
VXEPLWWLQJ(cid:3) EUDQFK(cid:3) UHJXODWLRQV(cid:3) WR(cid:3) WKH(cid:3) RIILFH(cid:3) ZLOO(cid:3) FDXVH
XQQHFHVVDU\(cid:3)GHOD\V(cid:17)
+RZHYHU(cid:15)(cid:3)ZH(cid:3)GHWHUPLQHG(cid:3)WKDW(cid:15)(cid:3)FRQWUDU\(cid:3)WR(cid:3)WKH(cid:3)EUDQFK(cid:3)FKLHI“V
VWDWHPHQW(cid:15)(cid:3)VXEMHFWLQJ(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)WKH(cid:3)RIILFH“V(cid:3)UHYLHZ
ZLOO(cid:3)QRW(cid:3)VLJQLILFDQWO\(cid:3)GHOD\(cid:3)WKHLU(cid:3)HIIHFWLYH(cid:3)GDWHV(cid:3)EHFDXVH(cid:3)WKH(cid:3)DFW
UHTXLUHV(cid:3) WKH(cid:3) RIILFH(cid:3) WR(cid:3) FRPSOHWH(cid:3) LWV(cid:3) UHYLHZ(cid:3) ZLWKLQ(cid:3) WHQ(cid:3) GD\V(cid:17)
$GGLWLRQDOO\(cid:15)(cid:3) WKH(cid:3) RIILFH(cid:3) GRHV(cid:3) QRW(cid:3) GLVDSSURYH(cid:3) HPHUJHQF\
6XEMHFWLQJ(cid:3)EUDQFK UHJXODWLRQV(cid:3) DUELWUDULO\(cid:17)(cid:3) (cid:3) 6LQFH(cid:3) -DQXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3) WKH(cid:3) RIILFH(cid:3) KDV
UHJXODWLRQV(cid:3)WR(cid:3)UHYLHZ(cid:3)E\ UHFHLYHG(cid:3) (cid:27)(cid:24)(cid:3) SURSRVHG(cid:3) HPHUJHQF\(cid:3) UHJXODWLRQV(cid:3) IURP(cid:3) WKH
WKH(cid:3)2IILFH(cid:3)RI GHSDUWPHQW(cid:3) DQG(cid:3) KDV(cid:3) DSSURYHG(cid:3) (cid:27)(cid:19)(cid:3) ZLWKLQ(cid:3) LWV(cid:3) WHQ(cid:16)GD\(cid:3) UHYLHZ
$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)ZLOO SHULRG(cid:17)(cid:3)(cid:3)$IWHU(cid:3)WKH(cid:3)RIILFH(cid:3)GLVDSSURYHG(cid:3)(cid:24)(cid:3)RI(cid:3)WKH(cid:3)(cid:27)(cid:24)(cid:3)HPHUJHQF\
QRW(cid:3)VLJQLILFDQWO\(cid:3)GHOD\ UHJXODWLRQV(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) UHVXEPLWWHG(cid:3) (cid:22)(cid:15)(cid:3) DQG(cid:3) WKH(cid:3) RIILFH
WKHLU(cid:3)LPSOHPHQWDWLRQ(cid:17) DSSURYHG(cid:3)RQH(cid:3)ZLWKLQ(cid:3)(cid:21)(cid:23)(cid:3)GD\V(cid:15)(cid:3)RQH(cid:3)ZLWKLQ(cid:3)(cid:25)(cid:19)(cid:3)GD\V(cid:15)(cid:3)DQG(cid:3)RQH
ZLWKLQ(cid:3)(cid:25)(cid:24)(cid:3)GD\V(cid:3)RI(cid:3)WKH(cid:3)LQLWLDO(cid:3)GLVDSSURYDO(cid:17)(cid:3)(cid:3)7KH(cid:3)GHSDUWPHQW(cid:3)GLG
QRW(cid:3)UHVXEPLW(cid:3)WKH(cid:3)RWKHU(cid:3)(cid:21)(cid:3)SURSRVHG(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:17)
%UDQFK(cid:3)5HJXODWLRQV(cid:3)6KRXOG(cid:3)1RW
%H(cid:3)([HPSW(cid:3))URP(cid:3)5HSHDO(cid:3)E\(cid:3)WKH(cid:3)2IILFH
7KH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)VHFWLRQV(cid:3)UHTXLULQJ(cid:3)WKH(cid:3)DGRSWLRQ(cid:3)RI
EUDQFK(cid:3) UHJXODWLRQV(cid:3) DV(cid:3) HPHUJHQFLHV(cid:3) DOVR(cid:3) H[HPSW(cid:3) WKRVH
UHJXODWLRQV(cid:3)IURP(cid:3)UHSHDO(cid:3)E\(cid:3)WKH(cid:3)RIILFH(cid:17)(cid:3)(cid:3):H(cid:3)EHOLHYH(cid:3)WKDW(cid:3)WKH(cid:3)RIILFH
SURYLGHV(cid:3)D(cid:3)YDOXDEOH(cid:3)FRQWURO(cid:3)RYHU(cid:3)WKH(cid:3)UHJXODWRU\(cid:3)SURFHVV(cid:3)EHFDXVH
LWV(cid:3)DXWKRULW\(cid:3)WR(cid:3)UHSHDO(cid:3)UHJXODWLRQV(cid:3)DVVXUHV(cid:3)WKDW(cid:3)GHSDUWPHQWV(cid:3)GR
QRW(cid:3) DGRSW(cid:3) UHJXODWLRQV(cid:3) ZLWKRXW(cid:3) SURSHU(cid:3) SXEOLF(cid:3) GLVFORVXUH(cid:3) DQG
FRPPHQW(cid:17)(cid:3)(cid:3),Q(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)GHPRQVWUDWHG(cid:3)WKH(cid:3)QHHG(cid:3)IRU
WKLV(cid:3)RYHUVLJKW(cid:3)DQG(cid:3)FRQWURO(cid:3)IXQFWLRQ(cid:3)ZKHQ(cid:3)LW(cid:3)DGRSWHG(cid:3)HPHUJHQF\
UHJXODWLRQV(cid:3)EXW(cid:3)GLG(cid:3)QRW(cid:3)FRPSOHWH(cid:3)WKH(cid:3)UHJXODWRU\(cid:3)SURFHVV(cid:3)ZLWKLQ
WKH(cid:3)WLPH(cid:3)PDQGDWHG(cid:3)E\(cid:3)WKH(cid:3)DFW(cid:17)
7KH(cid:3)DFW(cid:3)GLUHFWV(cid:3)GHSDUWPHQWV(cid:3)WR(cid:3)FRPSOHWH(cid:3)D(cid:3)UXOH(cid:16)PDNLQJ(cid:3)SURFHVV
DIWHU(cid:3) WKH\(cid:3) DGRSW(cid:3) DQG(cid:3) ILOH(cid:3) HPHUJHQF\(cid:3) UHJXODWLRQV(cid:3) ZLWK(cid:3) WKH
6HFUHWDU\(cid:3)RI(cid:3)6WDWH(cid:17)(cid:3)(cid:3)7KLV(cid:3)SURFHVV(cid:3)LQFOXGHV(cid:3)SXEOLVKLQJ(cid:3)D(cid:3)QRWLFH(cid:3)RI
UHJXODWRU\(cid:3)FKDQJH(cid:15)(cid:3) SURYLGLQJ(cid:3) D(cid:3) SXEOLF(cid:3) FRPPHQW(cid:3) SHULRG(cid:15)(cid:3) DQG
KROGLQJ(cid:3)D(cid:3)SXEOLF(cid:3)KHDULQJ(cid:3)ZLWKLQ(cid:3)(cid:20)(cid:21)(cid:19)(cid:3)GD\V(cid:3)RI(cid:3)ILOLQJ(cid:3)HPHUJHQF\
UHJXODWLRQV(cid:17)(cid:3)(cid:3))XUWKHU(cid:15)(cid:3)WKH(cid:3)DFW(cid:3)UHTXLUHV(cid:3)GHSDUWPHQWV(cid:3)WR(cid:3)VXEPLW(cid:3)WR
WKH(cid:3)RIILFH(cid:3)IRU(cid:3)UHYLHZ(cid:3)GRFXPHQWDWLRQ(cid:3)HYLGHQFLQJ(cid:3)FRPSOHWLRQ(cid:3)RI
WKLV(cid:3)SURFHVV(cid:17)(cid:3)(cid:3),I(cid:3)WKH(cid:3)RIILFH(cid:3)GHWHUPLQHV(cid:3)WKDW(cid:3)GHSDUWPHQWV(cid:3)GLG(cid:3)QRW
FRPSOHWH(cid:3)WKH(cid:3)SURFHVV(cid:15)(cid:3)WKH(cid:3)DFW(cid:3)JLYHV(cid:3)WKH(cid:3)RIILFH(cid:3)DXWKRULW\(cid:3)WR(cid:3)UHSHDO
WKH(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:17)
’HVSLWH(cid:3)WKHVH(cid:3)SURYLVLRQV(cid:3)RI(cid:3)ODZ(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)DGRSWHG(cid:3)DQG
ILOHG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)EXW(cid:3)GLG(cid:3)QRW(cid:3)FRPSOHWH
WKH(cid:3)UXOH(cid:16)PDNLQJ(cid:3)SURFHVV(cid:17)(cid:3)(cid:3)6SHFLILFDOO\(cid:15)(cid:3)RQ(cid:3)-XQH(cid:3)(cid:20)(cid:23)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)WKH
(cid:21)(cid:23)
GHSDUWPHQW(cid:3)ILOHG(cid:3)WKH(cid:3)EUDQFK“V(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)H[SDQG
WKH(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) SURJUDP(cid:3) DQG(cid:3) DOORZ(cid:3) QRQFRQWUDFW
ODERUDWRULHV(cid:3) WR(cid:3) FRQGXFW(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) SURJUDPV(cid:3) WKDW
SDUDOOHO(cid:3)WKH(cid:3)6WDWH“V(cid:3)SURJUDP(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)GLG(cid:3)QRW
SXEOLVK(cid:3)D(cid:3)QRWLFH(cid:3)LQIRUPLQJ(cid:3)WKH(cid:3)SXEOLF(cid:3)RI(cid:3)WKH(cid:3)FKDQJHV(cid:3)RU(cid:3)SURYLGH
D(cid:3) SXEOLF(cid:3) FRPPHQW(cid:3) SHULRG(cid:17)(cid:3) (cid:3) $GGLWLRQDOO\(cid:15)(cid:3) HYHQ(cid:3) WKRXJK(cid:3) LW
,Q(cid:3)RQH(cid:3)LQVWDQFH(cid:15)(cid:3)WKH UHFHLYHG(cid:3)UHTXHVWV(cid:3)WR(cid:3)VFKHGXOH(cid:3)D(cid:3)SXEOLF(cid:3)KHDULQJ(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW
GHSDUWPHQW(cid:3)GLG(cid:3)QRW GLG(cid:3)QRW(cid:3)KROG(cid:3)RQH(cid:3)XQWLO(cid:3)0D\(cid:3)(cid:21)(cid:27)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)PRUH(cid:3)WKDQ(cid:3)VHYHQ(cid:3)PRQWKV
SXEOLVK(cid:3)FKDQJHV(cid:3)RU ODWHU(cid:3)WKDQ(cid:3)UHTXLUHG(cid:17)
SURYLGH(cid:3)IRU(cid:3)D(cid:3)SXEOLF
FRPPHQW(cid:3)SHULRG(cid:15)(cid:3)DQG(cid:3)LW 7KH(cid:3)GHSDUWPHQW(cid:3)GRHV(cid:3)QRW(cid:3)FRQVLGHU(cid:3)LWV(cid:3)IDLOXUH(cid:3)WR(cid:3)SXEOLVK(cid:3)D(cid:3)SXEOLF
KHOG(cid:3)WKH(cid:3)SXEOLF(cid:3)KHDULQJ QRWLFH(cid:3)RU(cid:3)KROG(cid:3)D(cid:3)SXEOLF(cid:3)KHDULQJ(cid:3)ZLWKLQ(cid:3)(cid:20)(cid:21)(cid:19)(cid:3)GD\V(cid:3)D(cid:3)YLRODWLRQ(cid:3)RI
PRUH(cid:3)WKDQ(cid:3)VHYHUDO(cid:3)PRQWKV WKH(cid:3)DFW(cid:3)EHFDXVH(cid:3)LWV(cid:3)OHJDO(cid:3)FRXQVHO(cid:3)EHOLHYHV(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\
ODWH(cid:17) &RGH(cid:3)H[HPSWV(cid:3)WKH(cid:3)UHJXODWLRQV(cid:3)IURP(cid:3)WKH(cid:3)DFW“V(cid:3)UHTXLUHPHQWV(cid:17)(cid:3)(cid:3),Q
FRQWUDVW(cid:15)(cid:3)WKH(cid:3)OHJLVODWLYH(cid:3)FRXQVHO(cid:3)VWDWHG(cid:3)WKDW(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\
&RGH(cid:3)RQO\(cid:3)H[HPSWV(cid:3)WKH(cid:3)UHJXODWLRQV(cid:3)IURP(cid:3)UHYLHZ(cid:15)(cid:3)DSSURYDO(cid:15)(cid:3)DQG
UHSHDO(cid:3)E\(cid:3)WKH(cid:3)RIILFH(cid:30)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)PXVW(cid:3)VWLOO(cid:3)FRPSOHWH(cid:3)WKH(cid:3)DFW“V
UXOH(cid:16)PDNLQJ(cid:3)SURFHVV(cid:3)ZKHQ(cid:3)LW(cid:3)DGRSWV(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:17)
1RUPDOO\(cid:15)(cid:3) WKH(cid:3) RIILFH(cid:3) FRXOG(cid:3) KDYH(cid:3) UHSHDOHG(cid:3) WKH(cid:3) GHSDUWPHQW“V
HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)ZKHQ(cid:15)(cid:3)DIWHU(cid:3)(cid:20)(cid:21)(cid:19)(cid:3)GD\V(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW
GLG(cid:3) QRW(cid:3) SURYLGH(cid:3) HYLGHQFH(cid:3) WKDW(cid:3) LW(cid:3) FRPSOHWHG(cid:3) WKH(cid:3) UXOH(cid:16)PDNLQJ
SURFHVV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)WKH(cid:3)RIILFH(cid:3)FRXOG(cid:3)QRW(cid:3)UHSHDO(cid:3)WKH(cid:3)UHJXODWLRQV
EHFDXVH(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)VWDWHV(cid:3)WKDW(cid:3)LW(cid:3)FDQQRW(cid:3)GR(cid:3)VR(cid:17)
:LWKRXW(cid:3) WKH(cid:3) RIILFH“V(cid:3) RYHUVLJKW(cid:3) DQG(cid:3) DXWKRULW\(cid:3) WR(cid:3) UHSHDO
UHJXODWLRQV(cid:15)(cid:3)QR(cid:3)V\VWHP(cid:3)HQVXUHV(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)FRPSOHWHV
WKH(cid:3)UXOH(cid:16)PDNLQJ(cid:3)SURFHVV(cid:3)LQ(cid:3)D(cid:3)WLPHO\(cid:3)PDQQHU(cid:17)
)RU(cid:3)WKH(cid:3)RWKHU(cid:3)UHJXODWLRQV(cid:3)DGRSWHG(cid:3)E\(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)RYHU(cid:3)WKH
ODVW(cid:3)WHQ(cid:3)\HDUV(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)JHQHUDOO\(cid:3)FRPSOLHG(cid:3)ZLWK(cid:3)WKH(cid:3)DFW(cid:17)
6SHFLILFDOO\(cid:15)(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) SXEOLVKHG(cid:3) QRWLFHV(cid:3) RI(cid:3) UHJXODWRU\
FKDQJHV(cid:15)(cid:3)SURYLGHG(cid:3)SXEOLF(cid:3)FRPPHQW(cid:3)SHULRGV(cid:15)(cid:3)DQG(cid:3)KHOG(cid:3)SXEOLF
KHDULQJV(cid:17)
7KH(cid:3)’HSDUWPHQW(cid:3),PSOHPHQWHG(cid:3)3URJUDP
&KDQJHV(cid:3)%HIRUH(cid:3)$GRSWLQJ(cid:3)5HJXODWLRQV
$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)DFW(cid:15)(cid:3)GHSDUWPHQWV(cid:3)PXVW(cid:3)DGRSW(cid:3)DV(cid:3)UHJXODWLRQV(cid:3)DOO
UXOHV(cid:15)(cid:3) RUGHUV(cid:15)(cid:3) RU(cid:3) VWDQGDUGV(cid:3) EHIRUH(cid:3) LW(cid:3) HQIRUFHV(cid:3) WKHP(cid:17)
$GGLWLRQDOO\(cid:15)(cid:3)WKH(cid:3)OHJLVODWLYH(cid:3)FRXQVHO(cid:3)VWDWHG(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW
PXVW(cid:3)DGRSW(cid:3)LQ(cid:3)UHJXODWLRQV(cid:3)LWV(cid:3)SURJUDP(cid:3)FKDQJHV(cid:3)DQG(cid:3)IHH(cid:3)LQFUHDVHV
EHIRUH(cid:3)LPSOHPHQWLQJ(cid:3)WKHP(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)RQ(cid:3)WZR(cid:3)UHFHQW(cid:3)RFFDVLRQV(cid:15)
WKH(cid:3)GHSDUWPHQW(cid:3)SXW(cid:3)LQWR(cid:3)HIIHFW(cid:3)VLJQLILFDQW(cid:3)SURJUDP(cid:3)FKDQJHV(cid:3)DQG
DOVR(cid:3)LQFUHDVHG(cid:3)SURJUDP(cid:3)IHHV(cid:3)EHIRUH(cid:3)ILOLQJ(cid:3)UHJXODWLRQV(cid:3)IRU(cid:3)WKRVH
FKDQJHV(cid:3) DQG(cid:3) IHH(cid:3) LQFUHDVHV(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) RIILFH(cid:15)(cid:3) UXOHV(cid:15)
VWDQGDUGV(cid:15)(cid:3)DQG(cid:3)RUGHUV(cid:3)GHSDUWPHQWV(cid:3)LPSOHPHQW(cid:3)EXW(cid:3)GR(cid:3)QRW(cid:3)DGRSW
LQ(cid:3)UHJXODWLRQV(cid:3)DUH(cid:3)§KRXVH¤(cid:3)RU(cid:3)§XQGHUJURXQG(cid:3)UHJXODWLRQV¤(cid:3)WKDW(cid:3)DUH
LQYDOLG(cid:3)DQG(cid:3)XQHQIRUFHDEOH(cid:3)ZKHQ(cid:3)FKDOOHQJHG(cid:3)LQ(cid:3)FRXUW(cid:17)
(cid:21)(cid:24)
2Q(cid:3)RQH(cid:3)RFFDVLRQ(cid:15)(cid:3)LQ(cid:3)-DQXDU\(cid:3)(cid:20)(cid:28)(cid:28)(cid:23)(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)LQFUHDVHG
WKH(cid:3)IHHV(cid:3)IURP(cid:3)(cid:7)(cid:24)(cid:24)(cid:3)WR(cid:3)(cid:7)(cid:24)(cid:26)(cid:3)IRU(cid:3)LWV(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)DQG
UDLVHG(cid:3)IHHV(cid:3)IURP(cid:3)(cid:7)(cid:23)(cid:19)(cid:3)WR(cid:3)(cid:7)(cid:23)(cid:21)(cid:3)IRU(cid:3)LWV(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:30)
KRZHYHU(cid:15)(cid:3)LW(cid:3)GLG(cid:3)QRW(cid:3)ILOH(cid:3)UHJXODWLRQV(cid:3)WR(cid:3)DGRSW(cid:3)WKH(cid:3)FKDQJHV(cid:3)XQWLO
-XQH(cid:3) (cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3) DSSUR[LPDWHO\(cid:3) (cid:23)(cid:20)(cid:3) PRQWKV(cid:3) ODWHU(cid:17)(cid:3) (cid:3) 2Q(cid:3) DQRWKHU
RFFDVLRQ(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)PRGLILHG(cid:3)LWV(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)SURJUDP
WR(cid:3)FRQYHUW(cid:3)WKH(cid:3)VFUHHQLQJ(cid:3)WHVW(cid:3)IURP(cid:3)D(cid:3)VLQJOH(cid:3)PDUNHU(cid:3)WR(cid:3)D(cid:3)WULSOH
PDUNHU(cid:3) DQG(cid:3) WR(cid:3) LQFUHDVH(cid:3) WKH(cid:3) IHHV(cid:17)(cid:3) (cid:3) $OWKRXJK(cid:3) WKH(cid:3) GHSDUWPHQW
EHJDQ(cid:3) WKLV(cid:3) SURJUDP(cid:3) LQ(cid:3) -XO\(cid:3) (cid:20)(cid:28)(cid:28)(cid:24)(cid:15)(cid:3) LW(cid:3) GLG(cid:3) QRW(cid:3) DGRSW(cid:3) WKH
HPHUJHQF\(cid:3) UHJXODWLRQV(cid:3) WKDW(cid:3) H[SDQGHG(cid:3) WKH(cid:3) WHVWLQJ(cid:3) XQWLO
-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:15)(cid:3)DSSUR[LPDWHO\(cid:3)(cid:20)(cid:20)(cid:3)PRQWKV(cid:3)ODWHU(cid:15)(cid:3)QRU(cid:3)GLG(cid:3)LW(cid:3)DGRSW
UHJXODWLRQV(cid:3)WR(cid:3)LQFUHDVH(cid:3)WKH(cid:3)IHHV(cid:3)XQWLO(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)(cid:15)(cid:3)DSSUR[LPDWHO\
(cid:21)(cid:22)(cid:3) PRQWKV(cid:3) ODWHU(cid:17)(cid:3) (cid:3) 7KH(cid:3) EUDQFK(cid:3) KDG(cid:3) RULJLQDOO\(cid:3) GHYHORSHG
UHJXODWLRQV(cid:3) LQ(cid:3) $XJXVW(cid:3) (cid:20)(cid:28)(cid:28)(cid:22)(cid:3) WR(cid:3) DGGUHVV(cid:3) WKH(cid:3) IHH(cid:3) LQFUHDVHV
DQG(cid:3)SURJUDP(cid:3)FKDQJHV(cid:15)(cid:3)EXW(cid:3)LQWHUQDO(cid:3)GHSDUWPHQWDO(cid:3)UHYLHZV(cid:3)DQG
VXEVHTXHQW(cid:3)UHYLVLRQV(cid:3)LPSHGHG(cid:3)FRPSOHWLRQ(cid:3)RI(cid:3)WKH(cid:3)ILOLQJ(cid:3)SURFHVV(cid:17)
$FFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)GHSDUWPHQW“V(cid:3)GHSXW\(cid:3)GLUHFWRU(cid:3)LQ(cid:3)FKDUJH(cid:3)RI(cid:3)WKH
EUDQFK(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)UDLVHG(cid:3)QHZERUQ(cid:3)DQG(cid:3)SUHQDWDO(cid:3)IHHV(cid:3)DQG
PRGLILHG(cid:3)WKH(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:3)ZLWKRXW(cid:3)ILUVW(cid:3)DGRSWLQJ
UHJXODWLRQV(cid:3)EHFDXVH(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)KDV(cid:3)VXIILFLHQW(cid:3)OHJDO(cid:3)DXWKRULW\
WR(cid:3)GR(cid:3)VR(cid:17)(cid:3)(cid:3))XUWKHUPRUH(cid:15)(cid:3)WKH(cid:3)FKDQJHV(cid:3)ZHUH(cid:3)QHFHVVDU\(cid:3)WR(cid:3)FRYHU
SURJUDP(cid:3)FRVWV(cid:3)RU(cid:3)WR(cid:3)SURWHFW(cid:3)WKH(cid:3)SXEOLF(cid:3)KHDOWK(cid:17)(cid:3)(cid:3),Q(cid:3)WKH(cid:3)FDVH(cid:3)RI(cid:3)WKH
7KH(cid:3)GHSDUWPHQW
SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) SURJUDP(cid:15)(cid:3) WKH(cid:3) FRQWUDFW(cid:3) ODERUDWRULHV(cid:3) ZHUH
LPSOHPHQWHG(cid:3)VLJQLILFDQW
DOUHDG\(cid:3)SHUIRUPLQJ(cid:3)WKH(cid:3)WULSOH(cid:3)PDUNHU(cid:3)WHVW(cid:15)(cid:3)DQG(cid:3)WKH(cid:3)EUDQFK(cid:3)KDG
SURJUDP(cid:3)FKDQJHV(cid:3)EHIRUH
QHZ(cid:3)VRIWZDUH(cid:3)LQ(cid:3)SODFH(cid:3)WR(cid:3)JHQHUDWH(cid:3)WKH(cid:3)WHVW(cid:3)UHVXOWV(cid:3)EHIRUH(cid:3)WKH
HVWDEOLVKLQJ(cid:3)DSSURSULDWH
GHSDUWPHQW(cid:3)ZDV(cid:3)DEOH(cid:3)WR(cid:3)UHVROYH(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)LVVXHV(cid:3)UHODWHG(cid:3)WR(cid:3)WKHVH
UHJXODWLRQV(cid:17)
UHJXODWLRQV(cid:17)(cid:3) (cid:3) %HFDXVH(cid:3) GHOD\LQJ(cid:3) LPSOHPHQWDWLRQ(cid:3) RI(cid:3) WKH(cid:3) WULSOH
PDUNHU(cid:3)WHVW(cid:3)ZRXOG(cid:3)KDYH(cid:3)PHDQW(cid:3)ZLWKKROGLQJ(cid:3)LQIRUPDWLRQ(cid:3)IURP
D(cid:3)ZRPDQ(cid:3)DERXW(cid:3)KHU(cid:3)ULVN(cid:3)RI(cid:3)FDUU\LQJ(cid:3)DQ(cid:3)XQERUQ(cid:3)EDE\(cid:3)ZLWK(cid:3)D
JHQHWLF(cid:3)GLVRUGHU(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)EHJDQ(cid:3)XVLQJ(cid:3)WKH(cid:3)WHVW(cid:3)EHIRUH
QHFHVVDU\(cid:3)UHJXODWLRQV(cid:3)ZHUH(cid:3)LQ(cid:3)SODFH(cid:17)(cid:3)(cid:3)$OWKRXJK(cid:3)LW(cid:3)LV(cid:3)LPSRUWDQW(cid:3)WR
PDNH(cid:3)VLJQLILFDQW(cid:3)SURJUDP(cid:3)FKDQJHV(cid:3)DV(cid:3)VRRQ(cid:3)DV(cid:3)SRVVLEOH(cid:15)(cid:3)LW(cid:3)LV(cid:3)DOVR
LPSRUWDQW(cid:3) IRU(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) WR(cid:3) DGRSW(cid:3) LWV(cid:3) UHJXODWLRQV(cid:3) LQ(cid:3) DQ
H[SHGLWLRXV(cid:3) PDQQHU(cid:17)(cid:3) (cid:3) $FFRUGLQJ(cid:3) WR(cid:3) WKH(cid:3) OHJLVODWLYH(cid:3) FRXQVHO(cid:15)
SURJUDP(cid:3)FKDQJHV(cid:15)(cid:3)LQFOXGLQJ(cid:3)IHH(cid:3)DGMXVWPHQWV(cid:15)(cid:3)PXVW(cid:3)DSSHDU(cid:3)LQ
UHJXODWLRQV(cid:3) EHIRUH(cid:3) GHSDUWPHQWV(cid:3) FDQ(cid:3) LPSOHPHQW(cid:3) WKH(cid:3) FKDUJHV(cid:17)
)XUWKHU(cid:15)(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)WKH(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:15)(cid:3)WKHVH
FKDQJHV(cid:3)PXVW(cid:3)EH(cid:3)LQ(cid:3)UHJXODWLRQ(cid:3)WR(cid:3)EH(cid:3)HQIRUFHDEOH(cid:17)
%\(cid:3) LQFUHDVLQJ(cid:3) WKH(cid:3) QHZERUQ(cid:3) DQG(cid:3) SUHQDWDO(cid:3) WHVWLQJ(cid:3) IHHV(cid:3) DQG
PRGLI\LQJ(cid:3) WKH(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ(cid:3) SURJUDP(cid:3) EHIRUH(cid:3) DGRSWLQJ
UHJXODWLRQV(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)YLRODWHG(cid:3)WKH(cid:3)DFW(cid:3)DQG(cid:3)LPSOHPHQWHG
XQGHUJURXQG(cid:3)UHJXODWLRQV(cid:17)(cid:3)(cid:3)+DG(cid:3)SDUWLFLSDQWV(cid:3)FRQWHVWHG(cid:3)WKH(cid:3)IHHV(cid:3)RU
WKH(cid:3)FKDQJHV(cid:3)WR(cid:3)WKH(cid:3)SURJUDP(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)ZRXOG(cid:3)QRW(cid:3)KDYH
EHHQ(cid:3)DEOH(cid:3)WR(cid:3)FRPSHO(cid:3)WKHP(cid:3)WR(cid:3)SD\(cid:3)WKH(cid:3)LQFUHDVHG(cid:3)IHHV(cid:3)RU(cid:3)FRPSO\
ZLWK(cid:3)WKH(cid:3)SURJUDP(cid:3)FKDQJHV(cid:17)
(cid:21)(cid:25)
5HFRPPHQGDWLRQV
7R(cid:3) PDNH(cid:3) FHUWDLQ(cid:3) WKDW(cid:3) WKH(cid:3) GHSDUWPHQW(cid:3) DGRSWV(cid:3) HPHUJHQF\
UHJXODWLRQV(cid:3) RQO\(cid:3) ZKHQ(cid:3) ZDUUDQWHG(cid:15)(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) QHHGV(cid:3) WR
UHPRYH(cid:3)WKH(cid:3)VSHFLILF(cid:3)ODQJXDJH(cid:3)LQ(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)WKDW
FRQVLGHUV(cid:3)DOO(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)HPHUJHQFLHV(cid:17)
7R(cid:3)HQVXUH(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)FRPSOLHV(cid:3)ZLWK(cid:3)WKH(cid:3)$GPLQLVWUDWLYH
3URFHGXUHV(cid:3) $FW(cid:15)(cid:3) WKH(cid:3) /HJLVODWXUH(cid:3) VKRXOG(cid:3) DOVR(cid:3) HOLPLQDWH(cid:3) WKH
VSHFLILF(cid:3)ODQJXDJH(cid:3)LQ(cid:3)WKH(cid:3)+HDOWK(cid:3)DQG(cid:3)6DIHW\(cid:3)&RGH(cid:3)ZKLFK(cid:3)VWDWHV
WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)VKDOO(cid:3)ILOH(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)GLUHFWO\(cid:3)ZLWK
WKH(cid:3)6HFUHWDU\(cid:3)RI(cid:3)6WDWH(cid:15)(cid:3)WKXV(cid:3)H[HPSWLQJ(cid:3)EUDQFK(cid:3)UHJXODWLRQV(cid:3)IURP
UHYLHZ(cid:3)E\(cid:3)WKH(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH
/HJLVODWXUH(cid:3) VKRXOG(cid:3) GHOHWH(cid:3) WKH(cid:3) ODQJXDJH(cid:3) ZKLFK(cid:3) VWDWHV(cid:3) WKDW
WKH(cid:3) 2IILFH(cid:3) RI(cid:3) $GPLQLVWUDWLYH(cid:3) /DZ(cid:3) FDQQRW(cid:3) UHSHDO(cid:3) EUDQFK
UHJXODWLRQV(cid:17)
7R(cid:3) DYRLG(cid:3) YLRODWLQJ(cid:3) WKH(cid:3) $GPLQLVWUDWLYH(cid:3) 3URFHGXUHV(cid:3) $FW(cid:15)(cid:3) WKH
GHSDUWPHQW(cid:3) VKRXOG(cid:3) DGRSW(cid:3) FKDQJHV(cid:3) WR(cid:3) LWV(cid:3) JHQHWLF(cid:3) VFUHHQLQJ
SURJUDPV(cid:3)LQ(cid:3)UHJXODWLRQV(cid:3)EHIRUH(cid:3)LW(cid:3)LPSOHPHQWV(cid:3)WKRVH(cid:3)FKDQJHV(cid:17)
:H(cid:3)FRQGXFWHG(cid:3)WKLV(cid:3)UHYLHZ(cid:3)XQGHU(cid:3)WKH(cid:3)DXWKRULW\(cid:3)YHVWHG(cid:3)LQ(cid:3)WKH(cid:3)&DOLIRUQLD(cid:3)6WDWH(cid:3)$XGLWRU(cid:3)E\
6HFWLRQ(cid:3)(cid:27)(cid:24)(cid:23)(cid:22)(cid:3)HW(cid:3)VHT(cid:17)(cid:3)RI(cid:3)WKH(cid:3)&DOLIRUQLD(cid:3)*RYHUQPHQW(cid:3)&RGH(cid:3)DQG(cid:3)DFFRUGLQJ(cid:3)WR(cid:3)JHQHUDOO\(cid:3)DFFHSWHG
JRYHUQPHQWDO(cid:3)DXGLWLQJ(cid:3)VWDQGDUGV(cid:17)(cid:3)(cid:3):H(cid:3)OLPLWHG(cid:3)RXU(cid:3)UHYLHZ(cid:3)WR(cid:3)WKRVH(cid:3)DUHDV(cid:3)VSHFLILHG(cid:3)LQ(cid:3)WKH(cid:3)DXGLW
VFRSH(cid:3)RI(cid:3)WKLV(cid:3)UHSRUW(cid:17)
5HVSHFWIXOO\(cid:3)VXEPLWWHG(cid:15)
.857(cid:3)5(cid:17)(cid:3)6-2%(5*
6WDWH(cid:3)$XGLWRU
’DWH(cid:29) 6HSWHPEHU(cid:3)(cid:23)(cid:15)(cid:3)(cid:20)(cid:28)(cid:28)(cid:26)
6WDII(cid:29) 6\OYLD(cid:3)/(cid:17)(cid:3)+HQVOH\(cid:15)(cid:3)&3$(cid:15)(cid:3)$XGLW(cid:3)3ULQFLSDO
-RKQ(cid:3)%DLHU(cid:15)(cid:3)&3$
$DURQ(cid:3)/(cid:17)(cid:3)%ROLQ
-HQQLIHU(cid:3)%XFN
-DFTXH(cid:3)&RQZD\(cid:15)(cid:3)&3$
2OLYLD(cid:3)+DXJ
(cid:21)(cid:26)
Blank page inserted for reproduction purposes only
28
Response to the report provided as text only
State of California - Health and Welfare Agency Pet Wilson, Governor
Department of Health Services
714/744 P Street
P.O. Box 942732
Sacramento, CA 94234-7320
916-657-1425
August 27, 1997
Mr. Kurt R. Sjoberg
State Auditor
Bureau of State Audits
660 J Street, Suite 300
Sacramento, CA 95814
Dear Mr. Sjoberg:
Thank you for the opportunity to review and comment on the audit of the
Department’s genetic disease services. Enclosed is the Department’s response to the
audit. We appreciate this independent review which will contribute to our effort to improve
in program operations.
Sincerely,
S. Kimberly Belshe
Director
Enclosure
cc: Tameron Mitchell
Primary Care and Family Health
714 P Street, Room 450
29
Response to the report provided as text only
THE DEPARTMENT OF HEALTH SERVICES RESPONSE TO:
The Genetic Disease Branch’s Fee Setting, Billing And Collection
Processes Need Improvement, And Its Regulations Do Not Warrant
Emergency Status
Genetic Disease Branch
Primary Care and Family Health
Department of Health Services
September 1997
30
GENERAL COMMENTS
The Department of Health Services (DHS) welcomes the opportunity to obtain this independent
evaluation of our genetic services program. The auditors assigned have conducted a thorough,
professional, and comprehensive examination. The Genetic Disease Branch (GDB) manage-
ment acknowledges that the consultations with the auditors and the data developed will be of
great benefit in instituting improvements in operations and administration.
While the purpose of the audit is primarily to detect problems or inefficiencies and make recom-
mendations for improvements, the overall central conclusion to be drawn from this audit is that
the program is achieving its major public health objectives. The program provides universal
statewide access to high quality newborn and prenatal screening services, irrespective of
income, in a cost-effective manner. Over 8 million newborns and 3.3 million women have
participated; 3,500 newborns with preventable heritable conditions have been detected and
treated, and over 5,000 serious birth defects identified prenatally since the program was initi-
ated.
These screening programs have enjoyed the support of the California Chapter of American
Academy of Pediatrics and the American College of Obstetrics and Gynecology. A survey of
prenatal care providers rated the program as excellent. The acceptance of the Department’s
voluntary prenatal program is illustrated by the fact that 70% of pregnant women accept the
offer to participate.
The program is entirely supported by fees and uses no general fund tax revenues. The Genetic
Disease Testing Fund (GDTF), a special fund established in 1975 under GDB management,
has always remained solvent and has supported the operation of the existing programs and the
development of new and better testing for additional conditions. Moreover, the GDTF repaid a
$7 million general fund loan to cover program startup in 1979 to 1982. While the DHS can be
proud of the program’s accomplishments, we make no claim to have reached perfection. The
Department solicits constructive criticism and suggestions for improvement from all concerned
parties.
RESPONSE TO CHAPTER 1 - FEES
The cost of services provided to the public has been competitive with services in the private
*
sector. (See Tables 1 & 2) Private laboratories charge from $70 to $186 for the triple-marker
laboratory testing only, as compared to $115 for the comprehensive services provided by the
state.
*The California State Auditor(cid:146)s comments on this reponse begin on page 41.
31
TABLE 1
COMPARISON OF CHARGES FOR MULTIPLE MARKER PRENATAL BLOOD TEST
1992 1997
($) ($)
Alfigen Lab 71 79
Vivigen 135 Now Genzyme
Genetrix 73 Now Genzyme
Medigene 195 *
Foundation for Blood Research 70 79
Nichols 197 177
Mayo Not offered 136.40
Collaborative Diagnostics 85 *
SmithKline * 186
Genzyme * 175
Womens and Infants R.I. 90 *
These charges do not include the cost of repeat tests or follow-up costs (such as genetic
counseling, ultrasound, amniocentesis, chromosome studies and analysis of amniotic fluid).
*Information not available
TABLE 2
Comparison of Rate of Increase of DHS AFP fees with Mayo Clinic Laboratory
Date DHS Mayo
($) ($)
1986 40.00 —
1988 49.00 —
1991 53.00 44.40
1992 55.00 57.50
1993 — 62.40
1995 57.00 —
1997 57.00 70.20 (AFP only)
1997 115.00 (3 marker) 136.40 (4 marker)
The DHS fee includes all necessary follow-up services for positives (genetic counseling,
ultrasound, amniocentesis, chromosome studies and analysis of amniotic fluid).
The Mayo fee is for the blood test alone.
32
The period from 1980 to 1990 had a 200% increase in Consumer Price Index (CPI) for medical
care. The fees for newborn screening for PKU, galactosemia and hypothyroidism were un-
changed for nine years and then increased 20% ($24 to $29). If the increase had kept pace
with the medical CPI the fee would have been $50. In 1990 sickle cell anemia screening was
added and the fee increased to $34 to cover this addition. From 1990 to 1997 the actual fee
increase was 23%, as compared to a CPI increase of 133% or a CPI adjusted fee of $64. The
statutory authority for fees for genetic screening have not been included in that section of the
Budget Act language that requires fees be annually adjusted so as to offset at least 95% of the
approved program level. This would have resulted in a gradual elevation of fees each year. It
would also have resulted in a 5% shortfall in the GDTF. This is an acknowledgement that
genetic testing is not a static program subject only to inflationary increases but a dynamic
program with current and projected needs that can vary dramatically from year to year.
With respect to legislative intent, the Health and Safety Code 125000 (b) authorizes, “The
Department shall charge a fee for any tests performed pursuant to this section. The amount of
the fee shall be established and periodically adjusted by the director in order to meet the costs
of this section.” The legislation further provided in Section 125005 that “All moneys collected by
the department under Section 125000 shall be deposited in the Genetic Disease Testing Fund
that is continuously appropriated to the department to carry out the purposes of Section
125000.” (emphasis added)
The purposes of Section 125000 include both newborn and prenatal screening but also include
“...a statewide program of information, testing and counseling services” [125000 (a)]. The pur-
poses also include under 125000 (e) “grants or contracts for:
(1) Testing and counseling services.
(2) Demonstration projects to determine the desirability and feasibility of additional tests or new
genetic services.
(3) To initiate the development of genetic services in areas of need.
(4) To purchase or provide genetic services from any sums as are appropriated for this purpose.”
In addition, the Budget Acts of 1994, 1995, 1996 provided:
“The Department of Health Services shall establish a system of fees for various services and
programs including any voluntary or mandatory population-based screening programs provided
by the Genetic Disease Branch. The fee shall be sufficient to cover the total costs of providing
all such genetic disease or population based screening services and programs provided by the
Genetic Disease Branch.” (emphasis added)
This language clearly indicates the intent that fees could be used to support programs in addi-
tion to population screening and an intent to use fees to offset the total GDB operating costs of
a complex program.
It is the Department’s view that regulations are not required for fees pursuant to Government
Code Section 11343(a)(1) and the cases construing that section. Additionally, the Budget Act and
the Health and Safety Code (Section 100425) distinguishes between fees set by regulations,
33
which are subject to annual adjustment, from Branch fees that are addressed in a separate
section which makes no specific reference to regulations. However, the Branch has historically
set fees by regulations, and it agrees that the legal dispute on this point needs to be corrected
in regulatory reform. (See response to Chapter 3)
It is the Branch’s position that fees are to be set at a level that will support the entire program of
genetic services. This includes some activities that do not generate fees such as public educa-
tion and prevention of Rh hemolytic disease of newborns. It also includes startup costs for new
tests or replacement of obsolete laboratory or computer technology.
Fees need to be set to keep the fund solvent, to generate a contingency reserve, and to provide
a source of funds for development of new tests. It is not the Branch’s primary goal to set fees for
each individual program such that the revenues exactly equal the operating costs of that par-
ticular program.
Even if the Department were to accept this concept of exactly matching fees to costs for each
program, it would be extremely difficult to achieve. Fees cannot be established in retrospect
based on actual experience. Past experience is used as a guide to setting fees. However, fees
must be decided on in the context of development of the State budget and, therefore, are based on
estimates of activities that will occur 8 to 10 months later. The selection of a fee level is based on
information and estimates developed by the program administrators using available databases.
There are unique problems associated with setting a fee for a clinical service such as genetic
screening. For newborn screening, a mandatory program, the following are only a few essen-
tial elements to be considered:
(a) Estimates of future births
(b) Amount of moneys encumbered and estimated rates of expenditure to support newborn
screening operations (laboratory, contracts, follow-up contracts, administration, and quality
assurance)
(c) Estimates of changes in operational costs, e.g., contracts renegotiated, more or less expen-
sive technology to be added or deleted, change in number of contractors, projected addition
of new tests
(d) Variations in number of newborns initially positive, and in the types and costs of follow-up
activities needed
(e) Collection rate and collection costs
For prenatal screening, a voluntary program, the situation is more complicated and includes:
(a) Estimates of number of women over and under 35 who will accept an offer of testing
(b) Estimates of number of initial positives who will result in additional costs of follow-up
(c) Numbers and kinds of follow-up services needed and their costs, and acceptance rate of
referral and amniocentesis
(d) Estimates of reagent costs
(e) Estimates of laboratory contract costs
(f) Follow-up vendor contracts, i.e., number of Prenatal Diagnosis Centers and reimbursement rates
34
(g) Administrative costs to support testing, e.g., number and costs of mailing containers, test tubes,
printing instruction and forms and educational material, data collection and analysis, etc.
(h) Collection rate and costs of collection
In addition, fees can be affected by administration decisions at various levels of government.
For example, requirements to maintain a specified reserve, use of surplus moneys investment
accounts, absorption of general funded activities not directly related to fees collected, need to
generate a surplus for future use for startup costs for addition of new tests, replacement of
laboratory equipment and re-engineering the information technology component. Unantici-
pated costs such as a demand for licensing fees of over $1,000,000 annually for using one of
the analytical assays could affect fee calculation. The Branch has not increased reimburse-
ment to clinical geneticists and counselors for follow-up services since 1992. The Branch
needs to consider adjustments to reflect the vendors increased costs of operation.
The auditors examined the process used to set Expanded Alpha-Feto Protein (XAFP) fees. In
FY 95-96, Branch administration was operating a program using AFP alone that was detecting
70% of the Neural Tube Defects (NTD) and 15% of the Down syndrome (DS). XAFP would
improve the DS detection but would not increase NTD detection. There was therefore no past
experience which could be used to adjust fee. The incremental costs of XAFP needed to be
related to benefits of improved DS detection. The existing program was fiscally sound, based
on data from past experience, so the operational costs of this established program were used
as a baseline. In order to determine the new fee the Branch estimated the additional cost of
adding two markers.
The analysis of revenues and fees in the audit was a retrospective analysis based on the first
year’s experience with the new expanded prenatal screening program. The Branch had no past
history to use as a guide. The assumptions used were necessarily designed to support service
capacity sufficient to meet any need and to avoid a disastrous shortfall. Some of the assump-
tions were not born out in practice. The Branch now has the benefit of the FY 95-96 experience
and has adjusted estimates. In FY 96-97 a negative Budget Concept Proposal reduced the
budget authority by $2 million dollars. The Branch attempts to keep fees as low as possible to
encourage participation.
The Branch periodically reviews the status of the GDTF including operational costs and fees as
needed for fiscal decision. Until last year the Branch provided the Department of Finance with
workload changes, estimates, and a status report on the GDTF in May and November of each
year. This was discontinued based on a directive from the Department of Finance.
RESPONSE TO CHAPTER 2 - COLLECTIONS
The auditors identified problems in collection of prenatal testing fees. The Branch has demon-
strated creativity in addressing the problem, e.g., addition of credit card billing, using universal
insurance forms for billing. The Branch has consistently struggled to improve the amount of and
accountability for fees collected beginning in FY 90-91. The Branch has utilized outside con-
sultants and its own information technology expertise to develop a major redesign
35
and automation of the total accounting and revenue collection system. After four years of discus-
sion and review by Data Systems Branch, Department of Information Technology (DOIT), and
the Department of Finance Technology Investment Review Unit (TIRU), GDB is expecting final
approval of the Feasibility Study Report entitled, “Information Technology for Accounting and
Other Business Services at the Genetic Disease Branch.” A contract with a private vendor to
provide a system that meets our detailed specifications, and that will address the problems
identified by the auditors and the Branch will soon be executed. The Branch, therefore, acknowl-
edges the problems that have developed in the collections and is committed to rectifying them.
The Branch has a unique problem as compared to other units responsible for fee collection in
the DHS. Most programs collect fees for licenses or documents and can withhold the desired
license or document if fees are not paid. Moreover, the small group of payers responsible for the
fee is clearly defined. The Branch, on the other hand, collects the fee after provision of services
to a large group of women where responsibility for payment is difficult to define. The effort
dwarfs other departmental collections. The Branch mails 70,000 individual bills each month
including 15,000 new bills and maintains 266,000 individual accounts. Since 1993, the period
discussed in the audit, GDB has effectively collected over $83 million dollars in prenatal fees.
The auditors are concerned about the amount of uncollectable revenue. The Branch shares the
auditors concern with respect to the number of uncollectable bills and is committed to con-
stantly working to reduce the rate of uncollectable bills as much as possible, recognizing that
no system or program collects 100% of moneys due. The dollar amount of the uncollectable is
large because the total amount due is large. However, the only valid measure of effectiveness
is the percent of total that are uncollectable. In the course of development of the program, the
Branch informed the Department of Finance and the Legislature that collection of revenue will
be incomplete. Our budget presentation has always included our estimate of 13% to 17% in
uncollectable prenatal fees. Even though bills are eligible for write-off after one year, the
Branch does not write-off these bills. Based on past experience the Branch believes that a
significant percentage in the eligible for write-off category will ultimately be collected. The
Branch estimates that the total write-offs in FY 95/96 will be less than $5 million. In that fiscal
year GDB billed a total of $31,716,092 and in FY 95/96 collected $10,900,487 or 34%. How-
ever, in FY 96/97, $17,616,027 was collected or an additional 56% for FY 95/96. The total
prenatal fees ultimately written off will be less than 10% of total billings. The Branch includes,
in the determination of the fee, an estimate of uncollectable bills. Therefore, the write-offs do
not represent deficits to the State but only loss of additional potential revenues for the Genetic
Disease Testing Fund.
While the overall collection rate is 87%, the audit does point out a specific area of
concern to the Branch where improvement needs to be made, namely, collection of
individual bills sent directly to women served. There are many reasons for the size of
this figure, some of which are being addressed or will be addressed in the future, and
some of which are beyond Branch control, e.g., approximately one-quarter of the women
served have no health insurance, and among the insured there is no universal
coverage of this screening in spite of the recognition it is a standard of prenatal care. As
the auditors correctly point out this subsidizes women and insurance companies unable
or unwilling to pay full fees. The decision to bill in arrears is based on the major
36
emphasis of this program as a preventative public health program. It is designed to reduce
barriers to participation and prepayment would be a barrier to low income women.
The Branch, however, believes the auditors have made constructive recommendations such as
provision of payment envelopes at time of service. The Branch is accepting credit card pay-
ment at this time. The use of a credit card at point of service is more complex but will be ag-
gressively explored. The auditors recommend billing health plans directly. However, this is
easier said than done. The Branch has assigned health plans billing numbers, but 60% of the
doctors do not put billing information on the specimen collection form and over 35% fail to enter
social security numbers. The program is dependent on the physician ordering the screening test
to provide complete and accurate billing information. Title 17 CCR, Section 6527 (d) provides
“If the pregnant woman consents to testing the clinician shall arrange for prenatal screening
by...(l) Fully and accurately completing all required specimen collection forms provided by the
Department for this purpose.” The Branch’s policy is to contact physicians to obtain patient
addresses when addresses are wrong or data entry error occurs as entered by the laboratory
from the prenatal testing forms or when addresses are missing. This includes ensuring that
social security numbers are complete and accurate. However, the Branch does not contact
physicians to obtain patient social security numbers or the name of their health insurance and
subscriber identification number when this information is missing or incorrect in its database.
Moreover, some health plans and almost all insurance companies refuse to use the billing
number or to pay for their enrollees. The collection of fees from third party payers except Medi-
Cal, is complicated by not having a single CPT (common procedural terminology) billing code
that represents the complete combination of individual services provided. The billing codes are
used universally by third parties to itemize services and they have no provisions to pay for
“bundled” public health screening services.
The Branch does not have a way to use patients’ social security numbers or the name of their
health insurance and subscriber identification number as a means to collect unpaid prenatal
fees that is acceptable to the companies. Insurance companies reject the bills as “screening
services not covered” or due to need for copayment or meeting deductibles or for limitations on
coverage of normal pregnancy, etc. They are reluctant to negotiate a direct billing agreement if
their competitors will not do likewise since those that pay full fees subsidize those that do not.
We depend on the woman who has the information on coverage policies to submit our bill to
the insurance company.
The Branch agrees with the auditors that if health plans were clearly required to pay full fees
directly to the Department, they would aggressively inform their physicians and enrollees about
the coverage, and how to use the billing number. Billing and collections could be streamlined
and reduced for both the Department and the health plans.
The Branch accepts and will implement the recommendation to print an overdue message on
all billings after the first bill. The Branch already indicates partial payments are acceptable on
selected bills, but will extend this statement to all subsequent bills.
37
The Branch has discussed setting up offset procedures with the Franchise Tax Board (FTB).
Since several items and identifiers are needed to identify taxpayers, GDB needs to send FTB
computer tapes to use for matching. This recommendation will be pursued in the re-engineered
information technology project. In addition, the Branch has developed additional ideas that will
contribute to improved collections.
The Branch agrees that the refund process must be improved. Currently, if an overpayment is
discovered or is requested, a refund is made. However, the Branch does not use limited staff to
actively search for refunds. The automatic refund of overpayments that can be validated in
accordance with State accounting procedures will be a part of the accounting computer solu-
tion. A review of the FY 95-96 indicates that GDB credited payments to 113,400 individual
patient accounts and identified only 678 overpayments which are 6 per 1,000 accounts. An
analysis of overpayments revealed 95% are due to insurance company errors, only 5% were
situations where only the woman overpaid. Forty-percent of refunds would go to women and
60% would go to insurance companies.
Contracts
The Branch is committed to the use of competitive contracts and has redirected the necessary
staff to ensure this will be accomplished. The hiatus in laboratory contracting from 1990 to 1996
was requested by the Genetic Disease Laboratory due to staff limitations and higher priority
tasks of initiating sickle cell screening and Expanded AFP screening. Both were very labor
intensive processes involving changing laboratory analytic equipment and procedures speci-
fied in the contracts. As the audit points out, staffing has been improved so that a fixed sched-
ule of annual bidding of all laboratory services has been and will be maintained.
RESPONSE TO CHAPTER 3 - REGULATIONS
The Branch agrees with the auditors’ analysis that not all regulations are emergencies and
believes clarification of the statute is required. GDB also agree that the public interest is better
served if all regulations required a public comment. The ten regulations filed prior to 1996 were
filed after public input and with full compliance to the Administrative Procedure Act including
public hearings. However, the differing interpretations of the regulatory authority in statute
needs to be clarified by making clear that fee changes must be made by means of regulation
The Branch supports the concept that the Office of Administrative Law (OAL) needs to review the
regulation process, validate that the procedures in the Administrative Procedure Act (designed to
ensure appropriate public participation) have been observed and repeal any regulation failing this
test. However, the Branch does not support the concept that review of regulations for content,
clarity, necessity, non-duplication, authority, and references by OAL is necessary given the work
done by program staff and DHS legal staff who are informed and equipped to deal with the sensi-
tive and complex genetic services issues as demonstrated in the past regulatory adoptions in this
area. This extra layer of review has the potential to delay or prevent implementation of needed
prevention programs until issues raised by OAL are resolved. Unless procedural requirements are
not met, the Department wants to retain its statutory authority for its regulations to be filed directly
with the Secretary of State and not to be repealed by the office or by operation of law after 120 days.
38
RESPONSE TO RECOMMENDATIONS IN AUDIT SUMMARY
1. Establish procedures for monitoring and analyzing separately the revenues and costs for
each program.
Branch agrees and this will be addressed in the Accounting Information Technology
project.
2. Examine fees for each program at least once a year and then adjust patient fees if the
difference between costs and fees is significant.
Branch agrees. The Branch will examine fees at least annually and adjust either the
fees or the costs to maintain affordability of testing and solvency of the fund.
3. Reduce prenatal fees so that they more closely reflect the costs of the program.
The Branch believes that current fees should not be changed until we have completed
our budget review. The Branch must pay for upgraded NBS laboratory equipment and
two major information technology projects essential to accurate and cost-efficient opera-
tion. The current fees will generate sufficient funds to cover these needed maintenance
projects. In addition, funds are needed to examine new technologies and new tests and
to increase vendor reimbursements. The Branch will review the issues related to fee
adjustment in the context of the total solvency of the GDTF and present a detailed analy-
sis as part of our budgetary proposal in FY 97-98 and FY 98-99.
4. Offer each prenatal screening patient various ways to make payments. The Branch
should also require the patient to select a payment option and to make a payment at the
time of testing.
The Branch will explore use of credit card at point of service and include acceptance of
partial payment on bills. We feel requiring payment at time of service is an unnecessary
barrier to these prevention services.
5. Increase the amount of direct billing to health plans.
The Branch will pursue direct billing to third parties to the extent permitted by law.
6. Include on patient invoices language that highlights overdue balances, and continue to
bill patients who fail to pay.
The Branch will implement in the immediate future.
39
7. Establish a process for attaching a patient’s tax refund for the amount due if the patient
does not pay her bill for the prenatal screening test.
The Branch will implement as part of Accounting I.T. project.
8. Continue trying to obtain the $1.1 million in prenatal fees due from Medi-Cal.
The Branch is continuing to explore possibilities of collection.
9. Develop procedures to refund the overpayments of prenatal testing fees that it currently
holds, and promptly refund any overpayments it receives in the future.
The Branch will implement as part of Accounting I.T. project.
10. The Branch should continue to use a competitive bidding process to award contracts for
laboratory testing services.
The Branch will continue the competitive bidding process.
11. The Legislature should remove language from the Health and Safety Code that desig-
nates as emergencies all regulations related to the prenatal and newborn screening
programs.
This is a recommendation to the Legislature.
12. The Legislature should also delete language in the Health and Safety Code that directs
the Department to file branch regulations directly with the Secretary of State and that
exempts the regulations from possible repeal by the Office of Administrative Law.
This is a recommendation to the Legislature.
13. Before implementing program changes, the Department should comply with the Admin-
istrative Procedures Act by adopting regulations that cover those changes.
The Department will comply with time frames for public notice and public comments
periods as set forth in the Administrative Procedure Act.
The Department does not support the concept that review of regulations for content,
clarity, necessity, non-duplication, authority, and references by OAL is necessary given
the work done by program staff and DHS legal staff who are informed and equipped to
deal with the sensitive and complex genetic services issues as demonstrated in the past
regulatory adoptions in this area. This extra layer of review has the potential to delay or
prevent implementation of needed prevention programs until issues raised by OAL are
resolved.
40
Comments
&DOLIRUQLD(cid:3)6WDWH(cid:3)$XGLWRU“V(cid:3)&RPPHQWV
RQ(cid:3)WKH(cid:3)5HVSRQVH(cid:3))URP(cid:3)WKH
’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV
7
R(cid:3)SURYLGH(cid:3)FODULW\(cid:3)DQG(cid:3)SHUVSHFWLYH(cid:15)(cid:3)ZH(cid:3)DUH(cid:3)FRPPHQWLQJ(cid:3)RQ
WKH(cid:3)’HSDUWPHQW(cid:3)RI(cid:3)+HDOWK(cid:3)6HUYLFHV“(cid:3)(cid:11)GHSDUWPHQW(cid:12)(cid:3)UHVSRQVH
WR(cid:3) RXU(cid:3) DXGLW(cid:3) UHSRUW(cid:17)(cid:3) (cid:3) 7KH(cid:3) QXPEHUV(cid:3) FRUUHVSRQG(cid:3) WR(cid:3) WKH
QXPEHUV(cid:3)ZH(cid:3)KDYH(cid:3)SODFHG(cid:3)LQ(cid:3)WKH(cid:3)UHVSRQVH(cid:17)
(YHQ(cid:3)WKRXJK(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)PD\(cid:3)EH(cid:3)FRPSHWLWLYH(cid:3)ZLWK
IHHV(cid:3)LQ(cid:3)WKH(cid:3)SULYDWH(cid:3)VHFWRU(cid:15)(cid:3)WKH(cid:3)IDFW(cid:3)UHPDLQV(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)LV
FKDUJLQJ(cid:3) SUHJQDQW(cid:3) ZRPHQ(cid:3) PRUH(cid:3) WKDQ(cid:3) QHFHVVDU\(cid:3) IRU(cid:3) SUHQDWDO
VFUHHQLQJ(cid:3)WHVWV(cid:17)(cid:3)(cid:3)%HFDXVH(cid:3)WKH(cid:3)EUDQFK(cid:3)GRHV(cid:3)QRW(cid:3)DOORZ(cid:3)SULYDWH
EXVLQHVVHV(cid:3)RXWVLGH(cid:3)LWV(cid:3) SURJUDP(cid:3) WR(cid:3) SURYLGH(cid:3) SUHQDWDO(cid:3) VFUHHQLQJ
VHUYLFHV(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:10)V(cid:3)PDLQ(cid:3)FRQFHUQ(cid:3)VKRXOG(cid:3)QRW(cid:3)EH(cid:3)WKDW(cid:3)LWV(cid:3)IHHV
DUH(cid:3)FRPSHWLWLYH(cid:3)ZLWK(cid:3)WKH(cid:3)SULYDWH(cid:3)VHFWRU(cid:17)(cid:3)(cid:3)5DWKHU(cid:15)(cid:3)LW(cid:3)VKRXOG(cid:3)IRFXV
RQ(cid:3)SURYLGLQJ(cid:3)WKHVH(cid:3)VHUYLFHV(cid:3)DW(cid:3)WKH(cid:3)ORZHVW(cid:3)SRVVLEOH(cid:3)SULFH(cid:17)
:H(cid:3)DJUHH(cid:3)WKDW(cid:3)SURJUDP(cid:3)IHHV(cid:3)PXVW(cid:3)EH(cid:3)VXIILFLHQW(cid:3)WR(cid:3)FRYHU(cid:3)WKH(cid:3)FRVWV
RI(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)EUDQFK“V(cid:3)JHQHWLF(cid:3)VHUYLFHV(cid:17)(cid:3)(cid:3)&RQVHTXHQWO\(cid:15)(cid:3)LQ(cid:3)RXU
DQDO\VLV(cid:15)(cid:3)ZH(cid:3)QRW(cid:3)RQO\(cid:3)LQFOXGHG(cid:3)DOO(cid:3)RI(cid:3)WKH(cid:3)EUDQFK“V(cid:3)ILVFDO(cid:3)\HDU
(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3) H[SHQGLWXUHV(cid:15)(cid:3) EXW(cid:3) ZH(cid:3) DOVR(cid:3) FRQVLGHUHG(cid:3) LWV(cid:3) ILVFDO
\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:16)(cid:28)(cid:26)(cid:3)DQG(cid:3)SODQQHG(cid:3)H[SHQGLWXUHV(cid:17)(cid:3)(cid:3)(YHQ(cid:3)DIWHU(cid:3)FRQVLGHULQJ
DOO(cid:3)WKHVH(cid:3)IDFWRUV(cid:15)(cid:3)ZH(cid:3)FRQFOXGHG(cid:3)WKDW(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)LV
H[FHVVLYH(cid:17)
’XULQJ(cid:3)KLV(cid:3)DQDO\VLV(cid:3)RI(cid:3)WKH(cid:3)$GPLQLVWUDWLYH(cid:3)3URFHGXUHV(cid:3)$FW(cid:10)V(cid:3)(cid:11)DFW(cid:12)
UHTXLUHPHQWV(cid:15)(cid:3)WKH(cid:3)/HJLVODWLYH(cid:3)&RXQVHO(cid:3)RI(cid:3)&DOLIRUQLD(cid:3)FRQVLGHUHG
*RYHUQPHQW(cid:3)&RGH(cid:3)6HFWLRQ(cid:3)(cid:20)(cid:20)(cid:22)(cid:23)(cid:22)(cid:11)D(cid:12)(cid:11)(cid:20)(cid:12)(cid:3)DQG(cid:3)FRQFOXGHG(cid:3)WKDW(cid:3)WKH
GHSDUWPHQW(cid:3)PXVW(cid:3)DGMXVW(cid:3)IHHV(cid:3)LQ(cid:3)UHJXODWLRQV(cid:3)EHIRUH(cid:3)LPSOHPHQWLQJ
WKHP(cid:17)
7KH(cid:3)EUDQFK(cid:3)PLVUHSUHVHQWV(cid:3)RXU(cid:3)SRVLWLRQ(cid:17)(cid:3)(cid:3):H(cid:3)GR(cid:3)QRW(cid:3)EHOLHYH(cid:3)WKDW
IHHV(cid:3)PXVW(cid:3)H[DFWO\(cid:3)PDWFK(cid:3)FRVWV(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)ZH(cid:3)EHOLHYH(cid:3)WKDW(cid:3)HDFK
SURJUDP“V(cid:3)IHHV(cid:3)VKRXOG(cid:3)UHDVRQDEO\(cid:3)UHIOHFW(cid:3)WKH(cid:3)EUDQFK“V(cid:3)SODQQHG
H[SHQGLWXUHV(cid:17)(cid:3)(cid:3)8VLQJ(cid:3)WKLV(cid:3) VWDQGDUG(cid:15)(cid:3) ZH(cid:3) IRXQG(cid:3) WKDW(cid:15)(cid:3) DOWKRXJK
ERWK(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)WKH(cid:3)QHZERUQ(cid:3)WHVWLQJ(cid:3)IHHV(cid:3)H[FHHGHG(cid:3)FRVWV
LQ(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:15)(cid:3)RQO\(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)QHHGV(cid:3)WR(cid:3)EH
UHGXFHG(cid:3)EHFDXVH(cid:3)ZH(cid:3)H[SHFW(cid:3)WKDW(cid:3)LW(cid:3)ZLOO(cid:3)FRQWLQXH(cid:3)WR(cid:3)VLJQLILFDQWO\
H[FHHG(cid:3)UHODWHG(cid:3)FRVWV(cid:3)LQ(cid:3)WKH(cid:3)IRUHVHHDEOH(cid:3)IXWXUH(cid:17)
(cid:23)(cid:20)
:H(cid:3)UHFRJQL]H(cid:3)WKH(cid:3)GLIILFXOWLHV(cid:3)WKH(cid:3)EUDQFK(cid:3)IDFHG(cid:3)LQ(cid:3)FDOFXODWLQJ(cid:3)WKH
IHH(cid:3)IRU(cid:3)WKH(cid:3)H[SDQGHG(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ(cid:3)SURJUDP(cid:15)(cid:3)DQG(cid:3)ZH(cid:3)GR
QRW(cid:3)WDNH(cid:3)LVVXH(cid:3)ZLWK(cid:3)WKH(cid:3)DVVXPSWLRQV(cid:3)WKH(cid:3)EUDQFK(cid:3)XVHG(cid:3)WR(cid:3)FRPSXWH
WKLV(cid:3)IHH(cid:3)QRU(cid:3)ZLWK(cid:3)WKH(cid:3)IDFW(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)KDG(cid:3)QR(cid:3)SDVW(cid:3)KLVWRU\(cid:3)WR
XVH(cid:3)DV(cid:3)D(cid:3)JXLGH(cid:3)ZKHQ(cid:3)VHWWLQJ(cid:3)WKH(cid:3)IHH(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)(cid:3)DV(cid:3)ZH(cid:3)QRWHG(cid:3)LQ
&KDSWHU(cid:3)(cid:20)(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)ODFNV(cid:3)DGHTXDWH(cid:3)SURFHGXUHV(cid:3)IRU(cid:3)PRQLWRULQJ
LWV(cid:3) IHHV(cid:3) EHWZHHQ(cid:3) IHH(cid:16)VHWWLQJ(cid:3) GDWHV(cid:3) DQG(cid:3) LW(cid:3) GLG(cid:3) QRW(cid:3) DGHTXDWHO\
DVVHVV(cid:3)WKH(cid:3)DFFXUDF\(cid:3)RI(cid:3)WKH(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHH(cid:3)RQFH(cid:3)LW(cid:3)ZDV(cid:3)VHW(cid:17)
8QOLNH(cid:3)WKH(cid:3)EUDQFK(cid:15)(cid:3)ZH(cid:3)GLG(cid:3)QRW(cid:3)OLPLW(cid:3)RXU(cid:3)UHYLHZ(cid:3)WR(cid:3)WKH(cid:3)FROOHFWLRQ
RI(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)ELOOLQJV(cid:17)(cid:3)(cid:3)1RQHWKHOHVV(cid:15)(cid:3)ZH(cid:3)TXHVWLRQ(cid:3)WKH
DFFXUDF\(cid:3) RI(cid:3) WKH(cid:3) EUDQFK(cid:10)V(cid:3) DVVHUWLRQV(cid:3) WKDW(cid:3) LW(cid:3) KDV(cid:3) FROOHFWHG
(cid:28)(cid:19)(cid:3)SHUFHQW(cid:3)DQG(cid:3)ZLOO(cid:3)ZULWH(cid:3)RII(cid:3)OHVV(cid:3)WKDQ(cid:3)(cid:20)(cid:19)(cid:3)SHUFHQW(cid:3)RI(cid:3)LWV(cid:3)ILVFDO
\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)SUHQDWDO(cid:3)WHVWLQJ(cid:3)IHHV(cid:17)(cid:3)(cid:3)2XU(cid:3)UHYLHZ(cid:3)RI(cid:3)WKH(cid:3)EUDQFK(cid:10)V
VWDWLVWLFV(cid:3)UHYHDOHG(cid:3)LWV(cid:3)HVWLPDWH(cid:3)LV(cid:3)EDVHG(cid:3)RQ(cid:3)WKH(cid:3)EUDQFK(cid:10)V(cid:3)UHFHLYLQJ
SD\PHQWV(cid:3)IURP(cid:3)0HGL(cid:16)&DO(cid:3)WRWDOLQJ(cid:3)(cid:20)(cid:20)(cid:27)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH(cid:3)DPRXQW
ELOOHG(cid:15)(cid:3)DQ(cid:3)REYLRXV(cid:3)HUURU(cid:17)(cid:3)(cid:3)&RUUHFWLQJ(cid:3)IRU(cid:3)WKLV(cid:3)HUURU(cid:3)DORQH(cid:15)(cid:3)ZH
FDOFXODWH(cid:3)WKDW(cid:3)HYHQ(cid:3)LI(cid:3)WKH(cid:3)EUDQFK(cid:3)UHFHLYHV(cid:3)(cid:20)(cid:19)(cid:19)(cid:3)SHUFHQW(cid:3)RI(cid:3)WKH
DPRXQW(cid:3)LW(cid:3)ELOOHG(cid:3)0HGL(cid:16)&DO(cid:15)(cid:3)LWV(cid:3)RYHUDOO(cid:3)FROOHFWLRQ(cid:3)UDWH(cid:3)ZRXOG(cid:3)EH
RQO\(cid:3)(cid:27)(cid:23)(cid:3)SHUFHQW(cid:17)(cid:3)(cid:3)7KXV(cid:15)(cid:3)ZH(cid:3)HVWLPDWH(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)ZLOO(cid:3)ZULWH
RII(cid:3)DSSUR[LPDWHO\(cid:3)(cid:20)(cid:25)(cid:3)SHUFHQW(cid:3)RI(cid:3)LWV(cid:3)ILVFDO(cid:3)\HDU(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:16)(cid:28)(cid:25)(cid:3)SUHQDWDO
WHVWLQJ(cid:3)IHHV(cid:17)
7KH(cid:3)EUDQFK(cid:3)DVVHUWV(cid:3)WKDW(cid:3)UHTXLULQJ(cid:3)SD\PHQW(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)RI(cid:3)VHUYLFH
FUHDWHV(cid:3)DQ(cid:3)XQQHFHVVDU\(cid:3)EDUULHU(cid:3)WR(cid:3)SDUWLFLSDWLRQ(cid:3)LQ(cid:3)WKH(cid:3)SUHQDWDO
VFUHHQLQJ(cid:3)SURJUDP(cid:3)EXW(cid:3)RIIHUV(cid:3)QR(cid:3)HYLGHQFH(cid:3)WR(cid:3)VXSSRUW(cid:3)LWV(cid:3)FODLP(cid:17)
)XUWKHU(cid:15)(cid:3)ZH(cid:3)GR(cid:3)QRW(cid:3)VXJJHVW(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)UHTXLUH(cid:3)ZRPHQ(cid:3)WR
SD\(cid:3)WKH(cid:3)HQWLUH(cid:3)IHH(cid:3)LQ(cid:3)DGYDQFH(cid:3)RI(cid:3)UHFHLYLQJ(cid:3)SUHQDWDO(cid:3)VFUHHQLQJ
WHVWV(cid:17)(cid:3)(cid:3),QVWHDG(cid:15)(cid:3)ZH(cid:3)UHFRPPHQG(cid:3)WKDW(cid:3)WKH(cid:3)EUDQFK(cid:3)UHTXLUH(cid:3)ZRPHQ
WR(cid:3)VHOHFW(cid:3)D(cid:3)SD\PHQW(cid:3)RSWLRQ(cid:3)DW(cid:3)WKH(cid:3)WLPH(cid:3)RI(cid:3)VHUYLFH(cid:3)DQG(cid:3)WKXV(cid:3)PDNH
D(cid:3) FRPPLWPHQW(cid:3) WR(cid:3) SD\LQJ(cid:3) WKH(cid:3) IHH(cid:17)(cid:3) (cid:3) 3D\PHQW(cid:3) RSWLRQV(cid:3) FRXOG
LQFOXGH(cid:3)SD\LQJ(cid:3)LQ(cid:3)IXOO(cid:15)(cid:3)SD\LQJ(cid:3)E\(cid:3)FUHGLW(cid:3)FDUG(cid:15)(cid:3)RU(cid:3)PDNLQJ(cid:3)D(cid:3)SDUWLDO
SD\PHQW(cid:3) DQG(cid:3) KDYLQJ(cid:3) WKH(cid:3) EUDQFK(cid:3) ELOO(cid:3) SDWLHQWV(cid:3) ODWHU(cid:3) IRU(cid:3) WKHLU
EDODQFHV(cid:17)(cid:3)(cid:3):H(cid:3)GR(cid:3)QRW(cid:3)EHOLHYH(cid:3)WKDW(cid:3)UHTXLULQJ(cid:3)SDWLHQWV(cid:3)WR(cid:3)VHOHFW(cid:3)D
SD\PHQW(cid:3) RSWLRQ(cid:3) DW(cid:3) WKH(cid:3) WLPH(cid:3) RI(cid:3) VHUYLFH(cid:3) FUHDWHV(cid:3) D(cid:3) EDUULHU(cid:3) WR
SDUWLFLSDWLRQ(cid:17)
$OWKRXJK(cid:3) WKH(cid:3) EUDQFK(cid:3) SODQV(cid:3) WR(cid:3) LPSOHPHQW(cid:3) WKHVH
UHFRPPHQGDWLRQV(cid:3) DV(cid:3) SDUW(cid:3) RI(cid:3) LWV(cid:3) QHZ(cid:3) FRPSXWHU(cid:3) DFFRXQWLQJ
V\VWHP(cid:15)(cid:3)WKH(cid:3)6WDWH(cid:3)KDV(cid:3)QRW(cid:3)\HW(cid:3)DSSURYHG(cid:3)WKLV(cid:3)V\VWHP(cid:17)(cid:3)(cid:3)7KHUHIRUH(cid:15)(cid:3)LI
WKH(cid:3) QHZ(cid:3) V\VWHP(cid:3) LV(cid:3) QRW(cid:3) DSSURYHG(cid:3) RU(cid:3) LI(cid:3) LWV(cid:3) LPSOHPHQWDWLRQ(cid:3) LV
VLJQLILFDQWO\(cid:3)GHOD\HG(cid:15)(cid:3)WKH(cid:3)EUDQFK(cid:3)QHHGV(cid:3)WR(cid:3)GHVLJQ(cid:3)SURFHVVHV(cid:3)WR
SHUIRUP(cid:3)WD[(cid:3)RIIVHWV(cid:3)DQG(cid:3)UHIXQG(cid:3)RYHUSD\PHQWV(cid:3)XVLQJ(cid:3)LWV(cid:3)FXUUHQW
V\VWHP(cid:17)
:H(cid:3)DJUHH(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)JHQHUDOO\(cid:3)FRPSOLHG(cid:3)ZLWK(cid:3)WKH(cid:3)DFW
ZKHQ(cid:3)LW(cid:3)DGRSWHG(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:3)EHIRUH(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:17)(cid:3)(cid:3)+RZHYHU(cid:15)
LQ(cid:3)LWV(cid:3)UHVSRQVH(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW(cid:3)IDLOV(cid:3)WR(cid:3)PHQWLRQ(cid:3)WKDW(cid:3)LW(cid:3)GLG(cid:3)QRW
FRPSOHWH(cid:3) WKH(cid:3) SXEOLF(cid:3) KHDULQJ(cid:3) SURFHVV(cid:3) ZKHQ(cid:3) UHTXLUHG(cid:3) IRU
UHJXODWLRQV(cid:3)DGRSWHG(cid:3)LQ(cid:3)-XQH(cid:3)(cid:20)(cid:28)(cid:28)(cid:25)(cid:17)(cid:3)(cid:3)$GGLWLRQDOO\(cid:15)(cid:3)WKH(cid:3)GHSDUWPHQW
(cid:23)(cid:21)
IDLOV(cid:3)WR(cid:3)DFNQRZOHGJH(cid:3)WKDW(cid:3)LW(cid:3)KDG(cid:3)QRW(cid:3)\HW(cid:3)DGRSWHG(cid:3)UHJXODWLRQV
ZKHQ(cid:3)LW(cid:3)LQFUHDVHG(cid:3)ERWK(cid:3)WKH(cid:3)SUHQDWDO(cid:3)DQG(cid:3)QHZERUQ(cid:3)VFUHHQLQJ(cid:3)IHHV
LQ(cid:3) -DQXDU\(cid:3) (cid:20)(cid:28)(cid:28)(cid:23)(cid:3) DQG(cid:3) LPSOHPHQWHG(cid:3) FKDQJHV(cid:3) WR(cid:3) WKH(cid:3) SUHQDWDO
VFUHHQLQJ(cid:3)SURJUDP(cid:3)LQ(cid:3)-XO\(cid:3)(cid:20)(cid:28)(cid:28)(cid:24)(cid:17)
:H(cid:3)DJUHH(cid:3)WKDW(cid:3)WKH(cid:3)GHSDUWPHQW(cid:10)V(cid:3)SURJUDP(cid:3)DQG(cid:3)OHJDO(cid:3)VWDII(cid:3)VSHQG(cid:3)D
FRQVLGHUDEOH(cid:3)DPRXQW(cid:3)RI(cid:3)WLPH(cid:3)DQG(cid:3)HIIRUW(cid:3)DGRSWLQJ(cid:3)UHJXODWLRQV(cid:17)
+RZHYHU(cid:15)(cid:3)WKH(cid:3)UHYLHZ(cid:3)E\(cid:3)WKH(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)LV
LPSRUWDQW(cid:3) EHFDXVH(cid:3) LW(cid:3) SURYLGHV(cid:3) DQ(cid:3) REMHFWLYH(cid:3) ORRN(cid:3) DW(cid:3) WKH
GHSDUWPHQW(cid:10)V(cid:3)UHJXODWLRQV(cid:30)(cid:3)VXFK(cid:3)REMHFWLYLW\(cid:3)FDQQRW(cid:3)EH(cid:3)REWDLQHG
IURP(cid:3)LQWHUQDO(cid:3)SURJUDP(cid:3)DQG(cid:3)OHJDO(cid:3)VWDII(cid:17)(cid:3)(cid:3)0RUHRYHU(cid:15)(cid:3)ZH(cid:3)IRXQG(cid:3)WKDW
WKH(cid:3)2IILFH(cid:3)RI(cid:3)$GPLQLVWUDWLYH(cid:3)/DZ(cid:3)GRHV(cid:3)QRW(cid:3)VLJQLILFDQWO\(cid:3)GHOD\(cid:3)RU
DUELWUDULO\(cid:3)GHQ\(cid:3)HPHUJHQF\(cid:3)UHJXODWLRQV(cid:17)
$OWKRXJK(cid:3) WKH(cid:3) EUDQFK(cid:3) UHFRJQL]HV(cid:3) WKH(cid:3) QHHG(cid:3) WR(cid:3) DQDO\]H(cid:3) WKH
UHDVRQDEOHQHVV(cid:3)RI(cid:3)WKH(cid:3)IHHV(cid:15)(cid:3)LW(cid:3)KDV(cid:3)QRW(cid:3)HPEUDFHG(cid:3)WKH(cid:3)FRQFHSW(cid:3)WKDW
WKH(cid:3)IHHV(cid:3)VXSSRUW(cid:3)WZR(cid:3)VHSDUDWH(cid:3)DQG(cid:3)GLVWLQFW(cid:3)SURJUDPV(cid:17)(cid:3)(cid:3)%HFDXVH
WKHVH(cid:3) SURJUDPV(cid:3) DUH(cid:3) VHSDUDWH(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) VKRXOG(cid:3) DQDO\]H
UHJXODUO\(cid:3)WKH(cid:3)UHYHQXH(cid:3)DQG(cid:3)FRVW(cid:3)RI(cid:3)HDFK(cid:3)SURJUDP(cid:3)WR(cid:3)GHWHUPLQH(cid:3)WKH
UHDVRQDEOHQHVV(cid:3) RI(cid:3) HDFK(cid:3) IHH(cid:17)(cid:3) (cid:3) %\(cid:3) GRLQJ(cid:3) VR(cid:15)(cid:3) WKH(cid:3) EUDQFK(cid:3) ZLOO
HQVXUH(cid:3)WKDW(cid:3)UHYHQXH(cid:3)IURP(cid:3)HDFK(cid:3)WHVW(cid:3)LV(cid:3)DGHTXDWH(cid:3)WR(cid:3)FRYHU(cid:3)LWV(cid:3)FRVWV
DQG(cid:3)WKDW(cid:3)QHLWKHU(cid:3)IHH(cid:3)VXEVLGL]HV(cid:3)WKH(cid:3)FRVWV(cid:3)RI(cid:3)WKH(cid:3)RWKHU(cid:17)
(cid:23)(cid:22)
cc: Members of the Legislature
Office of the Lieutenant Governor
Attorney General
State Controller
Legislative Analyst
Assembly Office of Research
Senate Office of Research
Assembly Majority/Minority Consultants
Senate Majority/Minority Consultants
Capitol Press Corps