RE: st: RE: First-stage F from -xtivreg- versus AP F

["Schaffer, Mark E" <M.E.Schaffer@hw.ac.uk>]

Diego,

> -----Original Message-----
> From: owner-statalist@hsphsun2.harvard.edu [mailto:owner-
> statalist@hsphsun2.harvard.edu] On Behalf Of David Torres
> Sent: 21 January 2014 15:09
> To: statalist@hsphsun2.harvard.edu
> Subject: RE: st: RE: First-stage F from -xtivreg- versus AP F
> 
> Okay, so in a more complex model that includes interactions between my
> single endogenous regressor and race dummies, I treat the interactions are
> additional endogenous regressors and create additional instruments of
> interactions as well.  In that case of multiple endogenous regressors, my
> regular Fs are distinct from my AP Fs.  For example, I have this abbreviated
> output from -xtoverid, nois- in that model:
> 
> 
> Summary results for first-stage regressions
> -------------------------------------------
> 
>                                            (Underid)            (Weak id)
> Variable     | F(  8, 27776)  P-val | AP Chi-sq(  5) P-val | AP F(  5, 27776)
> __00000I     |    1518.93    0.0000 |     2206.80   0.0000 |      440.50
> __00000K     |    1151.70    0.0000 |     3198.87   0.0000 |      638.53
> __00000M     |    1088.61    0.0000 |     3021.67   0.0000 |      603.16
> __00000O     |    1549.97    0.0000 |     9365.74   0.0000 |     1869.51
> 
> 
> I want the second column of Fs.  The first F is for the endogenous regressor
> alone.  The three others are, in order, endogXblack, endogXhispanic, and
> endogXotherrace.

Actually, probably not.  In the case of multiple endogenous regressors, the standard first-stage F stat for a single first-stage regression doesn't tell you about whether or not the equation is identified.  For that you either need the Cragg-Donald statistic in the footer of the ivreg2 main equation output for a test of whether the entire equation is weakly identified or not, or the Angrist-Pischke F stat or the recent extension by Sanderson-Windmeijer (link here: http://www.cemmap.ac.uk/wps/cwp581313.pdf) for a test of whether a coefficient in particular is weakly identified.

The explanation of why the standard first-stage stat is insufficient is in the Angrist-Pischke book, and briefly also in the -ivreg2- help file and in the associated Baum-Schaffer-Stillman 2007 Stata Journal paper (in the help file references section). 

> 
> In the case of a single endogenous regressor, F and AP-F are the same.  In
> the case of multiple endogenous regressors, no so.
> 
> One final thing.  I, too, wondered about the large F.  Is that normal?  I've
> never seen an F that large in the literature.  Perhaps my instruments are just
> super duper strong. ??

That worried me too.  My guess is that you have a huge outlier lurking somewhere.  Maybe someone else has some ideas on this.

HTH,
Mark

> 
> Thanks again,
> Diego
> 
> ----------------------------------------
> > From: M.E.Schaffer@hw.ac.uk
> > To: statalist@hsphsun2.harvard.edu
> > Subject: st: RE: First-stage F from -xtivreg- versus AP F
> > Date: Tue, 21 Jan 2014 14:54:51 +0000
> >
> > Diego,
> >
> > In your case you have a single endogenous regressor, which means the
> standard diagnostic first-stage F and the Angrist-Pischke first-stage F are the
> same number.
> >
> > So if you wade through the output of -xtoverid,noi-, you'll find this under
> the first-stage estimation:
> >
> >> F test of excluded instruments:
> >> F( 2, 27825) = 3528.57
> >> Prob> F = 0.0000
> >> Angrist-Pischke multivariate F test of excluded instruments:
> >> F( 2, 27825) = 3528.57
> >> Prob> F = 0.0000
> >
> > And then in the main regression output of -xtoverid,noi-, where the -
> xtivreg- results are replicated, you'll find this:
> >
> >> Weak identification test
> >> Ho: equation is weakly identified
> >> Cragg-Donald Wald F statistic 3528.57
> >
> > and this:
> >
> >> Weak identification test (Cragg-Donald Wald F statistic): 3528.573
> >
> > So your first-stage F stat is 3528.57. Looks a bit large to me, but that's the
> number you are looking for.
> >
> > HTH,
> > Mark
> >
> >> -----Original Message-----
> >> From: owner-statalist@hsphsun2.harvard.edu [mailto:owner-
> >> statalist@hsphsun2.harvard.edu] On Behalf Of David Torres
> >> Sent: 21 January 2014 14:29
> >> To: statalist@hsphsun2.harvard.edu
> >> Subject: st: First-stage F from -xtivreg- versus AP F
> >>
> >> Statalisters,
> >>
> >> I'm using -xtivreg- to estimate a 2SLS random effects model in Stata 13.0.
> áI'm
> >> needing help getting the first stage F statistic in addition to the Angrist-
> >> Pischke F I can get from the postestimation command -xtoverid- (more on
> >> this below).
> >>
> >> . which xtivreg
> >> /Applications/Stata/ado/base/x/xtivreg.ado
> >> *! version 1.6.2 á14apr2011
> >>
> >> . which xtoverid
> >> /Users/diego/Library/Application Support/Stata/ado/plus/x/xtoverid.ado
> >> *! xtoverid version 2.1.6 á 2Nov2011
> >> *! Authors Mark Schaffer and Steve Stillman
> >> *! Derived from overidxt and overid
> >>
> >>
> >> Here is the most basic conditional model in which I am regressing vertically
> >> scaled reading scores on year and year-squared. áThe endogenous
> regressor,
> >> diffsch, denotes whether a student attended an out-of-zone magnet
> school.
> >> It is instrumented with the log difference in distance between the zoned
> >> school and the nearest magnet school and the log distance to the enrolled
> >> school:
> >>
> >> . xtivreg srsc year yearsq (diffsch=diffdist dist_enrld), re first
> >>
> >>
> >> First-stage G2SLS regression
> >> á á á á á á á á á á á á á á á á á á á á á á á á áNumber of obs á á= á á á27830
> >> á á á á á á á á á á á á á á á á á á á á á á á á áWald chi(4) á á á= á á á 7182
> >> á á á á á á á á á á á á á á á á á á á á á á á á áProb> chi2 á á á= á á 0.0000
> >> ------------------------------------------------------------------------------
> >> á á ádiffsch | á á áCoef. á Std. Err. á á áz á áP>|z| á á [95% Conf. Interval]
> >> -------------+----------------------------------------------------------------
> >> á á á á year | á .0010897 á .0023365 á á 0.47 á 0.641 á á-.0034898 á
> á.0056692
> >> á á á yearsq | á .0009441 á .0005764 á á 1.64 á 0.101 á á-.0001858 á
> á.0020739
> >> á á diffdist | á á.004433 á á.001686 á á 2.63 á 0.009 á á .0011284 á á.0077376
> >> á dist_enrld | á á.162999 á .0019443 á á83.84 á 0.000 á á .1591883 á
> á.1668097
> >> á á á á_cons | á .1364031 á .0035329 á á38.61 á 0.000 á á .1294787 á
> á.1433274
> >> ------------------------------------------------------------------------------
> >>
> >> G2SLS random-effects IV regression á á á á á á áNumber of obs á á á= á á
> 27830
> >> Group variable: short_id á á á á á á á á á á á áNumber of groups á = á á
> á6168
> >>
> >> R-sq: áwithin á= 0.8770 á á á á á á á á á á á á Obs per group: min = á á á á 3
> >> á á á ábetween = 0.2215 á á á á á á á á á á á á á á á á á á á áavg = á á á 4.5
> >> á á á áoverall = 0.6533 á á á á á á á á á á á á á á á á á á á ámax = á á á á 5
> >>
> >> á á á á á á á á á á á á á á á á á á á á á á á á Wald chi2(3) á á á = 154192.94
> >> corr(u_i, X) á á á = 0 (assumed) á á á á á á á áProb> chi2 á á á á= á á0.0000
> >>
> >> ------------------------------------------------------------------------------
> >> á á á á srsc | á á áCoef. á Std. Err. á á áz á áP>|z| á á [95% Conf. Interval]
> >> -------------+----------------------------------------------------------------
> >> á á ádiffsch | á 9.999284 á 1.941415 á á 5.15 á 0.000 á á á6.19418 á
> á13.80439
> >> á á á á year | á 74.19692 á .3811099 á 194.69 á 0.000 á á 73.44996 á
> á74.94389
> >> á á á yearsq | á-7.926549 á .0940278 á -84.30 á 0.000 á á -8.11084 á -
> 7.742258
> >> á á á á_cons | á 475.1334 á .6555358 á 724.80 á 0.000 á á 473.8486 á
> á476.4182
> >> -------------+----------------------------------------------------------------
> >> á á ásigma_u | á37.264026
> >> á á ásigma_e | á25.567877
> >> á á á á árho | á.67991546 á (fraction of variance due to u_i)
> >> ------------------------------------------------------------------------------
> >> Instrumented: á diffsch
> >> Instruments: á áyear yearsq diffdist dist_enrld
> >> ------------------------------------------------------------------------------
> >>
> >>
> >> Now I would like to get the first stage F-statistic, but the first option above
> >> does not appear to give it. áIf I use the postestimation command -
> xtoverid-
> >> with the noisily option, as shown below, I do get the Angrist-Pischke F,
> but in
> >> my write-up I'd like to show the regular F-stat to test joint significance of
> the
> >> instruments.
> >>
> >> . áxtoverid, nois
> >>
> >> First-stage regressions
> >> -----------------------
> >>
> >> First-stage regression of __00000I:
> >>
> >> OLS estimation
> >> --------------
> >>
> >> Estimates efficient for homoskedasticity only
> >> Statistics consistent for homoskedasticity only
> >>
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á Number of obs = á á27830
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á F( á5, 27825) = á2097.56
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á Prob> F á á á= á 0.0000
> >> Total (centered) SS á á = á875.5555503 á á á á á á á áCentered R2 á = á
> 0.2037
> >> Total (uncentered) SS á = á960.0415225 á á á á á á á áUncentered R2 = á
> 0.2737
> >> Residual SS á á á á á á = á697.2383726 á á á á á á á áRoot MSE á á á= á
> á.1583
> >>
> >> ------------------------------------------------------------------------------
> >> á á __00000I | á á áCoef. á Std. Err. á á át á áP>|t| á á [95% Conf. Interval]
> >> -------------+----------------------------------------------------------------
> >> á á __00000R | á .0010897 á .0023365 á á 0.47 á 0.641 á á á-.00349 á
> á.0056694
> >> á á __00000U | á .0009441 á .0005764 á á 1.64 á 0.101 á á-.0001858 á
> á.0020739
> >> á á __00000E | á .1364031 á .0035329 á á38.61 á 0.000 á á .1294784 á
> á.1433277
> >> á á __00000L | á á.004433 á á.001686 á á 2.63 á 0.009 á á .0011283 á
> á.0077377
> >> á á __00000O | á á.162999 á .0019443 á á83.84 á 0.000 á á .1591881 á
> á.1668098
> >> ------------------------------------------------------------------------------
> >> Included instruments: __00000R __00000U __00000E __00000L __00000O
> >> ------------------------------------------------------------------------------
> >> F test of excluded instruments:
> >> á F( á2, 27825) = á3528.57
> >> á Prob> F á á á= á 0.0000
> >> Angrist-Pischke multivariate F test of excluded instruments:
> >> á F( á2, 27825) = á3528.57
> >> á Prob> F á á á= á 0.0000
> >>
> >>
> >>
> >> Summary results for first-stage regressions
> >> -------------------------------------------
> >>
> >> á á á á á á á á á á á á á á á á á á á á á á(Underid) á á á á á á(Weak id)
> >> Variable á á | F( á2, 27825) áP-val | AP Chi-sq( á2) P-val | AP F( á2, 27825)
> >> __00000I á á | á á3528.57 á á0.0000 | á á 7058.41 á 0.0000 | á á 3528.57
> >>
> >> Stock-Yogo weak ID test critical values for single endogenous regressor:
> >> á á á á á á á á á á á á á á á á á á10% maximal IV size á á á á á á 19.93
> >> á á á á á á á á á á á á á á á á á á15% maximal IV size á á á á á á 11.59
> >> á á á á á á á á á á á á á á á á á á20% maximal IV size á á á á á á á8.75
> >> á á á á á á á á á á á á á á á á á á25% maximal IV size á á á á á á á7.25
> >> Source: Stock-Yogo (2005). áReproduced by permission.
> >>
> >> Underidentification test
> >> Ho: matrix of reduced form coefficients has rank=K1-1 (underidentified)
> >> Ha: matrix has rank=K1 (identified)
> >> Anderson canon. corr. LM statistic á á á Chi-sq(2)=5630.40 áP-val=0.0000
> >>
> >> Weak identification test
> >> Ho: equation is weakly identified
> >> Cragg-Donald Wald F statistic á á á á á á á á á á á á á á á á á á3528.57
> >>
> >> Stock-Yogo weak ID test critical values for K1=1 and L1=2:
> >> á á á á á á á á á á á á á á á á á á10% maximal IV size á á á á á á 19.93
> >> á á á á á á á á á á á á á á á á á á15% maximal IV size á á á á á á 11.59
> >> á á á á á á á á á á á á á á á á á á20% maximal IV size á á á á á á á8.75
> >> á á á á á á á á á á á á á á á á á á25% maximal IV size á á á á á á á7.25
> >> Source: Stock-Yogo (2005). áReproduced by permission.
> >>
> >> Weak-instrument-robust inference
> >> Tests of joint significance of endogenous regressors B1 in main equation
> >> Ho: B1=0 and orthogonality conditions are valid
> >> Anderson-Rubin Wald test á á á á á F(2,27825)= á á13.53 á á P-val=0.0000
> >> Anderson-Rubin Wald test á á á á á Chi-sq(2)= á á 27.06 á á P-val=0.0000
> >> Stock-Wright LM S statistic á á á áChi-sq(2)= á á 27.03 á á P-val=0.0000
> >>
> >> Number of observations á á á á á á á N á= á á á27830
> >> Number of regressors á á á á á á á á K á= á á á á á4
> >> Number of endogenous regressors á á áK1 = á á á á á1
> >> Number of instruments á á á á á á á áL á= á á á á á5
> >> Number of excluded instruments á á á L1 = á á á á á2
> >>
> >> IV (2SLS) estimation
> >> --------------------
> >>
> >> Estimates efficient for homoskedasticity only
> >> Statistics consistent for homoskedasticity only
> >>
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á Number of obs = á á27830
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á F( á4, 27826) = á3.6e+05
> >> á á á á á á á á á á á á á á á á á á á á á á á á á á á Prob> F á á á= á 0.0000
> >> Total (centered) SS á á = á122387579.2 á á á á á á á áCentered R2 á = á
> 0.8485
> >> Total (uncentered) SS á = á976762125.4 á á á á á á á áUncentered R2 = á
> 0.9810
> >> Residual SS á á á á á á = á18546537.84 á á á á á á á áRoot MSE á á á= á
> á25.82
> >>
> >> ------------------------------------------------------------------------------
> >> á á __00000G | á á áCoef. á Std. Err. á á áz á áP>|z| á á [95% Conf. Interval]
> >> -------------+----------------------------------------------------------------
> >> á á __00000I | á 9.999284 á 1.941276 á á 5.15 á 0.000 á á 6.194454 á
> á13.80412
> >> á á __00000R | á 74.19692 á .3810826 á 194.70 á 0.000 á á 73.45002 á
> á74.94383
> >> á á __00000U | á-7.926549 á á.094021 á -84.31 á 0.000 á á-8.110827 á -
> 7.742271
> >> á á __00000E | á 475.1334 á .6554887 á 724.85 á 0.000 á á 473.8487 á
> á476.4181
> >> ------------------------------------------------------------------------------
> >> Underidentification test (Anderson canon. corr. LM statistic): á á á
> á5630.398
> >> á á á á á á á á á á á á á á á á á á á á á á á á á áChi-sq(2) P-val = á á0.0000
> >> ------------------------------------------------------------------------------
> >> Weak identification test (Cragg-Donald Wald F statistic): á á á á á á
> 3528.573
> >> Stock-Yogo weak ID test critical values: 10% maximal IV size á á á á á á
> 19.93
> >> á á á á á á á á á á á á á á á á á á á á á15% maximal IV size á á á á á á 11.59
> >> á á á á á á á á á á á á á á á á á á á á á20% maximal IV size á á á á á á á8.75
> >> á á á á á á á á á á á á á á á á á á á á á25% maximal IV size á á á á á á á7.25
> >> Source: Stock-Yogo (2005). áReproduced by permission.
> >> ------------------------------------------------------------------------------
> >> Sargan statistic (overidentification test of all instruments): á á á á á 0.577
> >> á á á á á á á á á á á á á á á á á á á á á á á á á áChi-sq(1) P-val = á á0.4474
> >> ------------------------------------------------------------------------------
> >> Instrumented: á á á á __00000I
> >> Included instruments: __00000R __00000U __00000E
> >> Excluded instruments: __00000L __00000O
> >> ------------------------------------------------------------------------------
> >>
> >> Test of overidentifying restrictions:
> >> Cross-section time-series model: xtivreg g2sls
> >> Sargan-Hansen statistic á 0.577 áChi-sq(1) á áP-value = 0.4474
> >>
> >>
> >> Can anyone tell me how to get what I want, the regular first stage F-stat,
> >> from all this? áI'd very much appreciate your help.
> >>
> >> Thanks for your consideration, folks,
> >> Diego Torres
> >> *
> >> * For searches and help try:
> >> * http://www.stata.com/help.cgi?search
> >> * http://www.stata.com/support/faqs/resources/statalist-faq/
> >> * http://www.ats.ucla.edu/stat/stata/
> >
> >
> > -----
> > Sunday Times Scottish University of the Year 2011-2013
> > Top in the UK for student experience
> > Fourth university in the UK and top in Scotland (National Student Survey
> 2012)
> >
> > We invite research leaders and ambitious early career researchers to
> > join us in leading and driving research in key inter-disciplinary themes.
> > Please see www.hw.ac.uk/researchleaders for further information and
> how
> > to apply.
> >
> > Heriot-Watt University is a Scottish charity
> > registered under charity number SC000278.
> >
> >
> > *
> > * For searches and help try:
> > * http://www.stata.com/help.cgi?search
> > * http://www.stata.com/support/faqs/resources/statalist-faq/
> > * http://www.ats.ucla.edu/stat/stata/
> 
> *
> *   For searches and help try:
> *   http://www.stata.com/help.cgi?search
> *   http://www.stata.com/support/faqs/resources/statalist-faq/
> *   http://www.ats.ucla.edu/stat/stata/


----- 
Sunday Times Scottish University of the Year 2011-2013
Top in the UK for student experience
Fourth university in the UK and top in Scotland (National Student Survey 2012)

We invite research leaders and ambitious early career researchers to 
join us in leading and driving research in key inter-disciplinary themes. 
Please see www.hw.ac.uk/researchleaders for further information and how
to apply.

Heriot-Watt University is a Scottish charity
registered under charity number SC000278.


*
*   For searches and help try:
*   http://www.stata.com/help.cgi?search
*   http://www.stata.com/support/faqs/resources/statalist-faq/
*   http://www.ats.ucla.edu/stat/stata/