====== How to work with summary statistics on NORSTORE ======

[[https://github.com/precimed/python_convert/blob/master/sumstats_convert.py|sumstats_convert.py]] script can be used to:
  * read raw summary statistics and convert them into a tab-separated file with standard column names ('PVAL', 'SNP', 'CHR', 'BP', etc).
  * read standardized summary statistics file, align it with 2M or 9M SNP template, and save in matlab format
  * lift CHR:POS across different genomic builds, and lift RS numbers to newer version of NCBI SNPdb database.

The following script runs the first step with all summary stats that we have currently have a norstore.

<code>
set GWAS_SUMSTAT=H:\GWAS_SUMSTAT
python sumstats_convert.py csv %GWAS_SUMSTAT%\CHARGE_COG_2015\CHARGE_general_cognitive_function_summary_results.gz CHARGE_COG_2015.csv                             --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\CHARGE_COG_2015_lifted\lifted_CHARGE_general_cognitive_function_summary_results.gz CHARGE_COG_2015_lifted.csv --auto --force --head 5 --snp new_ID
python sumstats_convert.py csv %GWAS_SUMSTAT%\COGENT_COG_2017\cogent.hrc.35.meta.analysis.ml.2017.filtered.meta.gz COGENT_COG_2017.csv                             --auto --force --head 5 --chrpos MarkerName --n TotalSample --info INFO} 
python sumstats_convert.py csv %GWAS_SUMSTAT%\COGENT_COG_2017_noCHARGE\cogent.hrc.30a.meta.analysis.ml.2017.filtered.meta.gz COGENT_COG_2017_noCHARGE.csv --auto --force --head 5 --chrpos MarkerName --n TotalSample
python sumstats_convert.py csv %GWAS_SUMSTAT%\DIAGRAM_T2D_2012\DIAGRAMv3.2012DEC17.txt.gz DIAGRAM_T2D_2012.csv --auto --force --head 5                            --ncas N_CASES --ncon N_CONTROLS
python sumstats_convert.py csv %GWAS_SUMSTAT%\DIAGRAM_T2D_2016\DIAGRAMmeta_Fuchsberger2016.txt.gz DIAGRAM_T2D_2016.csv --auto --force --head 5                    --n EffN --frq Freq1 
python sumstats_convert.py csv %GWAS_SUMSTAT%\ENIGMA_HIPPOCAMPUS_2013_noPGC_noGC\ENIGMA_SE_noGC_Mhippo_Jun26_1.final.gz ENIGMA_HIPPOCAMPUS_2013_noPGC_noGC.csv --auto --force --head 5 --chrpos MarkerName --snp RSNUMBERS --n TotalSampleSize --beta Effect1 --frq Freq1                     
python sumstats_convert.py csv %GWAS_SUMSTAT%\ENIGMA_ICV_2013_noPGC_noGC\ENIGMA_SE_noGC_ICV_Oct2_1.final.gz ENIGMA_ICV_2013_noPGC_noGC.csv --auto --force --head 5 --chrpos MarkerName --snp RSNUMBERS --n TotalSampleSize --beta Effect1 --frq Freq1             python sumstats_convert.py csv %GWAS_SUMSTAT%\ENIGMA_PALLIDUM_2013_noPGC_noGC\ENIGMA_SE_noGC_Mpal_Jun26_1.final.gz ENIGMA_PALLIDUM_2013_noPGC_noGC.csv --auto --force --head 5 --chrpos MarkerName --snp RSNUMBERS --n TotalSampleSize --beta Effect1 --frq Freq1
python sumstats_convert.py csv %GWAS_SUMSTAT%\ENIGMA_PUTAMEN_2013_noPGC_noGC\ENIGMA_SE_noGC_Mput_Jun26_1.final.gz ENIGMA_PUTAMEN_2013_noPGC_noGC.csv --auto --force --head 5 --chrpos MarkerName --snp RSNUMBERS --n TotalSampleSize --beta Effect1 --frq Freq1
python sumstats_convert.py csv %GWAS_SUMSTAT%\GIANT_BMI_2015_EUR\SNP_gwas_mc_merge_nogc.tbl.uniq.gz GIANT_BMI_2015_EUR.csv --auto --force --head 5 --frq Freq1.Hapmap
python sumstats_convert.py csv %GWAS_SUMSTAT%\GIANT_WHR_2015_EUR\GIANT_2015_WHR_COMBINED_EUR.txt.gz GIANT_WHR_2015_EUR.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\IGAP_AD_2013\IGAP_stage_1.txt.gz IGAP_AD_2013.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\LIPIDS_HDL_2013\jointGwasMc_HDL.txt.gz LIPIDS_HDL_2013.csv --auto --force --head 5 --chrpos SNP_hg19
python sumstats_convert.py csv %GWAS_SUMSTAT%\LIPIDS_LDL_2013\jointGwasMc_LDL.txt.gz LIPIDS_LDL_2013.csv --auto --force --head 5 --chrpos SNP_hg19
python sumstats_convert.py csv %GWAS_SUMSTAT%\LIPIDS_TG_2013\jointGwasMc_TG.txt.gz LIPIDS_TG_2013.csv --auto --force --head 5 --chrpos SNP_hg19
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_ADHD_2012\pgc.adhd.full.2012-10.txt.gz PGC_ADHD_2012.csv --auto --force --head 5 --chr hg18chr
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_BIP_2016\daner_PGC_BIP32b_summary_mds7a.gz PGC_BIP_2016.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_SCZ_2014\scz2.snp.results.txt.gz PGC_SCZ_2014.csv --auto --force --head 5 --chr hg19chrc
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_SCZ_2014_meta36_noPGC2BIP\PGC_SCZ_2014_meta36_noPGC2BIP.tbl.gz PGC_SCZ_2014_meta36_noPGC2BIP.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_SCZ_2014_meta49_noCHARGE\PGC_SCZ_2014_meta49_noCHARGE.TBL.gz PGC_SCPGC_SCZ_2014_meta49_noCHARGEZ_2014.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\SSGAC_EDU_2016\EduYears_Main.txt.gz SSGAC_EDU_2016.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\SSGAC_COLLEGE_2013\SSGAC_College_Rietveld2013_publicrelease.txt.gz SSGAC_COLLEGE_2013.csv --head 5 --force --auto
python sumstats_convert.py csv %GWAS_SUMSTAT%\SSGAC_EDU_2013\SSGAC_EduYears_Rietveld2013_publicrelease.txt.gz SSGAC_EDU_2013.csv --head 5 --force --auto
python sumstats_convert.py csv %GWAS_SUMSTAT%\UKB_COLLEGE_2016\Davies2016_UKB_college_summary_results_22072016.txt.gz UKB_COLLEGE_2016.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\UKB_MEMORY_2016\Davies2016_UKB_Memory_summary_results_22072016.txt.gz UKB_MEMORY_2016.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\UKB_RT_2016\Davies2016_UKB_Reaction_time_summary_results_22072016.txt.gz UKB_RT_2016.csv --auto --force --head 5
python sumstats_convert.py csv %GWAS_SUMSTAT%\NORMENT_BIP_2017_TOP9\daner_NORMENT_BIP_morePC_sts_no45.gz NORMENT_BIP_2017_TOP9.csv --auto --force --head 5
python sumstats_convert.py csv  %GWAS_SUMSTAT%\CTG_IQ_2017\iq.txt.gz CTG_IQ_2017.csv --auto --force --head 5 --a1 ref --a2 alt
python sumstats_convert.py csv %GWAS_SUMSTAT%\PGC_BIP_2012\pgc.bip.full.2012-04.txt.gz PGC_BIP_2012.csv --auto --force --head 5 --chr hg18chr

python sumstats_convert.py lift /mnt/h/NORSTORE/GWAS_SUMSTAT/STD/PGC_BIP_2012.csv.gz PGC_BIP_2012_hg19_b149.csv --force --gzip --snp-chrpos b149_SNPChrPosOnRef_105.bcp.gz --snp-history SNPHistory.bcp.gz --rs-merge-arch RsMergeArch.bcp.gz --chain-file pyliftover/hg18ToHg19.over.chain.gz
</code>