Genome Analysis Toolkit

Variant Discovery in High-Throughput Sequencing Data

GATK process banner

Need Help?

Search our documentation

Community Forum

Hi, How can we help?

Developed in the Data Sciences Platform at the Broad Institute, the toolkit offers a wide variety of tools with a primary focus on variant discovery and genotyping. Its powerful processing engine and high-performance computing features make it capable of taking on projects of any size. Learn more

PostprocessGermlineCNVCalls returns error for sample_name.txt file

0

4 comments

  • Avatar
    Gökalp Çelik

    Hi Hatice Kübra Kibar

    Can you check to see if your previous step completed successfully? I am checking a run that I have and looks like both tools create a sample_name.txt file in their respective sample folders. Top folder is from DetermineGermlineContigPloidy and bottom is from GermlineCNVCaller. 

    0
    Comment actions Permalink
  • Avatar
    Hatice Kübra Kibar

    Hi, thank you for your quick response.

    You are right, the output files for GATK GermlineCNVCaller tool are missing (for some reason it did not generate an error in the pipeline). Here is the truncated log file (It is very long since the sequence contig dictionary output logs, but I am pasting the error part):

    OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://www.intel.com/software/products/support/.
    13:15:51.597 INFO  GermlineCNVCaller - Shutting down engine
    [January 7, 2025 at 1:15:51 PM TRT] org.broadinstitute.hellbender.tools.copynumber.GermlineCNVCaller done. Elapsed time: 0.21 minutes.
    Runtime.totalMemory()=2109734912
    org.broadinstitute.hellbender.utils.python.PythonScriptExecutorException: 
    python exited with 134
    Command Line: python /tmp/case_denoising_calling.10730251279194866594.py --ploidy_calls_path=/data/cnv/gatk_cnv/S29_determine_ploidy/S29_determine_ploidy-calls --output_calls_path=/data/cnv/gatk_cnv/cnv_raw/S29_germlinecnvcaller/S29_germlinecnvcaller-calls --output_tracking_path=/data/cnv/gatk_cnv/cnv_raw/S29_germlinecnvcaller/S29_germlinecnvcaller-tracking --input_model_path=/home/hatice/workstation/dbs4_7_dev/hg38_acnv_models/roche_4100_ces/cnv_model/model --random_seed=1984 --read_count_tsv_files /tmp/S29.rc17585420808102314807.tsv --psi_s_scale=1.000000e-04 --mapping_error_rate=1.000000e-02 --depth_correction_tau=1.000000e+04 --q_c_expectation_mode=hybrid --num_samples_copy_ratio_approx=200 --p_alt=1.000000e-06 --cnv_coherence_length=1.000000e+04 --max_copy_number=5 --learning_rate=1.000000e-02 --adamax_beta1=9.000000e-01 --adamax_beta2=9.900000e-01 --log_emission_samples_per_round=50 --log_emission_sampling_rounds=10 --log_emission_sampling_median_rel_error=5.000000e-03 --max_advi_iter_first_epoch=5000 --max_advi_iter_subsequent_epochs=200 --min_training_epochs=10 --max_training_epochs=50 --initial_temperature=1.500000e+00 --num_thermal_advi_iters=2500 --convergence_snr_averaging_window=500 --convergence_snr_trigger_threshold=1.000000e-01 --convergence_snr_countdown_window=10 --max_calling_iters=10 --caller_update_convergence_threshold=1.000000e-03 --caller_internal_admixing_rate=7.500000e-01 --caller_external_admixing_rate=1.000000e+00 --disable_caller=false --disable_sampler=false --disable_annealing=false
        at org.broadinstitute.hellbender.utils.python.PythonExecutorBase.getScriptException(PythonExecutorBase.java:75)
        at org.broadinstitute.hellbender.tools.copynumber.GermlineCNVCaller.doWork(GermlineCNVCaller.java:351)
        at org.broadinstitute.hellbender.cmdline.CommandLineProgram.runTool(CommandLineProgram.java:140)
        at org.broadinstitute.hellbender.cmdline.CommandLineProgram.instanceMainPostParseArgs(CommandLineProgram.java:192)
        at org.broadinstitute.hellbender.cmdline.CommandLineProgram.instanceMain(CommandLineProgram.java:211)
        at org.broadinstitute.hellbender.Main.runCommandLineProgram(Main.java:160)
        at org.broadinstitute.hellbender.Main.mainEntry(Main.java:203)
        at org.broadinstitute.hellbender.Main.main(Main.java:289)
    Using GATK jar /.snakemake/conda/60afddbf3477410829bf5ec83a45f5fc_/share/gatk4-4.3.0.0-0/gatk-package-4.3.0.0-local.jar
    Running:
        java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /.snakemake/conda/60afddbf3477410829bf5ec83a45f5fc_/share/gatk4-4.3.0.0-0/gatk-package-4.3.0.0-local.jar GermlineCNVCaller --run-mode CASE -I data/cnv/gatk_cnv/collect_read_counts/S29.tsv --contig-ploidy-calls data/cnv/gatk_cnv/S29_determine_ploidy/S29_determine_ploidy-calls --model /hg38_acnv_models/roche_4100_ces/cnv_model/model --output data/cnv/gatk_cnv/cnv_raw/S29_germlinecnvcaller --output-prefix S29_germlinecnvcaller --verbosity DEBUG

    2025-01-07 13:15 INFO: Germline CNV caller step completed!

     

    Apparently, this is a python error but gcnvkernel 0.8 requires python 3.6.10, but there is a script error. What do you suggest?

    0
    Comment actions Permalink
  • Avatar
    Gökalp Çelik

    Hi again. 

    There is a python exit code 134 which means SIGABRT issued by the system due to library links. This is probably due to misaligned dependencies in the conda environment of yours. We do not recommend using conda to directly install gatk environment maintained in repositories but manually installing our conda environment using the command below.

    First obtain an updated conda installation /or install miniconda from scratch

    conda update conda

    Then use the below command using the yml file from our zipped distribution file

    conda env create -f gatkcondaenv.yml

    Other means of creating this environment usually ends up installing incorrect/misaligned dependencies that results in such errors. 

    Below is the list of installed dependencies in this environment for version 4.6.0.0 (which still uses python 3.6 and theano)

    # packages in environment at /opt/miniconda/envs/gatk:
    #
    # Name                    Version                   Build  Channel
    _libgcc_mutex             0.1                 conda_forge    conda-forge
    _openmp_mutex             4.5                  2_kmp_llvm    conda-forge
    _r-mutex                  1.0.1               anacondar_1    conda-forge
    _tflow_select             2.3.0                       mkl  
    absl-py                   0.15.0             pyhd8ed1ab_0    conda-forge
    astor                     0.8.1              pyh9f0ad1d_0    conda-forge
    binutils_impl_linux-64    2.36.1               h193b22a_2    conda-forge
    binutils_linux-64         2.36                hf3e587d_33    conda-forge
    biopython                 1.76             py36h516909a_0    conda-forge
    blas                      1.1                    openblas    conda-forge
    bwidget                   1.9.14               ha770c72_1    conda-forge
    bzip2                     1.0.8                hd590300_5    conda-forge
    c-ares                    1.28.1               hd590300_0    conda-forge
    ca-certificates           2024.6.2             hbcca054_0    conda-forge
    cairo                     1.16.0            hcf35c78_1003    conda-forge
    colorama                  0.4.5              pyhd8ed1ab_0    conda-forge
    curl                      7.68.0               hf8cf82a_0    conda-forge
    cycler                    0.11.0             pyhd8ed1ab_0    conda-forge
    dbus                      1.13.6               hfdff14a_1    conda-forge
    dill                      0.3.4              pyhd8ed1ab_0    conda-forge
    expat                     2.6.2                h59595ed_0    conda-forge
    fontconfig                2.14.2               h14ed4e7_0    conda-forge
    freetype                  2.12.1               h267a509_2    conda-forge
    fribidi                   1.0.10               h36c2ea0_0    conda-forge
    gast                      0.2.2                      py_0    conda-forge
    gatkpythonpackages        0.1                      pypi_0    pypi
    gcc_impl_linux-64         7.5.0               habd7529_20    conda-forge
    gcc_linux-64              7.5.0               h47867f9_33    conda-forge
    gettext                   0.22.5               h59595ed_2    conda-forge
    gettext-tools             0.22.5               h59595ed_2    conda-forge
    gfortran_impl_linux-64    7.5.0               h56cb351_20    conda-forge
    gfortran_linux-64         7.5.0               h78c8a43_33    conda-forge
    glib                      2.66.3               h58526e2_0    conda-forge
    google-pasta              0.2.0              pyh8c360ce_0    conda-forge
    graphite2                 1.3.13            h59595ed_1003    conda-forge
    grpcio                    1.38.1           py36h8e87921_0    conda-forge
    gsl                       2.6                  he838d99_2    conda-forge
    gst-plugins-base          1.14.5               h0935bb2_2    conda-forge
    gstreamer                 1.14.5               h36ae1b5_2    conda-forge
    gxx_impl_linux-64         7.5.0               hd0bb8aa_20    conda-forge
    gxx_linux-64              7.5.0               h555fc39_33    conda-forge
    h5py                      2.10.0          nompi_py36h4510012_106    conda-forge
    harfbuzz                  2.4.0                h9f30f68_3    conda-forge
    hdf5                      1.10.6          nompi_h3c11f04_101    conda-forge
    icu                       64.2                 he1b5a44_1    conda-forge
    importlib-metadata        4.8.1            py36h5fab9bb_0    conda-forge
    intel-openmp              2019.4                      243  
    joblib                    1.1.1              pyhd8ed1ab_0    conda-forge
    jpeg                      9e                   h0b41bf4_3    conda-forge
    keras                     2.2.4                    py36_1    conda-forge
    keras-applications        1.0.8                      py_1    conda-forge
    keras-preprocessing       1.1.2              pyhd8ed1ab_0    conda-forge
    kernel-headers_linux-64   2.6.32              he073ed8_17    conda-forge
    kiwisolver                1.3.1            py36h605e78d_1    conda-forge
    krb5                      1.16.4               h2fd8d38_0    conda-forge
    ld_impl_linux-64          2.36.1               hea4e1c9_2    conda-forge
    libasprintf               0.22.5               h661eb56_2    conda-forge
    libasprintf-devel         0.22.5               h661eb56_2    conda-forge
    libblas                   3.9.0           13_linux64_openblas    conda-forge
    libcblas                  3.9.0           13_linux64_openblas    conda-forge
    libclang                  9.0.1           default_hb4e5071_5    conda-forge
    libcurl                   7.68.0               hda55be3_0    conda-forge
    libdeflate                1.20                 hd590300_0    conda-forge
    libedit                   3.1.20191231         he28a2e2_2    conda-forge
    libexpat                  2.6.2                h59595ed_0    conda-forge
    libffi                    3.2.1             he1b5a44_1007    conda-forge
    libgcc-devel_linux-64     7.5.0               hda03d7c_20    conda-forge
    libgcc-ng                 14.1.0               h77fa898_0    conda-forge
    libgettextpo              0.22.5               h59595ed_2    conda-forge
    libgettextpo-devel        0.22.5               h59595ed_2    conda-forge
    libgfortran               3.0.0                         1    conda-forge
    libgfortran-ng            7.5.0               h14aa051_20    conda-forge
    libgfortran4              7.5.0               h14aa051_20    conda-forge
    libglib                   2.66.3               hbe7bbb4_0    conda-forge
    libgomp                   14.1.0               h77fa898_0    conda-forge
    libgpuarray               0.7.6             h7f98852_1003    conda-forge
    libiconv                  1.17                 hd590300_2    conda-forge
    liblapack                 3.9.0           13_linux64_openblas    conda-forge
    libllvm9                  9.0.1           default_hc23dcda_7    conda-forge
    libopenblas               0.3.18               hf726d26_0  
    libpng                    1.6.43               h2797004_0    conda-forge
    libprotobuf               3.18.0               h780b84a_1    conda-forge
    libsqlite                 3.46.0               hde9e2c9_0    conda-forge
    libssh2                   1.10.0               haa6b8db_3    conda-forge
    libstdcxx-devel_linux-64  7.5.0               hb016644_20    conda-forge
    libstdcxx-ng              14.1.0               hc0a3c3a_0    conda-forge
    libtiff                   4.2.0                hf544144_3    conda-forge
    libuuid                   2.38.1               h0b41bf4_0    conda-forge
    libwebp-base              1.4.0                hd590300_0    conda-forge
    libxcb                    1.16                 hd590300_0    conda-forge
    libxkbcommon              0.10.0               he1b5a44_0    conda-forge
    libxml2                   2.9.10               hee79883_0    conda-forge
    libzlib                   1.2.13               h4ab18f5_6    conda-forge
    llvm-openmp               18.1.7               ha31de31_0    conda-forge
    make                      4.3                  hd18ef5c_1    conda-forge
    mako                      1.3.5              pyhd8ed1ab_0    conda-forge
    markdown                  3.6                pyhd8ed1ab_0    conda-forge
    markupsafe                2.0.1            py36h8f6f2f9_0    conda-forge
    matplotlib                3.2.1                         0    conda-forge
    matplotlib-base           3.2.1            py36hb8e4980_0    conda-forge
    mkl                       2019.5                      281    conda-forge
    mkl-service               2.3.0            py36h516909a_0    conda-forge
    ncurses                   6.5                  h59595ed_0    conda-forge
    nspr                      4.35                 h27087fc_0    conda-forge
    nss                       3.100                hca3bf56_0    conda-forge
    numpy                     1.17.5           py36h2aa4a07_1    conda-forge
    openblas                  0.2.20                        8    conda-forge
    openssl                   1.1.1w               hd590300_0    conda-forge
    opt_einsum                3.3.0              pyhc1e730c_2    conda-forge
    pandas                    1.0.3            py36h830a2c2_1    conda-forge
    pango                     1.42.4               h7062337_4    conda-forge
    patsy                     0.5.6              pyhd8ed1ab_0    conda-forge
    pcre                      8.45                 h9c3ff4c_0    conda-forge
    pip                       21.3.1             pyhd8ed1ab_0    conda-forge
    pixman                    0.38.0            h516909a_1003    conda-forge
    protobuf                  3.18.0           py36hc4f0c31_0    conda-forge
    pthread-stubs             0.4               h36c2ea0_1001    conda-forge
    pygpu                     0.7.6           py36h92226af_1002    conda-forge
    pymc3                     3.1                      py36_0    conda-forge
    pyparsing                 3.1.2              pyhd8ed1ab_0    conda-forge
    pyqt                      5.12.3           py36haa643ae_3    conda-forge
    pyqt5-sip                 4.19.18                  pypi_0    pypi
    pyqtchart                 5.12                     pypi_0    pypi
    pyqtwebengine             5.12.1                   pypi_0    pypi
    pysam                     0.15.3           py36hbcae180_3    bioconda
    python                    3.6.10          h8356626_1011_cpython    conda-forge
    python-dateutil           2.8.2              pyhd8ed1ab_0    conda-forge
    python_abi                3.6                     2_cp36m    conda-forge
    pytz                      2023.3.post1       pyhd8ed1ab_0    conda-forge
    pyvcf                     0.6.8           py36h9f0ad1d_1002    conda-forge
    pyyaml                    5.4.1            py36h8f6f2f9_1    conda-forge
    qt                        5.12.5               hd8c4c69_1    conda-forge
    r-assertthat              0.2.1             r36h6115d3f_2    conda-forge
    r-backports               1.1.10            r36hcdcec82_0    conda-forge
    r-base                    3.6.2                h7ed4ef7_1    conda-forge
    r-bitops                  1.0_7             r36hcfec24a_0    conda-forge
    r-brio                    1.1.2             r36hcfec24a_0    conda-forge
    r-callr                   3.7.0             r36hc72bb7e_0    conda-forge
    r-catools                 1.18.2            r36h03ef668_0    conda-forge
    r-cli                     2.5.0             r36hc72bb7e_0    conda-forge
    r-colorspace              2.0_1             r36hcfec24a_0    conda-forge
    r-crayon                  1.4.1             r36hc72bb7e_0    conda-forge
    r-data.table              1.12.8            r36hcdcec82_1    conda-forge
    r-desc                    1.3.0             r36hc72bb7e_0    conda-forge
    r-diffobj                 0.3.4             r36hcfec24a_0    conda-forge
    r-digest                  0.6.27            r36h03ef668_0    conda-forge
    r-dplyr                   0.8.5             r36h0357c0b_1    conda-forge
    r-ellipsis                0.3.2             r36hcfec24a_0    conda-forge
    r-evaluate                0.14              r36h6115d3f_2    conda-forge
    r-fansi                   0.4.2             r36hcfec24a_0    conda-forge
    r-farver                  2.1.0             r36h03ef668_0    conda-forge
    r-gdata                   2.18.0          r36h6115d3f_1003    conda-forge
    r-getopt                  1.20.3                    r36_2    conda-forge
    r-ggplot2                 3.3.0             r36h6115d3f_1    conda-forge
    r-glue                    1.4.2             r36hcfec24a_0    conda-forge
    r-gplots                  3.0.3             r36h6115d3f_1    conda-forge
    r-gsalib                  2.1                    r36_1002    conda-forge
    r-gtable                  0.3.0             r36h6115d3f_3    conda-forge
    r-gtools                  3.8.2             r36hcdcec82_1    conda-forge
    r-isoband                 0.2.4             r36h03ef668_0    conda-forge
    r-jsonlite                1.7.2             r36hcfec24a_0    conda-forge
    r-kernsmooth              2.23_18           r36h7679c2e_0    conda-forge
    r-labeling                0.4.2             r36h142f84f_0    conda-forge
    r-lattice                 0.20_44           r36hcfec24a_0    conda-forge
    r-lifecycle               1.0.0             r36hc72bb7e_0    conda-forge
    r-magrittr                2.0.1             r36hcfec24a_1    conda-forge
    r-mass                    7.3_54            r36hcfec24a_0    conda-forge
    r-matrix                  1.3_3             r36he454529_0    conda-forge
    r-mgcv                    1.8_35            r36he454529_0    conda-forge
    r-munsell                 0.5.0           r36h6115d3f_1003    conda-forge
    r-nlme                    3.1_150           r36h31ca83e_0    conda-forge
    r-optparse                1.6.4             r36h6115d3f_0    conda-forge
    r-pillar                  1.6.1             r36hc72bb7e_0    conda-forge
    r-pkgconfig               2.0.3             r36h6115d3f_1    conda-forge
    r-pkgload                 1.2.1             r36h03ef668_0    conda-forge
    r-plogr                   0.2.0           r36h6115d3f_1003    conda-forge
    r-praise                  1.0.0           r36h6115d3f_1004    conda-forge
    r-processx                3.5.2             r36hcfec24a_0    conda-forge
    r-ps                      1.6.0             r36hcfec24a_0    conda-forge
    r-purrr                   0.3.4             r36hcfec24a_1    conda-forge
    r-r6                      2.5.0             r36hc72bb7e_0    conda-forge
    r-rcolorbrewer            1.1_2           r36h6115d3f_1003    conda-forge
    r-rcpp                    1.0.6             r36h03ef668_0    conda-forge
    r-rematch2                2.1.2             r36h6115d3f_1    conda-forge
    r-rlang                   0.4.11            r36hcfec24a_0    conda-forge
    r-rprojroot               2.0.2             r36hc72bb7e_0    conda-forge
    r-rstudioapi              0.13              r36hc72bb7e_0    conda-forge
    r-scales                  1.1.1             r36h6115d3f_0    conda-forge
    r-testthat                3.0.2             r36h03ef668_0    conda-forge
    r-tibble                  3.1.2             r36hcfec24a_0    conda-forge
    r-tidyselect              1.1.1             r36hc72bb7e_0    conda-forge
    r-utf8                    1.2.1             r36hcfec24a_0    conda-forge
    r-vctrs                   0.3.8             r36hcfec24a_1    conda-forge
    r-viridislite             0.4.0             r36hc72bb7e_0    conda-forge
    r-waldo                   0.2.5             r36hc72bb7e_0    conda-forge
    r-withr                   2.4.2             r36hc72bb7e_0    conda-forge
    readline                  8.2                  h8228510_1    conda-forge
    scikit-learn              0.23.1           py36h0e1014b_0    conda-forge
    scipy                     1.0.0           py36_blas_openblas_201    conda-forge
    sed                       4.8                  he412f7d_0    conda-forge
    setuptools                58.0.4           py36h5fab9bb_2    conda-forge
    six                       1.16.0             pyh6c4a22f_0    conda-forge
    sqlite                    3.46.0               h6d4b2fc_0    conda-forge
    sysroot_linux-64          2.12                he073ed8_17    conda-forge
    tensorboard               1.15.0                   py36_0    conda-forge
    tensorflow                1.15.0          mkl_py36h4920b83_0  
    tensorflow-base           1.15.0          mkl_py36he1670d9_0  
    tensorflow-estimator      1.15.1             pyh2649769_0  
    termcolor                 1.1.0              pyhd8ed1ab_3    conda-forge
    theano                    1.0.4           py36h831f99a_1002    conda-forge
    threadpoolctl             3.1.0              pyh8a188c0_0    conda-forge
    tk                        8.6.13          noxft_h4845f30_101    conda-forge
    tktable                   2.10                 h8bc8fbc_6    conda-forge
    tornado                   6.1              py36h8f6f2f9_1    conda-forge
    tqdm                      4.65.0             pyhd8ed1ab_0    conda-forge
    typing_extensions         4.1.1              pyha770c72_0    conda-forge
    werkzeug                  0.16.1                     py_0    conda-forge
    wheel                     0.37.1             pyhd8ed1ab_0    conda-forge
    wrapt                     1.13.1           py36h8f6f2f9_0    conda-forge
    xorg-kbproto              1.0.7             h7f98852_1002    conda-forge
    xorg-libice               1.1.1                hd590300_0    conda-forge
    xorg-libsm                1.2.4                h7391055_0    conda-forge
    xorg-libx11               1.8.9                hb711507_1    conda-forge
    xorg-libxau               1.0.11               hd590300_0    conda-forge
    xorg-libxdmcp             1.1.3                h7f98852_0    conda-forge
    xorg-libxext              1.3.4                h0b41bf4_2    conda-forge
    xorg-libxrender           0.9.11               hd590300_0    conda-forge
    xorg-renderproto          0.11.1            h7f98852_1002    conda-forge
    xorg-xextproto            7.3.0             h0b41bf4_1003    conda-forge
    xorg-xproto               7.0.31            h7f98852_1007    conda-forge
    xz                        5.2.6                h166bdaf_0    conda-forge
    yaml                      0.2.5                h7f98852_2    conda-forge
    zipp                      3.6.0              pyhd8ed1ab_0    conda-forge
    zlib                      1.2.13               h4ab18f5_6    conda-forge
    zstd                      1.5.6                ha6fb4c9_0    conda-forge

    If it is not possible to get a clean gatk environment inside the compute environment this way then we recommend using our docker image which includes the environment and works just as expected. Please pay attention that version 4.6.1.0 and later requires a more updated conda environment with different library dependencies for GCNV and NVScoreVariants.

    I hope this helps.

     

    0
    Comment actions Permalink
  • Avatar
    Hatice Kübra Kibar

    This helped. Thank you.

    0
    Comment actions Permalink

Please sign in to leave a comment.

Powered by Zendesk