Genome Analysis Toolkit

Variant Discovery in High-Throughput Sequencing Data

GATK process banner

Need Help?

Search our documentation

Community Forum

Hi, How can we help?

Developed in the Data Sciences Platform at the Broad Institute, the toolkit offers a wide variety of tools with a primary focus on variant discovery and genotyping. Its powerful processing engine and high-performance computing features make it capable of taking on projects of any size. Learn more

gatk CollectVariantCallingMetrics MultiThreadedChunkBased: Unexpected exception encountered in child thread. java.lang.ArrayIndexOutOfBoundsException: Index 1 out of bounds for length 1

0

3 comments

  • Avatar
    Gökalp Çelik

    Hi Eva (Evander)

    Can you run ValidateVariants tool on your callset to see if any of the records is causing any errors?

    0
    Comment actions Permalink
  • Avatar
    Eva (Evander)

    Hi ah yeah, I did run that. It seemed ok to me, but I might have missed something. For completeness, this is what I did:

    - updated to gatk 4.5.0.0. Did not work, broke my other stuff
    - adjusted threads (1 to 8)
    - ran:
    gatk ValidateVariants -V WESP_run/results/variant_calling/varscan/RM8398_EF_S16.vcf -D WESP_run/resources/GCF_000001405.40.renamed.vcf.gz"

    Using GATK jar /mnt/scratch_dir/deutekoe/conda/envs/gatk4/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar
    Running:
        java -Dsamjdk.use_async_io_read_samtools=false -Dsamjdk.use_async_io_write_samtools=true -Dsamjdk.use_async_io_write_tribble=false -Dsamjdk.compression_level=2 -jar /mnt/scratch_dir/deutekoe/conda/envs/gatk4/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar ValidateVariants -V WESP_run/results/variant_calling/varscan/RM8398_EF_S16.vcf -D WESP_run/resources/GCF_000001405.40.renamed.vcf.gz
    13:59:25.707 INFO  NativeLibraryLoader - Loading libgkl_compression.so from jar:file:/mnt/scratch_dir/deutekoe/conda/envs/gatk4/share/gatk4-4.5.0.0-0/gatk-package-4.5.0.0-local.jar!/com/intel/gkl/native/libgkl_compression.so
    13:59:26.175 INFO  ValidateVariants - ------------------------------------------------------------
    13:59:26.179 INFO  ValidateVariants - The Genome Analysis Toolkit (GATK) v4.5.0.0
    13:59:26.179 INFO  ValidateVariants - For support and documentation go to https://software.broadinstitute.org/gatk/
    13:59:26.179 INFO  ValidateVariants - Executing as deutekoe on Linux v3.10.0-1160.105.1.el7.x86_64 amd64
    13:59:26.179 INFO  ValidateVariants - Java runtime: OpenJDK 64-Bit Server VM v17.0.10-internal+0-adhoc..src
    13:59:26.179 INFO  ValidateVariants - Start Date/Time: April 10, 2024 at 1:59:25 PM CEST
    13:59:26.180 INFO  ValidateVariants - ------------------------------------------------------------
    13:59:26.180 INFO  ValidateVariants - ------------------------------------------------------------
    13:59:26.180 INFO  ValidateVariants - HTSJDK Version: 4.1.0
    13:59:26.180 INFO  ValidateVariants - Picard Version: 3.1.1
    13:59:26.180 INFO  ValidateVariants - Built for Spark Version: 3.5.0
    13:59:26.181 INFO  ValidateVariants - HTSJDK Defaults.COMPRESSION_LEVEL : 2
    13:59:26.181 INFO  ValidateVariants - HTSJDK Defaults.USE_ASYNC_IO_READ_FOR_SAMTOOLS : false
    13:59:26.182 INFO  ValidateVariants - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_SAMTOOLS : true
    13:59:26.183 INFO  ValidateVariants - HTSJDK Defaults.USE_ASYNC_IO_WRITE_FOR_TRIBBLE : false
    13:59:26.183 INFO  ValidateVariants - Deflater: IntelDeflater
    13:59:26.183 INFO  ValidateVariants - Inflater: IntelInflater
    13:59:26.183 INFO  ValidateVariants - GCS max retries/reopens: 20
    13:59:26.183 INFO  ValidateVariants - Requester pays: disabled
    13:59:26.184 INFO  ValidateVariants - Initializing engine
    13:59:26.414 INFO  FeatureManager - Using codec VCFCodec to read file file:///mnt/scratch_dir/deutekoe/trial/WESP_run/resources/GCF_000001405.40.renamed.vcf.gz
    13:59:27.064 INFO  FeatureManager - Using codec VCFCodec to read file file:///mnt/scratch_dir/deutekoe/trial/WESP_run/results/variant_calling/varscan/RM8398_EF_S16.vcf
    13:59:27.498 INFO  ValidateVariants - Done initializing engine
    13:59:27.500 WARN  ValidateVariants - REF validation cannot be done because no reference file was provided
    13:59:27.500 WARN  ValidateVariants - Other possible validations will still be performed
    13:59:27.501 INFO  ProgressMeter - Starting traversal
    13:59:27.501 INFO  ProgressMeter -        Current Locus  Elapsed Minutes    Variants Processed  Variants/Minute
    13:59:50.095 INFO  ProgressMeter -        chr1:11059842              0.4                  1000           2655.9
    14:00:02.661 INFO  ProgressMeter -        chr1:16698167              0.6                  2000           3413.1
    14:00:22.193 INFO  ProgressMeter -        chr1:26255600              0.9                  3000           3291.2
    14:00:51.201 INFO  ProgressMeter -        chr1:43172261              1.4                  4000           2867.4
    14:01:22.646 INFO  ProgressMeter -        chr1:62263166              1.9                  5000           2605.4
    14:02:02.527 INFO  ProgressMeter -        chr1:92333594              2.6                  6000           2322.2
    14:02:35.105 INFO  ProgressMeter -       chr1:115857214              3.1                  7000           2238.8
    14:02:56.543 INFO  ProgressMeter -       chr1:147056188              3.5                  8000           2296.2
    14:03:15.743 INFO  ProgressMeter -       chr1:155287701              3.8                  9000           2365.9
    14:03:35.202 INFO  ProgressMeter -       chr1:165769074              4.1                 10000           2422.3
    14:04:06.600 INFO  ProgressMeter -       chr1:185147026              4.7                 11000           2364.8
    14:04:33.726 INFO  ProgressMeter -       chr1:206012565              5.1                 12000           2351.2
    14:05:08.835 INFO  ProgressMeter -       chr1:227493453              5.7                 13000           2285.2
    14:05:33.144 INFO  ProgressMeter -       chr1:241957759              6.1                 14000           2297.3
    14:05:58.800 INFO  ProgressMeter -        chr2:10792081              6.5                 15000           2300.0
    14:06:26.722 INFO  ProgressMeter -        chr2:32144832              7.0                 16000           2290.0
    14:07:13.877 INFO  ProgressMeter -        chr2:61380375              7.8                 17000           2187.1
    14:07:48.306 INFO  ProgressMeter -        chr2:87120739              8.3                 18000           2156.5
    14:08:04.851 INFO  ProgressMeter -        chr2:97995531              8.6                 19000           2203.5
    14:08:28.792 INFO  ProgressMeter -       chr2:113612069              9.0                 20000           2216.9
    14:08:53.732 INFO  ProgressMeter -       chr2:135788274              9.4                 21000           2225.2
    14:09:33.767 INFO  ProgressMeter -       chr2:169661081             10.1                 22000           2177.3
    14:10:06.149 INFO  ProgressMeter -       chr2:191386000             10.6                 23000           2160.8
    14:10:40.816 INFO  ProgressMeter -       chr2:217760858             11.2                 24000           2138.7
    14:11:03.525 INFO  ProgressMeter -       chr2:233190156             11.6                 25000           2155.1
    14:11:32.210 INFO  ProgressMeter -         chr3:8992874             12.1                 26000           2152.6
    14:12:07.068 INFO  ProgressMeter -        chr3:33132664             12.7                 27000           2132.8
    14:12:39.820 INFO  ProgressMeter -        chr3:52472266             13.2                 28000           2120.4
    14:13:12.385 INFO  ProgressMeter -        chr3:75665415             13.7                 29000           2109.4
    14:13:43.758 INFO  ProgressMeter -       chr3:113450525             14.3                 30000           2102.2
    14:14:11.951 INFO  ProgressMeter -       chr3:131016043             14.7                 31000           2103.0
    14:14:51.251 INFO  ProgressMeter -       chr3:161504060             15.4                 32000           2078.5
    14:15:30.704 INFO  ProgressMeter -       chr3:193993393             16.1                 33000           2055.6
    14:15:45.196 INFO  ProgressMeter -         chr4:2291194             16.3                 34000           2086.5
    14:16:05.170 INFO  ProgressMeter -         chr4:9779606             16.6                 35000           2104.9
    14:16:42.894 INFO  ProgressMeter -        chr4:48510685             17.3                 36000           2086.2
    14:17:12.298 INFO  ProgressMeter -        chr4:73543766             17.7                 37000           2084.9
    14:17:48.647 INFO  ProgressMeter -       chr4:103140688             18.4                 38000           2070.6
    14:18:26.725 INFO  ProgressMeter -       chr4:140947908             19.0                 39000           2054.0
    14:19:06.610 INFO  ProgressMeter -       chr4:176222576             19.7                 40000           2035.4
    14:19:25.780 INFO  ProgressMeter -         chr5:1094274             20.0                 41000           2052.9
    14:19:59.926 INFO  ProgressMeter -        chr5:36217895             20.5                 42000           2044.7
    14:20:35.955 INFO  ProgressMeter -        chr5:69313357             21.1                 43000           2034.0
    14:21:07.042 INFO  ProgressMeter -        chr5:96996381             21.7                 44000           2031.5
    14:21:54.215 INFO  ProgressMeter -       chr5:137936279             22.4                 45000           2004.9
    14:22:21.551 INFO  ProgressMeter -       chr5:157087442             22.9                 46000           2008.7
    14:22:49.902 INFO  ProgressMeter -       chr5:179708070             23.4                 47000           2010.8
    14:23:21.194 INFO  ProgressMeter -        chr6:21602321             23.9                 48000           2008.8
    14:23:33.219 INFO  ProgressMeter -        chr6:29945653             24.1                 49000           2033.6
    14:23:50.717 INFO  ProgressMeter -        chr6:38807898             24.4                 52000           2132.3
    14:24:25.788 INFO  ProgressMeter -        chr6:64388875             25.0                 53000           2122.4
    14:25:05.920 INFO  ProgressMeter -       chr6:100879659             25.6                 54000           2106.1
    14:25:44.267 INFO  ProgressMeter -       chr6:132374478             26.3                 55000           2092.9
    14:26:17.106 INFO  ProgressMeter -       chr6:159323887             26.8                 56000           2087.5
    14:26:43.962 INFO  ProgressMeter -         chr7:4079346             27.3                 57000           2089.9
    14:27:18.397 INFO  ProgressMeter -        chr7:25154999             27.8                 58000           2082.7
    14:27:50.755 INFO  ProgressMeter -        chr7:48489568             28.4                 59000           2078.4
    14:28:22.006 INFO  ProgressMeter -        chr7:75063485             28.9                 60000           2075.5
    14:28:54.346 INFO  ProgressMeter -       chr7:100107173             29.4                 61000           2071.5
    14:29:40.884 INFO  ProgressMeter -       chr7:135415152             30.2                 63000           2084.5
    14:29:52.164 INFO  ProgressMeter -       chr7:142774011             30.4                 64000           2104.5
    14:30:15.461 INFO  ProgressMeter -       chr7:158683579             30.8                 65000           2110.4
    14:30:45.032 INFO  ProgressMeter -        chr8:11999355             31.3                 66000           2109.2
    14:31:13.165 INFO  ProgressMeter -        chr8:27397851             31.8                 67000           2109.5
    14:31:53.730 INFO  ProgressMeter -        chr8:62999559             32.4                 68000           2096.4
    14:32:43.796 INFO  ProgressMeter -       chr8:108479170             33.3                 69000           2073.8
    14:33:18.307 INFO  ProgressMeter -       chr8:142543729             33.8                 70000           2068.1
    14:33:38.316 INFO  ProgressMeter -         chr9:6606746             34.2                 71000           2077.2
    14:34:16.849 INFO  ProgressMeter -        chr9:34725050             34.8                 72000           2067.6
    14:34:33.430 INFO  ProgressMeter -        chr9:62844107             35.1                 73000           2079.8
    14:34:51.858 INFO  ProgressMeter -        chr9:76489898             35.4                 74000           2090.0
    14:35:28.174 INFO  ProgressMeter -       chr9:104604727             36.0                 75000           2082.7
    14:36:01.880 INFO  ProgressMeter -       chr9:127579231             36.6                 76000           2078.0
    14:36:17.836 INFO  ProgressMeter -       chr9:134079343             36.8                 77000           2090.2
    14:36:32.198 INFO  ProgressMeter -        chr10:2501466             37.1                 78000           2103.7
    14:37:00.309 INFO  ProgressMeter -       chr10:20787378             37.5                 79000           2104.0
    14:37:34.439 INFO  ProgressMeter -       chr10:45000672             38.1                 80000           2098.9
    14:37:54.943 INFO  ProgressMeter -       chr10:60080702             38.5                 81000           2106.2
    14:38:24.933 INFO  ProgressMeter -       chr10:84081630             39.0                 82000           2104.9
    14:38:51.185 INFO  ProgressMeter -      chr10:100204555             39.4                 83000           2106.9
    14:39:21.154 INFO  ProgressMeter -      chr10:123040356             39.9                 84000           2105.6
    14:39:37.791 INFO  ProgressMeter -         chr11:236871             40.2                 85000           2115.9
    14:40:05.583 INFO  ProgressMeter -       chr11:12002226             40.6                 87000           2141.0
    14:40:44.381 INFO  ProgressMeter -       chr11:43798658             41.3                 88000           2131.7
    14:41:10.761 INFO  ProgressMeter -       chr11:60175636             41.7                 89000           2133.2
    14:41:28.381 INFO  ProgressMeter -       chr11:67715957             42.0                 90000           2142.1
    14:41:54.165 INFO  ProgressMeter -       chr11:83980415             42.4                 91000           2144.0
    14:42:27.941 INFO  ProgressMeter -      chr11:111870102             43.0                 92000           2139.2
    14:42:50.565 INFO  ProgressMeter -      chr11:126293229             43.4                 93000           2143.6
    14:43:15.758 INFO  ProgressMeter -        chr12:7189790             43.8                 94000           2145.9
    14:43:29.658 INFO  ProgressMeter -       chr12:13569728             44.0                 95000           2157.3
    14:43:58.537 INFO  ProgressMeter -       chr12:38028645             44.5                 96000           2156.5
    14:44:21.531 INFO  ProgressMeter -       chr12:52286153             44.9                 97000           2160.3
    14:44:40.291 INFO  ProgressMeter -       chr12:64275111             45.2                 98000           2167.5
    14:45:17.946 INFO  ProgressMeter -       chr12:96952177             45.8                 99000           2159.7
    14:45:50.924 INFO  ProgressMeter -      chr12:120447081             46.4                100000           2155.6
    14:46:13.836 INFO  ProgressMeter -      chr12:132811208             46.8                101000           2159.4
    14:46:33.874 INFO  ProgressMeter -       chr13:26680030             47.1                102000           2165.3
    14:47:06.991 INFO  ProgressMeter -       chr13:49541661             47.7                103000           2161.2
    14:47:49.212 INFO  ProgressMeter -      chr13:102733766             48.4                104000           2150.5
    14:48:04.208 INFO  ProgressMeter -       chr14:19402012             48.6                105000           2160.0
    14:48:17.128 INFO  ProgressMeter -       chr14:26597507             48.8                106000           2170.9
    14:48:52.159 INFO  ProgressMeter -       chr14:59610065             49.4                107000           2165.5
    14:49:18.642 INFO  ProgressMeter -       chr14:77330298             49.9                108000           2166.4
    14:49:48.662 INFO  ProgressMeter -      chr14:102930369             50.4                109000           2164.7
    14:49:59.577 INFO  ProgressMeter -       chr15:20741838             50.5                110000           2176.7
    14:50:17.677 INFO  ProgressMeter -       chr15:32804465             50.8                111000           2183.5
    14:50:35.923 INFO  ProgressMeter -       chr15:43924361             51.1                112000           2190.1
    14:51:07.439 INFO  ProgressMeter -       chr15:64824129             51.7                113000           2187.1
    14:51:28.603 INFO  ProgressMeter -       chr15:78200244             52.0                114000           2191.5
    14:51:44.551 INFO  ProgressMeter -       chr15:88512809             52.3                115000           2199.5
    14:52:05.962 INFO  ProgressMeter -         chr16:370338             52.6                116000           2203.6
    14:52:18.814 INFO  ProgressMeter -        chr16:4564054             52.9                117000           2213.6
    14:52:43.778 INFO  ProgressMeter -       chr16:19487243             53.3                118000           2215.1
    14:53:05.568 INFO  ProgressMeter -       chr16:33598996             53.6                119000           2218.7
    14:53:22.463 INFO  ProgressMeter -       chr16:57249818             53.9                120000           2225.7
    14:53:46.713 INFO  ProgressMeter -       chr16:75463442             54.3                121000           2227.5
    14:54:15.434 INFO  ProgressMeter -       chr16:88738326             54.8                122000           2226.3
    14:54:32.308 INFO  ProgressMeter -        chr17:4499508             55.1                123000           2233.1
    14:54:47.097 INFO  ProgressMeter -       chr17:12717444             55.3                124000           2241.2
    14:55:00.760 INFO  ProgressMeter -       chr17:21415276             55.6                125000           2250.1
    14:55:19.849 INFO  ProgressMeter -       chr17:36493853             55.9                126000           2255.1
    14:55:34.053 INFO  ProgressMeter -       chr17:43202523             56.1                127000           2263.4
    14:55:57.230 INFO  ProgressMeter -       chr17:58973004             56.5                128000           2265.7
    14:56:19.629 INFO  ProgressMeter -       chr17:74613950             56.9                129000           2268.4
    14:56:33.938 INFO  ProgressMeter -       chr17:80998620             57.1                130000           2276.4
    14:56:52.263 INFO  ProgressMeter -        chr18:9594802             57.4                131000           2281.7
    14:57:17.323 INFO  ProgressMeter -       chr18:35140225             57.8                132000           2282.5
    14:57:54.552 INFO  ProgressMeter -       chr18:71226775             58.5                133000           2275.4
    14:58:13.076 INFO  ProgressMeter -        chr19:2811833             58.8                134000           2280.5
    14:58:26.574 INFO  ProgressMeter -        chr19:7814132             59.0                135000           2288.7
    14:58:41.032 INFO  ProgressMeter -       chr19:14107208             59.2                136000           2296.3
    14:58:53.069 INFO  ProgressMeter -       chr19:19280064             59.4                137000           2305.4
    14:59:14.095 INFO  ProgressMeter -       chr19:34931904             59.8                138000           2308.6
    14:59:26.984 INFO  ProgressMeter -       chr19:41025920             60.0                139000           2317.0
    14:59:41.737 INFO  ProgressMeter -       chr19:47353079             60.2                140000           2324.1
    14:59:52.918 INFO  ProgressMeter -       chr19:51645551             60.4                141000           2333.5
    15:00:08.045 INFO  ProgressMeter -       chr19:57244250             60.7                143000           2356.8
    15:00:28.216 INFO  ProgressMeter -       chr20:13792926             61.0                144000           2360.2
    15:00:46.810 INFO  ProgressMeter -       chr20:30391498             61.3                145000           2364.6
    15:01:12.135 INFO  ProgressMeter -       chr20:47169235             61.7                146000           2364.6
    15:01:35.009 INFO  ProgressMeter -       chr20:64083430             62.1                147000           2366.2
    15:01:57.016 INFO  ProgressMeter -       chr21:30601197             62.5                148000           2368.3
    15:02:18.331 INFO  ProgressMeter -       chr21:44558616             62.8                149000           2370.8
    15:02:40.358 INFO  ProgressMeter -       chr22:22117897             63.2                151000           2388.7
    15:02:54.575 INFO  ProgressMeter -       chr22:30534399             63.5                152000           2395.5
    15:03:16.348 INFO  ProgressMeter -       chr22:42140302             63.8                153000           2397.6
    15:03:35.331 INFO  ProgressMeter -         chrX:1352649             64.1                154000           2401.4
    15:04:04.124 INFO  ProgressMeter -        chrX:48975236             64.6                155000           2399.0
    15:04:38.762 INFO  ProgressMeter -       chrX:106901299             65.2                156000           2393.1
    15:05:06.766 INFO  ProgressMeter -       chrX:154470399             65.7                157000           2391.3
    15:05:11.906 INFO  ProgressMeter - chrUn_JTFH01001117v1_decoy:1104             65.7                168977           2570.4
    15:05:11.906 INFO  ProgressMeter - Traversal complete. Processed 168977 total variants in 65.7 minutes.
    15:05:11.906 INFO  ValidateVariants - Shutting down engine
    [April 10, 2024 at 3:05:11 PM CEST] org.broadinstitute.hellbender.tools.walkers.variantutils.ValidateVariants done. Elapsed time: 65.77 minutes.
    Runtime.totalMemory()=558624768

    0
    Comment actions Permalink
  • Avatar
    Gökalp Çelik

    Hi Eva (Evander)

    This looks like a bug. Can you share your input vcf with us so that we can replicate the problem?

    You may use the below article to submit your files. Once you are done let us know the file name so that we can check. 

    https://gatk.broadinstitute.org/hc/en-us/articles/360035889671-How-do-I-submit-a-detailed-bug-report 

    Regards. 

    0
    Comment actions Permalink

Please sign in to leave a comment.

Powered by Zendesk