Wie erkenne ich, ob meine .vcf.gz-Datei BGZF oder einfaches Gzip ist?
Eine .vcf.gz kann einfaches Gzip oder BGZF sein. Der kostenlose HealthOSX-Checker zeigt dir, welches von beiden es ist, ohne Upload. So weißt du es, bevor ein anderes Tool hängen bleibt.
Übersetzt aus dem Englischen. Original lesen
Eine .vcf.gz-Datei kann normales Gzip oder BGZF sein. Am schnellsten findest du es heraus, wenn du die Datei auf den kostenlosen HealthOSX-Dateichecker für DNA ziehst. Er zeigt dir bei einer VCF, ob es einfaches Gzip oder BGZF ist, und die Datei bleibt dabei in deinem Browser. Wenn ein anderes Tool sie abgelehnt hat oder hängen geblieben ist, weißt du damit, welches Format du hast, bevor du sie irgendwo anders hochlädst.
Wie erkenne ich, ob meine .vcf.gz-Datei BGZF oder einfaches Gzip ist?
Eine Endung .vcf.gz verspricht nur Gzip. Einfaches Gzip, das mit gzip file.vcf erzeugt wird, komprimiert die ganze VCF als einen einzigen DEFLATE-Strom; das Gzip-Format selbst kann aber aneinandergehängte Member enthalten. BGZF komprimiert sie dagegen in vielen kleinen Blöcken, die jeweils bis zu 64 KB unkomprimierten Text enthalten. Beide beginnen mit den Gzip-Magic-Bytes 1f 8b. Ein kurzer file-Aufruf oder ein Blick in den Hex-Editor kann deshalb für beide „gzip“ anzeigen. Der Checker oben liest die Gzip-Struktur und nennt dir, um welches Format es sich handelt.
Eine BGZF-Datei ist trotzdem eine gültige Gzip-Datei. Der Unterschied liegt darin, ob ein Programm in die Mitte springen kann, ohne von vorn zu entpacken.
Einfaches Gzip und BGZF werden unterschiedlich entpackt
Einfaches Gzip, erzeugt mit gzip file.vcf, ist ein einziger DEFLATE-Strom. Um eine Variante an Position 200.000.000 zu erreichen, muss ein Programm jedes Byte davor entpacken. Im Gzip-Container gibt es keinen Index.
BGZF ist das Blocked GNU Zip Format, das bcftools und GATK verwenden. Es ist eine normale Gzip-Datei aus aneinandergehängten Membern. Jedes Member ist ein eigenständiger Gzip-Strom. Das BGZF-Extrafeld nutzt das BC-Feld, um die gesamte Blockgröße minus 1 zu speichern, während der Gzip-Trailer des Members die unkomprimierte Blockgröße enthält. Weil jeder Block sauber endet, kann ein Programm zum Anfang eines Blocks springen und nur diesen Block entpacken. Tabix legt auf diesen Blöcken einen .tbi-Index an, damit Tools eine Chromosomenregion abrufen können, ohne die ganze Datei zu durchsuchen.
| Einfaches Gzip | BGZF | |
|---|---|---|
| Erste Bytes | `1f 8b` | `1f 8b` |
| Struktur | Ein DEFLATE-Member, wenn mit `gzip file.vcf` erzeugt | Viele aneinandergehängte Member, jeweils ≤64 KB unkomprimiert |
| Typisches Programm | `gzip file.vcf` | `bgzip`, `bcftools view -Oz`, GATK |
| Wahlfreier Zugriff | Kein eingebauter Index | Ja, mit einem tabix-`.tbi`-Index |
| Gzip im Browser | Liest bei einem Member meist bis zum Ende | Kann nach dem ersten 64-KB-Block aufhören |
Scroll the table sideways for the rest →
Beide beginnen mit denselben Bytes, aber ein Programm sieht eine unterschiedliche Struktur.
Warum manche Browser-Tools nach dem ersten Block hängen bleiben
Manche Tools, die den im Browser eingebauten Gzip-Reader nutzen, hören unter Umständen nach den ersten 64 KB auf. Bei einfachem Gzip, erzeugt mit gzip file.vcf, funktioniert das, weil die ganze VCF ein einziges Member ist. Bei BGZF funktioniert es nicht, denn das erste Member enthält nur die ersten 64 KB der unkomprimierten Daten. Eine VCF mit dem ganzen Genom ist komprimiert oft hunderte Megabyte groß. Ein solches Tool liest daher den Header, vielleicht ein paar tausend Varianten, und sieht dann etwas, das es für das Dateiende hält. Es meldet dann möglicherweise keine Varianten oder eine abgeschnittene Datei. Manchmal scheitert es auch ohne Meldung.
| Schritt | Was passiert |
|---|---|
| Erstes Member entpacken | Der erste BGZF-Block wird zu höchstens 64 KB VCF-Text entpackt. |
| Reader erwartet nach dem ersten Member das Dateiende | Manche Browser-Reader halten das erste Gzip-Member für die ganze Datei und melden das Dateiende. |
| Restliche Member werden nie gelesen | Die späteren BGZF-Blöcke liegen weiter in der Datei, werden von diesem Reader aber nicht entpackt. |
Ein Reader, der das erste Gzip-Member für die ganze Datei hält, liest einen BGZF-Block und hört auf.
Prüfe es auf deinem eigenen Computer, ohne etwas hochzuladen
Der Checker oben ist der schnellste Weg, weil er im Browser läuft. Wenn du die Datei lieber selbst untersuchen möchtest:
xxd -l 64 file.vcf.gzzeigt nur am Anfang1f 8b. Um bei BGZF die wiederkehrenden1f 8ban den Blockgrenzen zu sehen, führeLC_ALL=C grep -abo $'\x1f\x8b' file.vcf.gzaus und suche nach mehreren Byte-Offsets. Das ist nur ein Anhaltspunkt: Dieselben zwei Bytes können auch in komprimierten Daten vorkommen. Der Checker im Browser liefert deshalb die verlässliche Antwort.gzip -l file.vcf.gzzeigt Größenangaben zu Gzip, sagt aber nicht, ob die Datei BGZF oder einfaches Gzip ist.tabix -l file.vcf.gzgibt Chromosomennamen aus, wenn ein.tbi-Index vorhanden ist. Ein.tbifunktioniert nur mit BGZF, aber ein fehlender Index beweist nicht, dass es einfaches Gzip ist.bgzip -l file.vcf.gzzeigt die Blockstruktur, wenn bcftools installiert ist, sagt aber nicht, wie sich ein im Browser eingebauter Gzip-Reader verhalten wird.
Was du tun kannst, wenn du es weißt
BGZF ist kein Defekt. Für große VCFs ist es das bessere Format, weil es indizierte Regionsabfragen unterstützt. Das Problem tritt nur auf, wenn ein Tool die ganze Datei als ein einziges Gzip-Member erwartet. Wenn dein geplantes Tool nach dem ersten Block hängen bleibt, hast du zwei Möglichkeiten: Du komprimierst mit gzip -dc file.vcf.gz | gzip -c > file.plain.vcf.gz als einfaches Gzip neu und verzichtest auf wahlfreien Zugriff, oder du wählst ein Tool, das BGZF-Blöcke korrekt streamt.
Wenn die einfache Antwort nicht reicht
Eine kleine VCF kann BGZF mit nur einem Block sein. Ein Browser-Tool liest so eine Datei vielleicht problemlos, und der Checker nennt sie trotzdem zu Recht BGZF. Eine einfache Gzip-Datei kann keinen tabix-.tbi-Index haben, weil tabix die Blockstruktur voraussetzt. Manche Anbieter liefern eine BGZF-.vcf.gz ohne .tbi; sie ist dann trotzdem BGZF und lässt sich in Tools, die aneinandergehängte Gzip-Member lesen, problemlos streamen, unterstützt aber keine Regionsabfragen, bis du sie indizierst.
Der Checker sagt dir, welche Gzip-Form deine Datei hat, bevor du sie an ein anderes Tool weitergibst. Wenn du nach der Formatprüfung den vollständigen Bericht möchtest, liest der kostenlose DNA-Bericht in deinem Browser sowohl einfaches Gzip als auch BGZF.
Noch keine DNA-Rohdatei?
Hol dir das HealthOSX DNA Kit: Spuck zu Hause in ein Röhrchen, und deine Herkunft, Linien und Merkmale landen in deinem HealthOSX-Konto, mit der Rohdatei.
DNA Kit ansehenRatgeber auf Deutsch
Geschrieben von
HealthOSX-Forschung