Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

archive/tar: incorrectly claims huge file size #12434

Closed
dvyukov opened this issue Sep 1, 2015 · 4 comments
Closed

archive/tar: incorrectly claims huge file size #12434

dvyukov opened this issue Sep 1, 2015 · 4 comments
Labels
FrozenDueToAge
Milestone
Go1.6

Comments

@dvyukov
Copy link
Member

dvyukov commented Sep 1, 2015

The following program crashes:

package main

import (
    "archive/tar"
    "bytes"
    "io"
)

func main() {
    t := tar.NewReader(bytes.NewReader([]byte(data)))
    for {
        hdr, err := t.Next()
        if err == io.EOF {
            break
        }
        if err != nil {
            return
        }
        if hdr.Size > 1e6 {
            panic("huge claimed file size")
        }
    }
}

var data = "bbb\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "0000640\x000374534\x000011" +
    "610\x0000003700153\x001253" +
    "1147347\x00006462\x000\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x000000000\x00000" +
    "0000\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\xfd\xff\xff\xff\xff\xff\xff\xff\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00" +
    "\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00"
panic: huge claimed file size

Since tar is not compressing and input size is 512, this looks bogus.

go version go1.5 linux/amd64
@dvyukov dvyukov mentioned this issue Sep 1, 2015
Closed
@ianlancetaylor ianlancetaylor added this to the Go1.6 milestone Sep 1, 2015
@dsnet dsnet mentioned this issue Sep 1, 2015
Closed
@dsnet
Copy link
Member

dsnet commented Sep 8, 2015

I believe tar is working properly here. A check for hdr.Size should occur after an attempt to read the data first. In this situation, the header properly encodes a size of 1015915 bytes, but the tar format itself is bad in that it doesn't contain any data after the header. This is an example of a "valid" tar file that is prematurely truncated.

Modifying the example to include a read, properly returns an io.ErrUnexpectedEOF due to a truncated stream.

Furthermore, if we modify the example to include a reader that artificially extends the file to a sufficient length, this reads properly.

Even furthermore, appending 1987x (512B) blocks of all zeros to the tar data makes it properly parsible by the GNU version of tar.

I recommend that we close this as "working as intended".

@ianlancetaylor
Copy link
Contributor

If the package is calling panic, I don't think it's working as intended.

@dsnet
Copy link
Member

dsnet commented Sep 8, 2015

The package isn't calling panic, the test code is calling panic.

@ianlancetaylor
Copy link
Contributor

Whoops, thanks.

Closing. @dvyukov , feel free to reopen if you disagree.

@golang golang locked and limited conversation to collaborators Sep 8, 2016
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Assignees
No one assigned
Labels
FrozenDueToAge
Projects
None yet
Milestone
Go1.6
Development

No branches or pull requests
4 participants
@dvyukov @ianlancetaylor @dsnet @gopherbot