我需要遞歸讀取目錄結(jié)構(gòu),但我還需要在閱讀每個(gè)目錄的所有條目后執(zhí)行額外的步驟。因此,我需要編寫(xiě)自己的遞歸邏輯(并且不能使用簡(jiǎn)單的filepath.Walk例程)。但是,ioutil.ReadDir和filepath.Glob例程只返回切片。如果我要突破 ext4或xfs的限制,并且有一個(gè)包含數(shù)十億個(gè)文件的目錄怎么辦?我希望golang有一個(gè)函數(shù),它os.FileInfo通過(guò)一個(gè)通道而不是一個(gè)排序的切片返回一系列未排序的(或者甚至更好的原始字符串)。在這種情況下,我們?nèi)绾斡行У刈x取文件條目?上面引用的所有函數(shù)似乎都依賴(lài)readdirnames于os/dir_unix.go,并且由于某種原因,它只是在看起來(lái)很容易產(chǎn)生一個(gè)gothread并將值推入通道時(shí)才創(chuàng)建一個(gè)數(shù)組. 這樣做可能有合理的邏輯,但尚不清楚它是什么。我是 Go 的新手,所以我也很容易錯(cuò)過(guò)一些對(duì)其他人顯而易見(jiàn)的原則。這是源代碼,為方便起見(jiàn):func (f *File) readdirnames(n int) (names []string, err error) { // If this file has no dirinfo, create one. if f.dirinfo == nil { f.dirinfo = new(dirInfo) // The buffer must be at least a block long. f.dirinfo.buf = make([]byte, blockSize) } d := f.dirinfo size := n if size <= 0 { size = 100 n = -1 } names = make([]string, 0, size) // Empty with room to grow. for n != 0 { // Refill the buffer if necessary if d.bufp >= d.nbuf { d.bufp = 0 var errno error d.nbuf, errno = fixCount(syscall.ReadDirent(f.fd, d.buf)) if errno != nil { return names, NewSyscallError("readdirent", errno) } if d.nbuf <= 0 { break // EOF } } // Drain the buffer var nb, nc int nb, nc, names = syscall.ParseDirent(d.buf[d.bufp:d.nbuf], n, names) d.bufp += nb n -= nc } if n >= 0 && len(names) == 0 { return names, io.EOF } return names, nil}
有效地列出具有非常多條目的目錄中的文件
開(kāi)滿(mǎn)天機(jī)
2021-11-29 19:41:00