Git
章節 ▾ 第二版

10.4 Git 內部原理 - Packfiles

Packfiles

如果您遵循上一節範例中的所有指示,您現在應該會有一個包含 11 個物件的測試 Git 儲存庫 - 四個 blob、三個 tree、三個 commit 和一個 tag。

$ find .git/objects -type f
.git/objects/01/55eb4229851634a0f03eb265b69f5a2d56f341 # tree 2
.git/objects/1a/410efbd13591db07496601ebc7a059dd55cfe9 # commit 3
.git/objects/1f/7a7a472abf3dd9643fd615f6da379c4acb3e3a # test.txt v2
.git/objects/3c/4e9cd789d88d8d89c1073707c3585e41b0e614 # tree 3
.git/objects/83/baae61804e65cc73a7201a7252750c76066a30 # test.txt v1
.git/objects/95/85191f37f7b0fb9444f35a9bf50de191beadc2 # tag
.git/objects/ca/c0cab538b970a37ea1e769cbbde608743bc96d # commit 2
.git/objects/d6/70460b4b4aece5915caf5c68d12f560a9fe3e4 # 'test content'
.git/objects/d8/329fc1cc938780ffdd9f94e0d364e0ea74f579 # tree 1
.git/objects/fa/49b077972391ad58037050f2a75f74e3671e92 # new.txt
.git/objects/fd/f4fc3344e67ab068f836878b6c4951e3b15f3d # commit 1

Git 使用 zlib 壓縮這些檔案的內容,而且您沒有儲存太多內容,因此這些檔案加起來總共只佔用 925 個位元組。 現在,您將在儲存庫中新增一些較大的內容,以展示 Git 的一個有趣功能。 為了演示,我們將新增來自 Grit 函式庫的 repo.rb 檔案 - 這是一個大約 22K 的原始碼檔案。

$ curl https://raw.githubusercontent.com/mojombo/grit/master/lib/grit/repo.rb > repo.rb
$ git checkout master
$ git add repo.rb
$ git commit -m 'Create repo.rb'
[master 484a592] Create repo.rb
 3 files changed, 709 insertions(+), 2 deletions(-)
 delete mode 100644 bak/test.txt
 create mode 100644 repo.rb
 rewrite test.txt (100%)

如果您檢視結果的 tree,可以看到為您的新 repo.rb blob 物件計算出的 SHA-1 值。

$ git cat-file -p master^{tree}
100644 blob fa49b077972391ad58037050f2a75f74e3671e92      new.txt
100644 blob 033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5      repo.rb
100644 blob e3f094f522629ae358806b17daf78246c27c007b      test.txt

然後您可以使用 git cat-file 來查看該物件的大小。

$ git cat-file -s 033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5
22044

此時,稍微修改該檔案,看看會發生什麼事。

$ echo '# testing' >> repo.rb
$ git commit -am 'Modify repo.rb a bit'
[master 2431da6] Modify repo.rb a bit
 1 file changed, 1 insertion(+)

檢查由上次提交建立的 tree,您會看到一些有趣的事情。

$ git cat-file -p master^{tree}
100644 blob fa49b077972391ad58037050f2a75f74e3671e92      new.txt
100644 blob b042a60ef7dff760008df33cee372b945b6e884e      repo.rb
100644 blob e3f094f522629ae358806b17daf78246c27c007b      test.txt

blob 現在是一個不同的 blob,這表示儘管您只在 400 行檔案的末尾新增了一行,Git 仍將該新內容儲存為一個全新的物件。

$ git cat-file -s b042a60ef7dff760008df33cee372b945b6e884e
22054

您的磁碟上有兩個幾乎相同的 22K 物件 (每個物件都壓縮到大約 7K)。 如果 Git 可以完整儲存其中一個物件,然後將第二個物件僅儲存為它與第一個物件之間的差異,這樣不是很好嗎?

事實證明它可以。 Git 在磁碟上儲存物件的初始格式稱為「鬆散」物件格式。 但是,為了節省空間並提高效率,Git 會偶爾將多個這些物件打包到稱為「packfile」的單個二進位檔案中。 如果您有太多鬆散物件,如果您手動執行 git gc 命令,或者如果您推送到遠端伺服器,Git 會執行此操作。 若要查看會發生什麼事,您可以透過呼叫 git gc 命令來手動要求 Git 打包物件。

$ git gc
Counting objects: 18, done.
Delta compression using up to 8 threads.
Compressing objects: 100% (14/14), done.
Writing objects: 100% (18/18), done.
Total 18 (delta 3), reused 0 (delta 0)

如果您檢視您的 objects 目錄,您會發現您的大部分物件都已消失,而且出現一對新的檔案。

$ find .git/objects -type f
.git/objects/bd/9dbf5aae1a3862dd1526723246b20206e5fc37
.git/objects/d6/70460b4b4aece5915caf5c68d12f560a9fe3e4
.git/objects/info/packs
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.idx
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.pack

保留的物件是任何 commit 都沒有指向的 blob - 在這種情況下,是您先前建立的「what is up, doc?」範例和「test content」範例 blob。 因為您從未將它們新增到任何 commit 中,因此它們被視為懸空,而且不會打包到您的新 packfile 中。

其他檔案是您的新 packfile 和一個索引。 packfile 是一個包含從檔案系統移除的所有物件內容的單一檔案。 索引是一個包含該 packfile 偏移量的檔案,因此您可以快速搜尋到特定物件。 最棒的是,儘管在您執行 gc 命令之前,磁碟上的物件總共約為 15K 大小,新的 packfile 卻只有 7K。 您透過打包物件將磁碟使用量減少了一半。

Git 是如何做到這一點的呢?當 Git 打包物件時,它會尋找名稱和大小相似的檔案,然後只儲存從一個檔案版本到下一個版本的差異(delta)。您可以查看 packfile 以了解 Git 如何節省空間。git verify-pack 這個底層指令可以讓您查看被打包的內容。

$ git verify-pack -v .git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.idx
2431da676938450a4d72e260db3bf7b0f587bbc1 commit 223 155 12
69bcdaff5328278ab1c0812ce0e07fa7d26a96d7 commit 214 152 167
80d02664cb23ed55b226516648c7ad5d0a3deb90 commit 214 145 319
43168a18b7613d1281e5560855a83eb8fde3d687 commit 213 146 464
092917823486a802e94d727c820a9024e14a1fc2 commit 214 146 610
702470739ce72005e2edff522fde85d52a65df9b commit 165 118 756
d368d0ac0678cbe6cce505be58126d3526706e54 tag    130 122 874
fe879577cb8cffcdf25441725141e310dd7d239b tree   136 136 996
d8329fc1cc938780ffdd9f94e0d364e0ea74f579 tree   36 46 1132
deef2e1b793907545e50a2ea2ddb5ba6c58c4506 tree   136 136 1178
d982c7cb2c2a972ee391a85da481fc1f9127a01d tree   6 17 1314 1 \
  deef2e1b793907545e50a2ea2ddb5ba6c58c4506
3c4e9cd789d88d8d89c1073707c3585e41b0e614 tree   8 19 1331 1 \
  deef2e1b793907545e50a2ea2ddb5ba6c58c4506
0155eb4229851634a0f03eb265b69f5a2d56f341 tree   71 76 1350
83baae61804e65cc73a7201a7252750c76066a30 blob   10 19 1426
fa49b077972391ad58037050f2a75f74e3671e92 blob   9 18 1445
b042a60ef7dff760008df33cee372b945b6e884e blob   22054 5799 1463
033b4468fa6b2a9547a70d88d1bbe8bf3f9ed0d5 blob   9 20 7262 1 \
  b042a60ef7dff760008df33cee372b945b6e884e
1f7a7a472abf3dd9643fd615f6da379c4acb3e3a blob   10 19 7282
non delta: 15 objects
chain length = 1: 3 objects
.git/objects/pack/pack-978e03944f5c581011e6998cd0e9e30000905586.pack: ok

在這裡,033b4 這個 blob,如果您還記得的話,它是您的 repo.rb 檔案的第一個版本,它參考了 b042a 這個 blob,這是該檔案的第二個版本。輸出中的第三欄是物件在 pack 中的大小,所以您可以看到 b042a 佔用了檔案的 22K,而 033b4 只佔用了 9 個位元組。還有趣的是,第二個版本的檔案是完整儲存的,而原始版本則是作為差異儲存的——這是因為您最有可能需要更快地存取檔案的最新版本。

這其中真正的好處是,它可以隨時重新打包。Git 會偶爾自動重新打包您的資料庫,總是嘗試節省更多空間,但您也可以隨時手動執行 git gc 來重新打包。

scroll-to-top