Announcement

Collapse
No announcement yet.

Performance der BC-Version 4.4.3 (64 Bit, Build 26655) bei vielen klinen PNG-Dateien

Collapse
X
 
  • Filter
  • Time
  • Show
Clear All
new posts

  • Performance der BC-Version 4.4.3 (64 Bit, Build 26655) bei vielen klinen PNG-Dateien

    Vgl. mein Thread von Jan 2021. Auch bei der aktuellen BC-Version dauert sowohl der Compare-Scan von sehr vielen Dateien hauptsächlich im Format PNG (ca. 20,7 Mio. Files, etwa 237 GB in 45.ooo Foldern), mit einer jewiligen Einzelgröße von maximal zweistelligen KB-Werten (u.a. Tiles aktualisierter Landkarten/Maps); erst recht die Synchronisation (z.B. 9,5 Mio. "abweichender" Files, Update Right von Laufwerk-E in einem RAID-5 -Verbund zum Laufwerk auf extern angeschlossene USB-Festplatte via USB 3.x mit Stecker-Adapter auf USB 2.o) um ein Vielfaches länger (20 -30 x; d.h. mehrere Tage!!!), als die Synchronisation von anderen logisch gleich großen Laufwerken (ca. 600 GB) im RAID-5 mit nicht so vielen "kleinen" Dateien auf das gleiche (!) externe USB-Laufwerk. Laut Process-Explorer belegt BC nur in diesem Fall bis zu 15 GB im RAM.

    ---------------

    See my thread from Jan 2021. Even with the current BC version, both the compare scan of a very huge amount of files, mainly PNG format (about 20.7 million files, about 237 GB in 45,000 folders), with a respective individual size of max. two-digit KB values (including tiles of updated maps), and even more the synchronization (e.g. 9.5 million "differing" files, update right from drive E on a RAID-5 array to the drive on an externally connected USB hard disk via USB 3.x with plug adapter to USB 2.0) is by multiple times longer (20-30 times; i.e. several days!!!), than the synchronization from other logically equally large drives (approx. 600 GB) in RAID-5 with not as many "small" files on the same (!) external USB drive. According to the process explorer, BC occupies up to 15 GB RAM just in this case.
    Last edited by Gunnar; 06-Sep-2022, 07:47 AM. Reason: GER->ENG translation

  • #2
    Hello,

    I had a few follow up questions from this thread:
    https://forum.scootersoftware.com/fo...-7-build-25118

    Most of the questions are still needed, including if a Content Comparison was enabled.

    If you break the test case into a smaller test case that only takes an hour or less, we can iterate a few tests more quickly. It can help to run the same transfer three times to normalize the effects of caching. For example, I'd like to test a transfer in BC4, then Explorer, then BC4, then Explorer, then BC4, then Explorer of the exact same Source set to the same Destination. This will help us see if there's anything specific in BC4 that is slowing down the transfer or if the issue is hardware bound. In my experience with USB 2.0, it can massively slow down most large transfers of that size.

    translate.google.com
    Hallo,

    Ich hätte ein paar Anschlussfragen zu diesem Thread:
    https://forum.scootersoftware.com/fo...-7-build-25118

    Die meisten Fragen sind noch erforderlich, einschließlich der Frage, ob ein Inhaltsvergleich aktiviert wurde.

    Wenn Sie den Testfall in einen kleineren Testfall unterteilen, der nur eine Stunde oder weniger dauert, können wir einige Tests schneller iterieren. Es kann hilfreich sein, dieselbe Übertragung dreimal auszuführen, um die Auswirkungen des Cachings zu normalisieren. Zum Beispiel möchte ich eine Übertragung in BC4 testen, dann Explorer, dann BC4, dann Explorer, dann BC4, dann Explorer von genau derselben Quelle, die auf dasselbe Ziel eingestellt ist. Dies hilft uns zu sehen, ob es etwas Spezifisches in BC4 gibt, das die Übertragung verlangsamt, oder ob das Problem hardwaregebunden ist. Nach meiner Erfahrung mit USB 2.0 kann es die meisten großen Übertragungen dieser Größe massiv verlangsamen.
    Aaron P Scooter Software

    Comment

    Working...
    X