Co znamená BPE?

BPE je zkratka pro Byte Pair Encoding. Jedná se o algoritmus komprese dat, který se používá ke zmenšení velikosti textového souboru. Funguje tak, že identifikuje nejběžnější páry bajtů v souboru a poté každý pár nahradí jedním bajtem. To může snížit velikost souboru až o 50 %.