Что считать одним символом: графемы, кодовые точки и UTF-16
Почему emoji и комбинируемые знаки дают разные итоги и какая метрика подходит человеку или программному лимиту.
ЧитатьГраницы текста на практике
Разберитесь в словах, видимых символах, кодовых точках, UTF-16 и UTF-8 до выбора нужной метрики.
Почему emoji и комбинируемые знаки дают разные итоги и какая метрика подходит человеку или программному лимиту.
ЧитатьРазберитесь в языковой сегментации, пунктуации и нормализованной частотности.
ЧитатьПочему один видимый символ занимает несколько байтов UTF-8 и как проверять поле с лимитом байтов.
Читать