Математики проверили на прочность закон Ципфа

Для того, чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту "Гутенберг"

Математики проверили на прочность закон Ципфа

Испанские математики проверили на прочность закон Ципфа, согласно которому при попытке упорядочить все слова языка или текст по убыванию частоты их использования, то частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n. О результатах исследования рассказывается в свежем выпуске журнала PLOS ONE.

Для того, чтобы определить правильность закона Ципфа, исследователи решили использовать его применительно к проекту "Гутенберг" — инициативе по созданию и распространению электронной универсальной библиотеки, которая включает 31075 книг на английском языке. Прежние попытки применить закон Ципфа ограничивались десятками текстов, а теперь исследователи работали с настоящим массивом данных.

Ученые поставили перед собой задачу определить, вписываются ли тексты в закономерность, согласно которой второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и так далее. Таким образом, ими была избрана самая простейшая формулировка закона Ципфа.

Согласно итогам исследования, при условии, что опущены наиболее редкие и архаичные формы слов, порядка 55 процентов текстов вписываются в закон Ципфа. Если учитывать эти слова, то соответствие закономерности снижается до 40 процентов.

Лингвист Джордж Кингсли Зипф исследовал частотность слов: одних в тексте попадается больше, других меньше, и по этому принципу все слова разбиваются на группы. Ученый предложил дать этим группам порядковые номера (ранги): самые частотные слова получают номер 1, с частотностью пониже — 2, еще на уровень ниже — 3, и так далее.

После этого вычисляется вероятность встретить слово Икс в тексте: количество слов Икс в тексте делится на число всех слов. Зипф обнаружил, что если вероятность для слова Икс помножить на порядковый номер ранга, в котором оно оказалось, то каждый раз будет получаться приблизительно одна и та же величина. Так, для английского языка эта константа равна примерно 0,1, а для русского — 0,06-0,07.








Интересные новости
Вплине на вимірювання часу: танення льодовиків сповільнило обертання ЗемліВплине на вимірювання часу: танення льодовиків сповільнило обертання Землі
Вчені розповіли, чому «зірки-невдахи» часто самотніВчені розповіли, чому «зірки-невдахи» часто самотні
Археологи знайшли в Британії багато прикрашену римську віллу з табличками з прокльонамиАрхеологи знайшли в Британії багато прикрашену римську віллу з табличками з прокльонами
ДНК віком 1500 років допомогла відтворити зовнішність імператора КитаюДНК віком 1500 років допомогла відтворити зовнішність імператора Китаю
Блок рекламы


Похожие новости

Українка здобула найпрестижнішу нагороду в галузі математикиУкраїнка здобула найпрестижнішу нагороду в галузі математики
Как гигантские бактерии нарушили законы природы
Двадцатый запуск ракеты Rocket Lab Electron закончился неудачей
Илон Маск собирается игнорировать земные законы на Марсе
Билл Гейтс рассказал, когда закончится пандемия коронавируса
Воду в Киеве проверили на коронавирус
На Земле закончился годовой запас возобновляемых ресурсов
Билл Гейтс рассказал, когда закончится эпидемия коронавируса
Ученые проверили эффект Мпембы в необычных условиях
Закончена подготовка по строительству самого большого телескопа в мире
Последние новости

Подгружаем последние новости