Читать онлайн «Методы статистического анализа исторических текстов (часть 1)». Страница 81

Таким образом, каждая «точка» из множества D «размножается» и порождает некоторое множество «виртуальных точек», ее окружающих, так сказать порождает «окрестное облако», «шаровое скопление». См. рис. 3.29. Некоторые из получившихся виртуальных династий могут встретиться нам в какой-то конкретной летописи (в этом случае они будут летописными династиями), некоторые остаются всего лишь «теоретически возможными», то есть «виртуальными».

Объединяя все виртуальные династии, получающиеся из всех реальных династий p, составляющих наш список D, мы получаем некоторое множество vir(D), то есть «окутывающее облако» исходного множества династий D.

Таким образом, для каждой реальной династии M, множество изображающих ее летописных династий можно представлять себе как «шаровое скопление» vir(M). Пусть теперь даны две реальные династии M и N. Если сформулированный нами принцип малых искажений верен, то шаровые скопления vir(M) и vir(N), отвечающие двум заведомо независимым, разным реальным династиям M и N, не пересекаются в пространстве Rk. То есть, они должны быть расположены достаточно далеко друг от друга. См. рис. 3.30.

Пусть теперь a и b — две какие-то династии из множества vir(D), например две летописные династии. См. рис. 3.31. Мы хотим ввести некоторую количественную меру близости между двумя династиями, то есть «измерить расстояние между ними», оценить — насколько они далеки друг от друга. Простейший способ был бы таким. Рассматривая обе династии как векторы в пространстве Rk, можно было бы просто взять евклидово расстояние между ними, то есть подсчитать число r(a,b), квадрат которого имеет вид:

(a1 — b1)2 +… + (ak — bk)2.

Однако численные эксперименты с конкретными летописными династиями показывают, что это расстояние не позволяет уверенно отделить друг от друга зависимые и независимые пары династий. Другими словами, такие расстояния между заведомо зависимыми летописными династиями и расстояния между заведомо независимыми летописными династиями оказываются сравнимыми друг с другом. Оказывается, они имеют «один и тот же порядок».

Тем более нельзя определять «похожесть» или «непохожесть» двух династий (точнее, графиков их правлений) «на глазок». Визуальная похожесть двух графиков может ни о чем не говорить. Можно привести примеры заведомо независимых династий, графики правлений которых окажутся «весьма похожими». И тем не менее никакой зависимости тут на самом деле нет. Как выяснилось, в данной проблеме визуальная близость может ввести в заблуждение. Требуется надежная количественная оценка, устраняющая зыбкие субъективные соображения вроде «похожи», «не похожи».

Итак, задача состоит в том, чтобы выяснить — существует ли вообще такая естественная мера близости (на множестве всех виртуальных династий), которая позволила бы уверенно отделить зависимые династии от независимых. То есть, чтобы «расстояние» между заведомо зависимыми династиями было «мало», а «расстояние» между заведомо независимыми династиями было «велико». Причем, требуется, чтобы эти «малые» и «большие» значения существенно отличались бы друг от друга, например, чтобы они были отделены одним или несколькими порядками.

Оказывается, такая мера близости, то есть «расстояние между династиями», действительно существует. К описанию такого коэффициента c(a,b) мы сейчас и перейдем.

Итак, мы построили в пространстве R15 некоторое множество династий D. Были смоделированы две наиболее типичные ошибки, делавшиеся летописцами. Каждая династия из множества D была подвергнута возмущениям типов (1) и (2). При этом каждая точка из D размножилась в несколько точек, что привело к увеличению множества. Получившееся множество мы обозначали через vir(D). Оказалось, что множество vir(D) состоит примерно из 15×1011 точек.

Будем считать «династический вектор a» случайным вектором в Rk, пробегающим множество vir(D). Тогда по множеству vir(D) мы можем построить функцию z плотности вероятностей. Для этого все пространство R15 было разбито на стандартные кубы достаточно малого размера так, чтобы ни одна точка из множества vir(D) не попала на границу какого-либо куба. Если x — внутренняя точка куба, то положим

число точек из множества vir(D), попавших в куб

z(x) = —.

общее количество точек в множестве vir(D)

Ясно, что для точки x, лежащей на границе какого-либо куба, можно считать, что z(x)=0. Функция z(x) достигает максимума в области, где сосредоточено особенно много династий из множества vir(D), и падает до нуля там, где точек из множества vir(D) нет. См. рис. 3.32. Тем самым, график функции z(x) наглядно показывает, как именно распределено множество династий vir(D) по пространству Rk. Другими словами, где это множество «густое», «плотное», а где оно разрежено.

Пусть теперь нам заданы две династии

a=(a1….ak) и b=(b1….,bk), и мы хотим оценить — насколько они близки или далеки. Построим k-мерный параллелепипед P'(a,b) с центром в точке a, имеющий в качестве диагонали вектор a-b. См. рис. 3.33. Если спроектировать параллелепипед P'(a,b) на i-ю координатную ось, то получится отрезок с концами

[ai — |ai — bi|, ai + |ai — bi|].

В качестве «предварительного коэффициента» c'(a,b) мы возьмем число

число точек из множества vir(D), попавших в P'(a,b) c'(a,b) = —.

общее число точек в множестве vir(D)

Ясно, что число c'(a,b) является интегралом функции плотности z(x) по параллелепипеду P'(a,b).

Смысл этого «предварительного коэффициента» c'(a,b) ясен. Династии, то есть векторы из vir(D), попавшие в параллелепипед P'(a,b), естественно назвать «похожими» на династии a и b. В самом деле, каждая из таких династий удалена от династии a не более чем от династии a удалена династия b. Следовательно, в качестве меры близости двух династия a и b, мы берем долю династий, «похожих» на a и b, в множестве всех династий vir(D).

Однако такой коэффициент c'(a,b) пока недостаточно хорош, поскольку он никак не учитывает то обстоятельство, что летописцы определяли длительность правлений царей с какой-то ошибкой, причем обычно тем большей, чем дольше длительность правления. Другими словами, нам нужно учесть ошибку летописцев (3), обсужденную выше.

Перейдем к моделированию ошибки (3). Пусть T — это длительность правления. Ясно, что длительность правления можно рассматривать как случайную величину, определенную на «множестве всех царей». Обозначим через g(T) число царей, правивших T лет. В работе [375] я экспериментально вычислил эту гистограмму частот g(T) (плотность распределения указанной случайной величины) на основе данных, приведенных в «Хронологических Таблицах» Ж. Блера [20]. Положим h(T)=1/g(T) и назовем h(T) функцией ошибок (летописцев). Ошибка h(T) в определении длительности T тем больше, чем с меньшей вероятностью случайная величина, — то есть длительность правления, — принимает значение T. Другими словами, небольшие, «короткие» длительности правлений царей лучше поддаются вычислению. Здесь летописец ошибается незначительно. Напротив, большие длительности правлений царей, встречающиеся довольно редко, летописец обычно вычисляет с существенной ошибкой. Чем больше длительность правления, тем большую ошибку он может совершить.

Функция ошибок h(T) для указанной плотности вероятностей случайной величины (длительности правления) была определена экспериментально [375], с. 115. Разобьем отрезок [0,100] целочисленной оси T на десять отрезков одинаковой длины, а именно:

[0,9], [10,19], [20,29], [30,39]… [90,99].

Тогда оказывается, что:

h(T)=2, если T изменяется от 0 до 19,

h(T)=3, если T изменяется от 20 до 29,

h(T)=5([T/10]-1), если T изменяется от 30 до 100.

Здесь через [s] обозначена целая часть числа s. См. рис. 3.34.

Учтем теперь ошибки летописцев при построении «окрестности» точки a. Для этого расширим параллелепипед P'(a,b) до бóльшего параллелепипеда P(a,b), центром которого по-прежнему является точка a, и ортогональными проекциями на координатные оси являются отрезки с концами

[ai — |ai — bi| + h(ai), ai + |ai — bi| + h(ai)].

Ясно, что параллелепипед P'(a,b) целиком лежит внутри большого параллелепипеда P(a,b). См. рис. 3.33. Диагональю этого большого параллелепипеда является вектор a-b+h(a), где вектор h(a) выглядит так:

h(a)=(h(a1)….,h(ak)).

Его можно назвать вектором ошибок летописцев.

Итак, мы смоделировали все три основные ошибки, делавшиеся летописцами при подсчете ими длительностей правлений царей. В качестве окончательного коэффициента c(a,b), измеряющего близость или удаленность друг от друга двух династий a и b, мы возьмем следующее число:

число точек из множества vir(D), попавших в P(a,b) c(a,b) = —.

общее число точек в множестве vir(D)

Ясно, что число c(a,b) является интегралом функции плотности z(x) по параллелепипеду P(a,b). На рис. 3.35 число c(a,b) условно изображается объемом призмы, имеющей в качестве основания параллелепипед P(a,b), и ограниченной сверху графиком функции z. Число c(a,b) можно, при желании, интерпретировать как вероятность того, что случайный «династический вектор», распределенный в пространстве Rk с функцией плотности z, оказался на расстоянии от точки a, не превышающем расстояния между точками a и b, с учетом ошибки h(a). Другими словами, случайный «династический» вектор, распределенный с функцией плотности z, попал в окрестность P(a,b) точки a, имеющую «радиус» a-b+h(a).