ウィキペディアのデータに基づいて家系図を生成する

この記事では、 Selenium Webdriverフレームワークを使用して、 Wikipediaのデータに基づいて、特定の人物（たとえば、 Rurikのロシアの支配者の最初の王朝の伝説的な創設者）の家系図を作成する方法を示します。



この記事では、人の名前を判別する方法、人の子供のページへのリンクを計算する方法、および家系図を生成するためのアルゴリズムを構築する方法を説明します。

Java 、 Selenium Webdriver 、 Chromeを使用します 。 Chromeは、他のブラウザーよりも高速であり、URLをナビゲートすることがプログラムで最も時間のかかる操作であるため、ブラウザーの選択が時間に最も大きく影響するためです。 PhantomJsを使用すると、ブラウザーを完全に放棄して使用できますが、デバッグが難しくなります。 だから私はChromeに落ち着きました。



まず、ブラウザが正常に起動したこと、およびURL https://ru.wikipedia.org/wiki/Rurikにアクセスすると、「Rurik-Wikipedia」という見出しのページが開くことを確認するテストを作成します。

@BeforeClass public static void Start() {     driver = DriverHelper.getDriver(); } @Test public void testGetDriver() {     driver.navigate().to("https://ru.wikipedia.org/wiki/%D0%A0%D1%8E%D1%80%D0%B8%D0%BA");     assertTrue(driver.getTitle().equals(" — ")); } @AfterClass public static void Stop() {     driver.quit(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロジェクトがコンパイルされ、テストが成功するように、静的getDriver（）メソッドを使用してDriverHelperクラスを作成します。

 public final class DriverHelper{    private static final int TIMEOUT = 30;    public static WebDriver getDriver() {        WebDriver driver = new ChromeDriver();        driver.manage().window().maximize();        driver.manage().timeouts().implicitlyWait(TIMEOUT, TimeUnit.SECONDS);        return driver;    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テストを実行して、ブラウザーが正しく起動し、目的のページが開くことを確認します。

Personクラスの作成

次に、個人に関する情報を保存するPersonクラスの作成と、Wikipedia PersonPageの個人ページクラスの作成に進みましょう。



これまでのPersonクラスには、nameとurlの2つのフィールドしかありません。 名前として、姓、名前、パトロニミック、tkに分離せずに、人のフルネームを使用します 王朝のほとんどの代表者には姓はありませんが、ニックネーム、タイトル、および序名があります。



Urlは、この人専用のWikipediaページを指します。

人の形成をチェックするテストを作成します。

 @Test public void testGetPerson() throws Exception {    PersonPage page = new PersonPage(driver);    Person person = page.getPerson("https://ru.wikipedia.org/wiki/_");    assertTrue(person.getName().equals(" "));    assertTrue(person.getUrl().equals(        "https://ru.wikipedia.org/wiki/        %D0%92%D0%BB%D0%B0%D0%B4%D0%B8%D0%BC%D0%B8%D1%80_        %D0%90%D0%BB%D0%B5%D0%BA%D1%81%D0%B0%D0%BD%D0%B4%D1%80%D0%BE%D0%B2%D0%B8%D1%87")); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

testGetPerson（）はコンパイルされません。 PersonPageページを作成して、人の名前とページを決定する必要があります。 URLは現在のページのURLによって決定され、名前はfirstHeading識別子を持つタグのテキストコンテンツによって決定されます。 GetPerson（）メソッド：

 public Person getPerson(String url) throws MalformedURLException {    driver.navigate().to(url);    String name = getName();    Person person = new Person(driver.getCurrentUrl());    person.setName(name);    return person; } private String getName() throws MalformedURLException {    String namePage = driver.findElement(By.cssSelector("#firstHeading")).getText();    return namePage; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テストを再実行します-緑に変わりました。

それとは別に、パラメーターとして渡されますが、URLが再定義される理由に言及する価値があります。事実、Wikipediaでは、1人が1つのページにリダイレクトされる複数のページに専念できます。 その結果、元のURLを使用する場合、「異なる」URLを持つ複数の人（実際には1人）があるときに重複が発生する可能性があります。 したがって、URLはURLとして使用され、他のすべてのURLにリダイレクトされます。



たとえば、ページhttps://ru.wikipedia.org/wiki/Yaroslav_Mudryはhttps://ru.wikipedia.org/wiki/Yaroslav_Vladimirovich_Wiseにリダイレクトし、ページhttps://ru.wikipedia.org/wiki/Andrey_Bogolyubsky-httpsにリダイレクトします：//ru.wikipedia.org/wiki/Andrey_Yuryevich_Bogolyubsky

人の子供の定義

ウィキペディアに自分のページを持っている人の子供を特定してみましょう。

まず、Rurikの子（より正確には1- Igor ）を判別するテストを作成します。

 @Test public void testGetChildrenUrl() throws Exception {    driver.navigate().to("https://ru.wikipedia.org/wiki/");    PersonPage page = new PersonPage(driver);    List<Person> children = page.getChildrenUrl();    assertTrue(children.size() == 1);    Person person = children.get(0);    assertTrue(person.getUrl().equals("https://ru.wikipedia.org/wiki/        %D0%98%D0%B3%D0%BE%D1%80%D1%8C_        %D0%A0%D1%8E%D1%80%D0%B8%D0%BA%D0%BE%D0%B2%D0%B8%D1%87")); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テストを成功させるには、PersonPageページに人間の子供のURLを決定するメソッドを追加する必要があります。

 public List<Person> getChildrenUrl() throws MalformedURLException {    List<WebElement> childrenLinks = driver.findElements(        By.xpath("//table[contains(@class, 'infobox')]//tr[th[.=':']]//a"));    List<Person> children = new ArrayList<Person>();    for (WebElement link : childrenLinks) {        Person person = new Person(link.getAttribute("href"));        children.add(person);    }    return children; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現時点では、ウィキペディアのページの子供たちは献身的ではない可能性があるため、ページへのリンクがないという事実を無視します。 たとえば、 ウラジミールヤロスラビッチ（ガリツキー王子）の子供たちの場合と同様です。 また、たとえばマリア ドブロネギのページやスヴィアトスラフヴセヴォロドヴィッチ（プリンセストラブチェフスキー）のページなど、子孫に関する情報がメインエリアにあるという事実も無視します 。



人の子供の正しい定義を検証するテストを追加します。

上で述べたように、当面は、ウラジミール・ヤロスラヴィチ（ガリシアの王子）とマリア・ドブロネガには子供がなく、 ウラジミール・スビアトスラヴィッチには16人の子供がいたと仮定しますが、ウィキペディアは彼には名前で未知の娘が5人いると主張しています。

 @Test public void testChildrenSize() throws Exception {    driver.navigate().to("https://ru.wikipedia.org/wiki/");    PersonPage page = new PersonPage(driver);    List<String> children = page.getChildrenUrl();    assertTrue(children.size() == 1);    driver.navigate().to("https://ru.wikipedia.org/wiki/_");    children = page.getChildrenUrl();    assertTrue(children.size() == 16);    driver.navigate().to("https://ru.wikipedia.org/wiki/__(_)");    children = page.getChildrenUrl();    assertTrue(children.size() == 0);    driver.navigate().to("https://ru.wikipedia.org/wiki/_");    children = page.getChildrenUrl();    assertTrue(children.size() == 0); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Personクラスで、個人の一意の識別子（int id）と、子供の識別子が格納される個人の子のリスト（List <Integer> children）のフィールドを追加します。

子の識別子を人の子のリストに追加する方法を開発します。 子は、リストに追加されていない場合にのみリストに追加できます。

 public void setChild(int childId) {    if (!children.contains(childId)) {        children.add(childId);    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、コード全体をテストで覆い、グリーンな結果を達成することを忘れないでください。

子孫検索アルゴリズム

それでは、最も興味深い部分、つまり特定の人物の子孫を見つけるためのアルゴリズムの開発に移りましょう。 mainメソッドでGenerateGenealogicalTreeクラスを作成します。



既に述べたように、最も時間がかかるのはURLの移行であるため、これらの移行の数を最小限に抑える必要があります。 これを行うには、家系図全体が保存される個人のリストを作成します。 このリストで、現在の人のインデックスを覚えておいてください-現在ページにいる人。 インデックスが低い人はすべて「訪問済み」とみなされ、インデックスが高い人（+現在）はすべて「訪問されていない」とみなされます。 現在の人のページに移行し、彼女の基本データが計算された後、インデックスが1つ増加します。 したがって、現在の人は「訪問済み」のカテゴリに分類されます。 そして、残りの「訪問されていない」人をバイパスするだけです。 いつでも、ページがすでに閲覧されている人は知られています。



子孫のリストの最後に現在の人を追加することにより、家系図に新しい「訪問されていない」人がいっぱいになります。 この場合、リストにまだない子供だけを追加して重複がないようにします（このような状況は、夫と妻が両方とも異なる支部の王朝の祖先の子孫である場合に可能です。例： 夫と妻はルーリックの子孫であり、 夫と妻は子孫ですポールI ）。



家系図は、「訪問されていない」人がいないときに構築されると考えられます。 現在の人物のインデックスが家系図のサイズと等しくなったとき。



アルゴリズムは次のとおりです。

1. 指定されたURLに基​​づいて王朝の創設者を作成します
2. 家系図は、王朝の創設者に基づいて作成されます
3. 「訪問されていない」人がいる限り、サイクル内
4. 個人は、家系図の現在のURLに基​​づいて計算されます。 この人物は現在の人物として設定されています。
5. 現在の人物が重複していない場合、彼女の子供のリストが計算され、確立されます。 すべての子がリストに追加されます。
6. 現在の人がすでに「訪問した」人の間で会っている場合、彼女は削除されます。
7. 次の「訪問されていない」人への移行があり、それが「現在」と見なされます。

アルゴリズムコード：

 public final class GenerateGenealogicalTree {    public static void main(String[] args) throws Exception {        String url = getUrl(args);        GenealogicalTree tree = getGenealogicalTreeByUrl(url);        saveResultAndQuit(tree);    }    public static GenealogicalTree getGenealogicalTreeByUrl(String url) throws MalformedURLException {        WebDriver driver = DriverHelper.getDriver();        Person person = new Person(url);        GenealogicalTree tree = new GenealogicalTree(person);        PersonPage page = new PersonPage(driver);        while (tree.hasUnvisitingPerson()) {            String currentUrl = tree.getCurrentUrl();            Person currentPerson = page.getPerson(currentUrl);            tree.setCurrentPerson(currentPerson);            if (!tree.isCurrentPersonDeleted()) {                List<Person> children = page.getChildrenUrl();                tree.setChildren(children);            }            tree.updatingCurrentPerson();        }        driver.quit();        return tree;    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

GenealogicalTreeクラスには、3つのフィールドがあります。List <Person> allPersons-家系図のすべての代表のリスト、int indexCurrentUnvisitedPerson-allPersonsリスト内の現在の人物のインデックス、およびブールisCurrentPersonDeleted-「現在の」人物が削除されたかどうかのサイン複製）。

 public final class GenealogicalTree {    private List<Person> allPersons;    private int indexCurrentUnvisitedPerson;    private boolean isCurrentPersonDeleted; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

初期化は王朝の「祖先」に基づいて行われます-私たちが探している子孫を持つ最初の人：

 public GenealogicalTree(Person person) {    if (person == null) {        throw new IllegalArgumentException("   ");    }    allPersons = new ArrayList<Person>();    allPersons.add(person);    indexCurrentUnvisitedPerson = 0;    isCurrentPersonDeleted = false; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この時点で、家系図は現在の「未訪問」の一人で構成されています。 「訪問された」人はいない。



すでに述べたように、「訪問されていない」人の存在のリストのチェックは次のように実行されます。現在の人のインデックスが「終わりに達した」場合、「訪問されていない」人はいないと考えられます。

 public boolean hasUnvisitingPerson() {    return indexCurrentUnvisitedPerson < allPersons.size(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

血統ツリーのURLは、現在の人のURLです。

 public String getCurrentUrl() {    return allPersons.get(indexCurrentUnvisitedPerson).getUrl(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

setCurrentPersonメソッドは、現在の人を特定の人に置き換えます。



最初は、親のページから取得したURLのみを知っています。 したがって、この情報だけを持つ人が家系図に追加されます。 実際、すべての「未訪問」の人は単なるURLです。 setCurrentPersonメソッドは、インデックスが「彼女に到達」し、その人物が最新になった後、その人物を「明確にします」。



インストール済みの「洗練された」人が既に会ったことがある場合（これは、現在の人のURLから以前に遭遇したページの1つにリダイレクトが発生した場合に可能です）、現在の人は削除されます。 その後、現在の人物は削除済みとしてマークされます。 指定された人物が以前に発生していない場合、彼女は現在の人物を「置き換え」ます。 この場合、個人は削除されたとは見なされません。



「以前に会う」という概念は、「訪問した」人だけをチェックすることを意味します。 「未訪問」はチェックされません。 理論的には、現在の人のURLがURLにリダイレクトされると、「未訪問」の「後で」発生する可能性があります。 しかし、これは非常にまれな状況であり、アレイ全体を毎回「実行」する価値はありません。 このまれなケースでは、キューが「到達」したときに重複が削除され、現在の人のインデックスはリダイレクトが発生したURLを持つ人を示します。

 public void setCurrentPerson(Person currentPerson) {    int indexDuplicate = allPersons.indexOf(currentPerson);    if ((0 <= indexDuplicate) && (indexDuplicate < indexCurrentUnvisitedPerson)) {        removePerson(indexDuplicate);    } else {        allPersons.get(indexCurrentUnvisitedPerson).copyMainData(currentPerson);        isCurrentPersonDeleted = false;    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

indexOf（オブジェクトオブジェクト）メソッドが正しく機能するためには、Personクラスのequals（オブジェクトオブジェクト）およびhashCode（）メソッドをオーバーライドする必要があります。

 @Override public boolean equals(Object object) {    if ((object == null) || (!(object instanceof Person))) {        return false;    }    Person person = (Person) object;    return this.url.equals(person.url); } @Override public int hashCode() {    return this.url.hashCode(); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

リストに人の存在を常に確認する必要があるのはなぜですか？

重複の発生は、多くの理由で可能です：

1. 父性は確実に不明です。 たとえば、 Svyatopolk the Accursedの場合、父親はYaropolk SvyatoslavichまたはVladimir Svyatoslavichのいずれかです。
2. 両方の親は、異なるブランチのRurikの子孫です。 例： ルリックの8世代目の子孫であるグレブヴセスラビッチは、 同じくルリックの子孫であるアナスタシア ヤロポルコヴナと結婚しました（4人目のいとこであり姉妹です）。
3. ページの誤り： Vsevolod Mstislavichが息子のVolodar Glebovichを持っているのは疑わしい。彼の両親は他の人も記録しており、Rurikovich王朝に属していた。 ほとんどの場合、Wikipediaの単なる誤植です

これらの重複が排除されない場合、新しい繰り返しが生成されます。 重複のすべての子孫は、2回または3回さえ回避されます（ Volodar Glebovichの場合）。



次に、重複している人をリストから削除することを検討してください。 削除される人は、家系図のメンバーの子のリストに含まれている場合があります。 たとえば、両方の親が同じ王朝の代表者である場合、一方の親は「子」の1つのページへのリンクを持ち、もう一方は最初のページにリダイレクトされます。 重複が「単に」削除された場合、2番目の親は存在しない人物へのリンクを持つことになります。



したがって、現在の人物を削除する前に、すべての「訪問済み」人の子供の識別子のリストで見つかった一致の識別子を置き換える必要があります（「未訪問」の子供はそうではありません）。



削除後、現在の人は削除済みとしてマークされます。

 private void removePerson(int indexDuplicate) {    int idRemovedPerson = allPersons.get(indexCurrentUnvisitedPerson).getId();    int idDuplicate = allPersons.get(indexDuplicate).getId();    for (int i = 0; i < indexCurrentUnvisitedPerson; i++) {        Person person = allPersons.get(i);        person.replaceChild(idRemovedPerson, idDuplicate);    }    allPersons.remove(indexCurrentUnvisitedPerson);    isCurrentPersonDeleted = true; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Personクラスで、「子」置換メソッドを追加します。

 public void replaceChild(int oldId, int newId) {    if (oldId == newId) {        return;    }    if (!children.contains(oldId)) {        return;    }    children.remove((Object) oldId);    setChild(newId); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現在の人に子供を追加することを検討してください。



入り口では、子供として最新に設定する必要がある人々のリストを取得します。

重複の検索の主な違いは、「訪問済み」の人だけでなく、「未訪問の」人の間でも検索することです。 家系図全体の中。

現在の人物が削除されると、例外がスローされます。 実際、子供をインストールする人はいません。



削除されない場合は、パラメーターとして渡されたリストを調べます。 子がすでに家系図に含まれている場合、見つかった重複の識別子が子のリストに追加されます。 子が家系図にない場合、その識別子が子のリストに追加され、さらに子自身が家系図の最後の「訪問されていない」人のリストに追加されます。



したがって、setChildren（）メソッドを使用すると、リストに「データが入力されます」。

 public void setChildren(List<Person> children) {    if (isCurrentPersonDeleted) {        throw new IllegalArgumentException(            "    .    ");    }    for (Person person : children) {        int index = allPersons.indexOf(person);        int id;        if (index >= 0) {            id = allPersons.get(index).getId();        } else {            allPersons.add(person);            id = person.getId();        }        allPersons.get(indexCurrentUnvisitedPerson).setChild(id);    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現在の人物のカウンターを更新する必要があります。そうしないと、家系図が作成されません。 これは次のように発生します。現在の人物が削除された場合、次の「訪問されていない」人物は既に彼女の場所にいるので、削除された人物のサインを現在の人物から単に「削除」するだけで十分です。 現在の人物が削除されていない場合、すべてのデータが「満たされている」とみなし、次の「訪問されていない」人物に進みます。

 public void updatingCurrentPerson() {    if (isCurrentPersonDeleted) {        isCurrentPersonDeleted = false;    } else {        indexCurrentUnvisitedPerson++;    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

クロールは世代ごとに実行されます：最初に王朝の創始者（0世代）、次に彼のすべての子供（1世代）から最年長から最年少（ウィキペディアのURLがその順序にある​​ことを意味します）、次に孫（2世代） ）（年長の長男の子、次に次男のように最年少まで）、great孫（第3世代）など、最後の王朝の代表者まで。



当然、すべてが意図したとおりに機能することを確認するために、テストでコードカバレッジを最大100％にすることを忘れないでください。 テストの説明はjavadocで入手できます。



ここで言及する価値のあることの1つは、GenealogicalTreeクラスは非常に安全ではないため、系図ツリー生成アルゴリズムの外部（GenerateGenealogicalTree以外）で使用すると、簡単に正しく動作しない可能性があることです。 この状況での唯一の正しい解決策は、GenerateGenealogicalTreeの内部プライベートクラスとしてこのクラスを転送することです。 しかし、アルゴリズムのテストの利便性のために、これはまだ行われていません。

プログラムを実行します。

結果をデータベースに記録する

最初の実行は、意図的に誤った結果を除外するために、何らかの方法で分析する必要がある膨大なデータがあることを示しています。 今後、2017年9月17日にウィキペディアで3448ページのRurikの直系の子孫が見つかったことをお知らせします。 データベース内のこの量の情報を処理する最も簡単な方法。



まず、ローカルデータベースを拡張します。これをgenealogicaltreeと呼びます。 パスワードのない標準のrootユーザーで。 データベースと対話するには、標準のMySQL JDBC Type 4ドライバーライブラリを使用します。



次に、データベースとやり取りするための新しいクラスと、指定された名前で家系図をテーブルに保存するメソッドを作成します。

 public class MySqlHelper {    private static final String url = "jdbc:mysql://localhost:3306/genealogicaltree"        + "?serverTimezone=UTC&useUnicode=yes&characterEncoding=UTF-8";    private static final String user = "root";    private static final String password = "";    private static Connection connection;    private static Statement statement;    private static ResultSet resultSet;    public static void saveTree(String tableName, List<Person> tree) throws MalformedURLException {        try {            connection = DriverManager.getConnection(url, user, password);            statement = connection.createStatement();            String table = createTable(tableName);            statement.executeUpdate(table);            for (Person person : tree) {                String insert = insertPerson(tableName, person);                statement.executeUpdate(insert);            }        } catch (SQLException sqlEx) {            sqlEx.printStackTrace();        } finally {            try {                connection.close();            } catch (SQLException se) {            }            try {                statement.close();            } catch (SQLException se) {            }        }    }    private static String createTable(String tableName) {        StringBuilder sql = new StringBuilder();        sql.append("CREATE TABLE " + tableName + " (");        sql.append("id INTEGER not NULL, ");        sql.append("name VARCHAR(255), ");        sql.append("url VARCHAR(2048), ");        sql.append("children VARCHAR(255), ");        sql.append("PRIMARY KEY ( id ))");        return sql.toString();    }    private static String insertPerson(String tableName, Person person) {        StringBuilder sql = new StringBuilder();        sql.append("INSERT INTO genealogicaltree." + tableName);        sql.append("(id, name, url, nameUrl, children, parents, numberGeneration) \n VALUES (");        sql.append(person.getId() + ",");        sql.append("'" + person.getName() + "',");        sql.append("'" + person.getUrl() + "',");        sql.append("'" + person.getChildren() + "',");        sql.append(");");        return sql.toString();    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

生成結果の保存を確定します。

 private static void saveResultAndQuit(GenealogicalTree tree) throws Exception {    Timestamp timestamp = new Timestamp(System.currentTimeMillis());    String tableName = "generate" + timestamp.getTime();    MySqlHelper.saveTree(tableName, tree.getGenealogicalTree()); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初の結果の分析

GenerateGenealogicalTree.main（）の最初の実行では、多くのレコードが返されました。このレコードをすばやく調べると、存在しないエラーページの存在が明らかになります。



エラーをカテゴリに分けましょう：

1. その年は子供のリストに載っていました（たとえば、 ヤロスラフ・スヴィアトスラヴォヴィッチのページの1153 ）
   
   
2. 非ロシア語の記事： フランスのアデレード、フランス王ルイ7世の娘
3. 同じ「ルイ7世」から登場した「不正な子」ページ
4. リストにあるこのような外部ページ、たとえば、 Galerand IV de Beaumontから
5. 「ページを作成しています。」 たとえば、 アンナ・ユリエヴナ 、 テュロフ王子の娘、 ユーリ ・ヤロスラヴィッチ

故意に誤ったページを排除するために、子のページを決定するgetChildrenUrl（）メソッドをファイナライズします。 カテゴリ1に分類されないようにするには、テキストコンテンツが数字で始まるリンクを削除する必要があります。 カテゴリ2に分類されないようにするには、クラスがextiwであるリンクを削除する必要があります。3-4のカテゴリを避けるために、親タグがsup（修飾リンク）であるリンクを除外する必要があります。リストからカテゴリ5を削除するには、クラスが新しいリンクを除外する必要があります（ページ作成）。



まず、リンクカーブのすべてのカテゴリのチェックを追加して、testChildrenSize（）テストを改良しましょう。

 driver.navigate().to("https://ru.wikipedia.org/wiki/_"); children = page.getChildrenUrl(); assertTrue(children.size() == 3); driver.navigate().to("https://ru.wikipedia.org/wiki/_VII"); children = page.getChildrenUrl(); assertTrue(children.size() == 5); driver.navigate().to("https://ru.wikipedia.org/wiki/_IV__,___"); children = page.getChildrenUrl(); assertTrue(children.size() == 0); driver.navigate().to("https://ru.wikipedia.org/wiki/__(_)"); children = page.getChildrenUrl(); assertTrue(children.size() == 5);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テストは予想通り赤です。



getChildrenUrl（）メソッドを終了します：

 public List<Person> getChildrenUrl() throws MalformedURLException {    waitLoadPage();    List<WebElement> childrenLinks = getChildrenLinks();    List<Person> children = new ArrayList<Person>();    for (WebElement link : childrenLinks) {        if (DriverHelper.isSup(link)) {            continue;        }        Person person = new Person(link.getAttribute("href"));        person.setNameUrl(link.getText());        if (person.isCorrectNameUrl()) {            children.add(person);        }    }    return children; } private List<WebElement> getChildrenLinks() {    List<WebElement> childrenLinks = DriverHelper.getElements(driver,        By.xpath("//table[contains(@class, 'infobox')]//tr[th[.=':']]" +                "//a[not(@class='new' or @class='extiw')]"));    return childrenLinks; } private void waitLoadPage() {    this.driver.findElement(By.cssSelector("#firstHeading")); } public final class DriverHelper {    /**    *       .<br>    *      -  ,       *    ,          * ,   ,     .       *    ,    ,       * .    */    public static List<WebElement> getElements(WebDriver driver, By by) {        driver.manage().timeouts().implicitlyWait(0, TimeUnit.SECONDS);        List<WebElement> result = driver.findElements(by);        driver.manage().timeouts().implicitlyWait(DriverHelper.TIMEOUT, TimeUnit.SECONDS);        return result;    }    public static boolean isSup(WebElement element) {        String parentTagName = element.findElement(By.xpath(".//..")).getTagName();        return parentTagName.equals("sup");    } } public class Person {    private String nameUrl;    public boolean isCorrectNameUrl() {        Pattern p = Pattern.compile("^[\\D]+.+");        Matcher m = p.matcher(nameUrl);        return m.matches();    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

nameUrlは、親のページにある人のリンクの名前です。

テストのセット全体を追い越しましょう-緑に変わりました。



Rurikにはウィキペディアのロシア語ページに専念する子孫がたくさんいるので、最初にロマノフ氏族の最初の王であるミハイルフェドロヴィッチのプログラムを実行します。開始し、終了を待って結果を分析します。

ロマノフ

383 ( , , , 18 II ), , , , , II , . , , .



. :

1. -
2. , — V , — I -

これらの誤ったページは、子に別のページがない場合のアンカー付きのURLの結果であり、彼に関する情報は、最初の場合のように親のページに保存されるか、2番目のようにすべての子の別のページに保存されます。



あなたの目を引く最初のことは、子孫の王朝のこれらの代表者が自分自身を残していないということです。 （もちろん、まだ成長する時間がなかったオランスコ・ナッソーのフリソの娘を除いて）幼い子供として亡くなった

ため、getChildrenUrl（）メソッドを安全に変更して、現在のURLにアンカーがある場合は空のリストを返すことができます。これは、「アンカー」を持つ人が、親としての子を子として確立しないようにする必要があります。最初の誤った入力の場合のように、自分の兄弟姉妹。

 public List<Person> getChildrenUrl() {    waitLoadPage();    if (DriverHelper.hasAnchor(driver)) {        return new ArrayList<Person>();    }    ... } public final class DriverHelper {    ...    public static boolean hasAnchor(WebDriver driver) throws MalformedURLException {        URL url = new URL(driver.getCurrentUrl());        return url.getRef() != null;    }    ... }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

新しいテストを追加し、アンカーを含むURLを持つ人に子供がいないことを確認します。

 @Test public void testEmptyChildrenInPersonWithAnchor() throws Exception {    driver.navigate().to("https://ru.wikipedia.org/wiki/_");    PersonPage page = new PersonPage(driver);    List<String> children = page.getChildrenUrl();    assertTrue(children.size() == 5);    driver.navigate().to(        "https://ru.wikipedia.org/wiki/_#.D0.A1.D0.B5.D0.BC.D1.8C.D1.8F");    children = page.getChildrenUrl();    assertTrue(children.size() == 0); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

テストセット全体を再実行して、破損していないことを確認します。



子孫が計算されていない場合、アンカーでURLをナビゲートするポイントは何ですか？もちろん、子孫は特定できませんが、他の情報を得ることができます：人の名前や、例えば、生年月日。したがって、将来の機能拡張のために、そのようなURLを「保存」することをお勧めします。

「アンカー」による名前の計算

これらのほとんどの場合、人の名前は「アンカー」を使用して計算できます。名前は、「アンカー」の値に等しい識別子を持つタグのテキストコンテンツです。

getName（）メソッドを完成させます：

 private String getName() throws MalformedURLException {    waitLoadPage();    String namePage = driver.findElement(By.cssSelector("#firstHeading")).getText();    if (!DriverHelper.hasAnchor(driver)) {        return namePage;    }    String anchor = DriverHelper.getAnchor(driver);    List<WebElement> list = DriverHelper.getElements(driver, By.id(anchor));    if (list.size() == 0) {        return namePage;    }    String name = list.get(0).getText().trim();    return name.isEmpty() ? namePage : name; } public final class DriverHelper {    ...    public static String getAnchor(WebDriver driver) throws MalformedURLException {        URL url = new URL(driver.getCurrentUrl());        return url.getRef();    }    ... }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

現在のURLに「アンカー」が含まれている場合、「アンカー」に等しい識別子を持つ要素のページ上の存在を確認する必要があります。以下の場合のように、それは、存在することはできませんナタリア娘- のピーターIのは。Peterのページのリンクには、Nataliaの「アンカー」に対応しない、既に存在しない「アンカー」が含まれています。



また、識別子「anchor」を持つタグに空でないテキストが含まれていることを確認し、そうでない場合はページ名を返すことも必要です。そうしないと、たとえばDemyan Glebovichの場合のように、空の名前が決定され、プログラムは例外でクラッシュします。

テストは再び緑色になりました。

リンク名、親、世代番号を追加する

問題は残っています。ウラジミール・アレクサンドロヴィチの長男アレクサンダーの名前は「家族」と定義されています。これで何をする？



人の名前は、リンク自体の計算中に、親のページからこの人へのリンクのコンテンツから計算することもできます。 getChildrenUrl（）メソッド内。この名前は、年が子リンクのリストから除外された時点で既に計算され、変数nameUrlに格納されています。



もちろん、変更したコード全体をテストでカバーすることを忘れないでください。



改訂の結果、今ではその人には2つの「名前」があり、そのうちの1つは確かに「参考になる」はずです。明らかな理由で、例外は王朝の祖先であり、nameUrlには何でもかまいません（明確にするために値 ""を割り当てます）。



Romanovsのプログラムを再実行し、リファクタリング前に収集されたデータとデータを検証します。



これは、アンカーを含むURLの外観です。

id	お名前	子どもたち	url	urlName
8	ペラギア	[]	参照	ペラギア
9	マーサ	[]	参照	マーサ
10	ソフィア	[]	参照	ソフィア
15	アンナ	[]	参照	アンナ
23	エヴドキア（若い）	[]	参照	エヴドキア
26	セオドラ	[]	参照	セオドラ
28	マリア	[]	参照	マリア
29日	テオドシウス	[]	参照	テオドシウス
36	ピーターIの子供	[]	参照	ナタリア
133	家族	[]	参照	アレキサンダー
360	結婚と子供	[]	参照	ルアナ・オランスコ・ナッソー

リンクの名前を追加しても、トレースなしではパスしませんでした。 Rurikのプログラムの実行は、nameUrlにアポストロフィを持つ値 "Henry II d'Albre"が含まれているため、Henry II（King of Navarre）のinsertステートメントの違反を除き、予期せずクラッシュしました。 PersonクラスのsetNameおよびsetNameUrlメソッドを改良し、指定された値をアポストロフィなしで保存します。



ウィキペディアには、Rurikの約3万5千人の子孫がいたことを思い出させてください。この情報を表に表示すると、非常に大きなページが表示されますスクロールにうんざりします。プレート全体を見るだけでなく、与えられた代表者と王朝の祖先とのつながりを強調する機会があること（つまり、与えられた代表者の祖先までのすべての祖先を選択すること）は興味深いでしょう。また、彼がどのような世代であるかを知ることもできます。



この新しい機能を実装しやすくするために、Personクラスに世代番号と親のリストのフィールドを追加します（増加する関係を構築しやすくするため）。

 private List<Integer> parents = new ArrayList<Integer>(); private int numberGeneration = 0; public void setParent(int parent) {    parents.add(parent); } public void setNumberGeneration(int numberGeneration) {    if (this.numberGeneration == 0) {        this.numberGeneration = numberGeneration;    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ほとんどの場合、親は1つですが、両方の親が異なるブランチからの王朝の祖先の子孫であり、その後、2つの親が存在する場合があります。エラーの例は、3人が同じ人の親（最初、2番目、3番目、「共通」の子、およびすべてのルリコビッチ）を一度に「持っている」場合にも与えられました。もちろん、生理学的にはこれは不可能であり、アノードのように判明しますが、残念ながら、誰が「余分」であるかを自動的に判断することはできないため、全員を救う必要があります。



明らかに、親のリストには王朝の代表者しか存在できず、祖先までの王朝の代表者のすべての祖先を「収集」するのは非常に簡単です。名前はこの情報にすぎません。



膝の数については、最初の親から一度だけ設定されます。子を参照する2番目の親が表示された瞬間、世代番号は更新されなくなります。なぜなら血統ツリーが世代によってトラバースされる場合、最初の親の世代番号が最初の親の膝番号以上になることは明らかです。つまり、「最初の親」を介して接続を構築する方が迅速です。



GenerateGenealogicalTreeクラスのsetChildren（List <Person> children）メソッドで世代番号と親IDを設定します。

 public void setChildren(List<Person> children) {    if (isCurrentPersonDeleted) {        throw new IllegalArgumentException(            "    .    ");    }    Person currentPerson = allPersons.get(indexCurrentUnvisitedPerson);    int numberGeneration = currentPerson.getNumberGeneration();    numberGeneration++;    int idParent = currentPerson.getId();    for (Person person : children) {        int index = allPersons.indexOf(person);        int id;        if (index >= 0) { //  ,                allPersons.get(index).setParent(idParent);            id = allPersons.get(index).getId();        } else { //              person.setNumberGeneration(numberGeneration);            person.setParent(idParent);            allPersons.add(person);            id = person.getId();        }        currentPerson.setChild(id);    } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、コード全体をテストでカバーすることを忘れないでください-これがすぐに行われないと、コードの混乱を把握するのが難しくなります。

最終結果

いくつかの系統樹を形成し、結果を見る時が来ました：

アダム-地球上で最初の人

ジンギスカン-

ロマノヴァ・

ルリコヴィッチ（3452人が長い間開いている）の歴史の中で最も偉大な征服者。



ページの説明：



a）名前をクリックすると、Wikipediaの人のページが開きます;

b）[いいえ]をクリックすると、指定した人と先祖のつながりのページが開きます。たとえば、英国のエリザベス女王2世がRurikの29代目の子孫であることを証明するページがあります。

c）親と子のフィールドの識別子をクリックすると、ページがこの人の行にスクロールします。



結果は、例えば、最後のロシア皇帝がニコラス2世は、28代目のルーリックの子孫でした。さらに、ピーターIIIとキャサリンIIから始まるすべてのロシア皇帝は、異なる支部のルーリックの子孫でした。



プロジェクト



PS 24-09-2017 のソースコード

ツリーの実装

ツリー内のデータを視覚化するために、InfoVis Toolkit JavaScriptライブラリーを使用しました。

リストではなく、ツリーの形でツリーの系図へのリンク：

Adam

Genghis Khan

Romanovs

Rurikovich



PS 10-22-2017

ウィキデータを使用したツリー生成

コメントが正しく促されたので、Wikidataを生成に使用することをお勧めします。改善は小さいことが判明しました。詳細については、こちらをご覧ください。

結果は次のとおりです。

アダム -31人ではなく243人の

ジンギスカン -33人ではなく405人の代表