A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network

TL;DR

This paper investigates language structures by comparing morphological features and develops a neural network that can identify languages based on sentence structure, revealing structural traits as key identifiers.

Contribution

It introduces a method to analyze language similarity through morphology and sentence structure, and presents a neural network that classifies languages using sentence structure alone.

Findings

Languages group by similarity in morphology and sentence structure.

Sentence structure alone can distinguish between languages.

Developed neural network successfully classifies languages based on sentence structure.

Abstract

Natural languages are complexly structured entities. They exhibit characterising regularities that can be exploited to link them one another. In this work, I compare two morphological aspects of languages: Written Patterns and Sentence Structure. I show how languages spontaneously group by similarity in both analyses and derive an average language distance. Finally, exploiting Sentence Structure I developed an Artificial Neural Network capable of distinguishing languages suggesting that not only word roots but also grammatical sentence structure is a characterising trait which alone suffice to identify them.

Tables

Table 1. Table 1: Most frequent two-characters and three-character sequences for each language. * Some characters in the Urdu language were not converted into Latin alphabet

Arabic al, an, ha, la, dh dha, ala, hdh, aan, alm	Basque en, ar, er, te, an tze, zen, eta, egi, bat	Bulgarian na, da, se, va, to ata, ite, ova, ava, tov	Catalan es, en, er, qu, ar que, per, est, ent, sta	Chinese an, ng, sh, en, ia ang, ian, shi, hen, xia	Croatian je, st, ti, ne, li ije, sto, sam, ati, sta
Czech ne, te, se, st, na ste, sem, pro, jse, sta	Danish er, de, en, et, or jeg, det, kke, der, for	Dutch en, er, et, ee, de aar, een, het, iet, nie	English th, he, ou, in, er the, you, ing, hat, and	Estonian le, se, ta, ma, te ole, lle, kui, sel, sin	Finnish ta, an, in, aa, en tta, sta, aan, lla, taa
French ou, es, re, le, en ous, vou, que, ais, est	Galician es, de, on, en, os que, non, est, ent, sta	German ch, en, er, ie, ic ich, ein, cht, sie, sch	Greek ei, to, ou, te, na eis, tha, nai, the, ein	Hebrew wt, ny, ym, hy, hw hyy, ywt, hyh, kwl, shw	Hindi ha, ra, ai, ar, ka ara, hai, aha, aim, ata
Hungarian el, gy, en, eg, sz nem, meg, egy, sze, ogy	Indonesian an, ka, ng, ak, da ang, kan, men, aku, nya	Italian er, re, on, no, to che, non, per, ent, are	Japanese an, sh, hi, in, ng shi, ian, ang, hit, ing	Korean eo, eu, an, ul, on eul, eon, eun, yeo, neu	Latvian ie, es, ka, as, ta vin, ies, man, ina, par
Lithuanian ai, as, ka, is, ta tai, man, iau, kad, pas	Norwegian er, en, de, et, eg jeg, det, kke, ikk, for	Persian sh, kh, my, ay, wn khw, ayn, ash, awn, dar	Polish ie, ni, ze, na, sz nie, dzi, wie, sie, rze	Portuguese es, ar, qu, de, ra que, nao, est, sta, com	Romanian in, ca, re, ar, at est, are, ine, int, ste
Russian to, na, ne, et, st cto, eto, ego, ost, pro	Slovak ne, to, st, na, ie som, nie, pre, sta, pri	Slovenian je, se, ne, po, na kaj, sem, pri, pre, bil	Spanish es, en, de, er, ue que, est, ent, sta, ien	Swedish ar, an, de, en, er jag, det, att, for, har	Tamil ka, an, al, na, tu kal, nka, atu, nan, lla
Turkish in, ir, ar, an, en bir, yor, ini, sin, iyo	Urdu* y?, my, ?y, ??, ky ?y?, my?, n?y, ayk, awr	Vietnamese ng, oi, on, an, nh ong, toi, hon, ung, kho

Table 2. Table 2: Most frequent grammatical three-elements-structures consisting of three different part-of-speech elements used for each language.

Arabic ar VERB ADP NOUN PART VERB NOUN CCONJ VERB NOUN NOUN PART VERB ADJ ADP NOUN	Basque eu PRON NOUN VERB NOUN DET VERB DET NOUN VERB CCONJ NOUN VERB NOUN ADV VERB	Bulgarian bg VERB ADP NOUN PRON VERB ADP ADP ADJ NOUN ADP NOUN PRON VERB NOUN ADP	Catalan ca ADP DET NOUN VERB DET NOUN DET NOUN ADP NOUN ADP DET VERB ADP DET	Chinese zh ADJ NOUN ADV NOUN PROPN ADV ADJ ADV NOUN PROPN ADV NOUN ADV PROPN NOUN	Croatian hr VERB ADP NOUN ADP DET NOUN ADP ADJ NOUN VERB DET NOUN PRON VERB ADP
Czech cs VERB ADP NOUN ADP DET NOUN ADP ADJ NOUN VERB DET NOUN DET ADJ NOUN	Danish da ADP DET NOUN VERB PRON ADV DET ADJ NOUN PRON VERB ADV ADV VERB PRON	Dutch nl ADP DET NOUN DET NOUN ADP VERB PRON ADV DET ADJ NOUN PRON VERB ADV	English en ADP DET NOUN DET NOUN ADP VERB DET NOUN DET ADJ NOUN NOUN ADP DET	Estonian et VERB PRON NOUN PRON NOUN VERB PRON VERB NOUN PRON ADV VERB ADV PRON VERB	Finnish fi VERB PRON NOUN PRON VERB NOUN VERB PRON ADV VERB ADV NOUN VERB ADJ NOUN
French fr ADP DET NOUN VERB DET NOUN DET NOUN ADP NOUN ADP DET VERB ADP DET	Galician gl VERB DET NOUN DET NOUN ADP DET NOUN VERB PRON VERB DET DET NOUN ADJ	German de ADP DET NOUN DET NOUN VERB DET ADJ NOUN DET NOUN ADP PRON VERB ADV	Greek el VERB DET NOUN DET NOUN PRON ADP DET NOUN PART VERB DET PRON DET NOUN	Hebrew he VERB ADP NOUN PRON VERB NOUN PRON ADV VERB VERB PART NOUN ADV VERB NOUN	Hindi hi PRON NOUN ADP ADP NOUN VERB PRON NOUN VERB NOUN ADP VERB DET NOUN ADP
Hungarian hu VERB DET NOUN DET ADJ NOUN ADV DET NOUN PRON DET NOUN DET NOUN VERB	Indonesian id PRON ADV VERB VERB ADP NOUN ADV VERB NOUN PRON VERB NOUN PROPN ADV VERB	Italian it VERB DET NOUN ADP DET NOUN DET NOUN ADP DET ADJ NOUN NOUN ADP DET	Japanese ja NOUN PART ADV NOUN PART ADJ PART ADV NOUN NOUN PART PROPN NOUN PART CCONJ	Korean ko NOUN ADV VERB ADV VERB NOUN ADV NOUN VERB VERB NOUN ADV NOUN VERB ADV	Latvian lv PRON VERB NOUN PRON VERB ADV SCONJ PRON VERB VERB ADP NOUN PRON ADV VERB
Lithuanian lt PRON VERB NOUN VERB ADP NOUN PRON NOUN VERB ADP DET NOUN VERB DET NOUN	Norwegian-Bokmaal no VERB PRON ADP PRON VERB ADP PRON VERB ADV ADP DET NOUN DET ADJ NOUN	Persian fa ADP PRON NOUN PRON NOUN VERB NOUN ADP PRON ADP NOUN VERB PRON ADP NOUN	Polish pl VERB ADP NOUN VERB PRON ADP PRON ADP NOUN ADP DET NOUN ADP ADJ NOUN	Portuguese pt VERB DET NOUN ADP DET NOUN DET NOUN ADP DET NOUN ADV DET NOUN VERB	Romanian ro VERB ADP NOUN ADP NOUN DET DET NOUN ADP PART PRON VERB NOUN ADP PRON
Russian ru VERB ADP NOUN ADP ADJ NOUN PRON PART VERB ADP DET NOUN VERB ADP PRON	Slovak sk VERB ADP NOUN ADP DET NOUN SCONJ PRON VERB VERB DET NOUN ADP ADJ NOUN	Slovenian sl VERB ADP NOUN ADP DET NOUN ADP ADJ NOUN VERB DET NOUN SCONJ PRON VERB	Spanish es ADP DET NOUN VERB DET NOUN DET NOUN ADP NOUN ADP DET VERB ADP DET	Swedish sv PRON VERB ADV ADP DET NOUN ADV VERB PRON DET ADJ NOUN VERB PRON ADV	Tamil ta PRON ADJ NOUN PRON DET NOUN PRON NOUN ADJ ADV PRON NOUN PRON ADV NOUN
Turkish tr PRON NOUN VERB ADJ NOUN VERB NOUN ADJ VERB ADV NOUN VERB DET NOUN VERB	Urdu ur ADP NOUN VERB PRON ADP NOUN PRON NOUN ADP NOUN PRON ADP NOUN ADP VERB	Vietnamese vi PROPN VERB NOUN VERB ADP NOUN VERB NOUN PROPN VERB NOUN ADP NOUN VERB PROPN

Table 3. Table 3: Artificial Neural Network performance for each languages. Some languages are predicted with an F-Score of 1, some others, like Czech and Slovak which are some what harder to recognise due to the fact that they are cognate languages

	Precision	Recall	F-score
Arabic	0,99	1	1
Basque	1	1	1
Bulgarian	0,96	0,98	0,97
Catalan	0,96	0,98	0,97
Chinese	1	1	1
Croatian	0,74	0,62	0,67
Czech	0,81	0,9	0,85
Danish	0,96	0,93	0,94
Dutch	0,99	0,98	0,99
English	1	1	1
Estonian	0,98	0,96	0,97
Finnish	0,96	0,98	0,97
French	0,97	0,99	0,98
Galician	1	1	1
German	0,98	0,99	0,99
Greek	0,99	1	1
Hebrew	1	1	1
Hindi	0,99	1	0,99
Hungarian	1	1	1
Indonesian	1	0,99	0,99
Italian	0,98	0,96	0,97
Japanese	1	1	1
Korean	1	1	1
Latvian	0,99	1	1
Lithuanian	0,99	0,99	0,99
Norwegian	0,95	0,98	0,96
Persian	1	1	1
Polish	0,95	0,92	0,93
Portuguese	0,97	0,97	0,97
Romanian	0,99	0,98	0,99
Russian	0,94	0,96	0,95
Slovak	0,82	0,76	0,79
Slovenian	0,78	0,86	0,82
Spanish	0,99	0,97	0,98
Swedish	0,96	0,99	0,97
Tamil	1	1	1
Turkish	1	0,98	0,99
Urdu	0,98	0,95	0,97
Vietnamese	1	1	1

Table 4. Ταβλε 3: Λιςτ οφ λανγυαγες αναλψςεδ ωιτη τηειρ λανγυαγε ςοδες, νυμβερ οφ πηραςες ρεμαινινγ αφτερ πρεπροςεςςινγ ανδ νυμβερ οφ φεατυρες (δι-γραμς ανδ τρι-γραμς) ςονςιδερεδ φορ εαςη λανγυαγε φορ ωριττεν ανδ ςτρυςτυραλ αναλψςες. Σομε λανγυαγες ηαε φεωερ ΠΟΣ-τρι-γραμς τηαν οτηερς ϑυςτ βεςαυςε οφ τηειρ νατυρε, φορ εξαμπλε αγγλυτινατιονς (Φιννιςη ανδ Τυρϰιςη) ανδ τηε ςςαρςιτψ ορ λαςϰ οφ ινφλεςτιονς ανδ αβυνδανςε οφ παρτιςλες(῝ηινεςε ανδ Θαπανεςε)

Λανγυαγε ανδ ςοδε	῝λεαν ςεντενςες	Νυμβερ οφ φεατυρες Ωριττεν Παττερνς Αναλψςις	Νυμβερ οφ φεατυρες Σεντενςε Στρυςτυρε Αναλψςις
Αραβις αρ	27,924	2,000	2,000
Βαςχυε ευ	46,176	2,000	2,000
Βυλγαριαν βγ	52,102	2,000	2,000
῝αταλαν ςα	47,370	2,000	2,000
῝ηινεςε ζη	10,594	2,000	363
῝ροατιαν ηρ	20,412	2,000	2,000
῝ζεςη ςς	43,662	2,000	2,000
Δανιςη δα	37,864	2,000	2,000
Δυτςη νλ	45,518	2,000	2,000
Ενγλιςη εν	48,742	2,000	2,000
Εςτονιαν ετ	46,107	2,000	2,000
Φιννιςη φι	39,416	2,000	1,775
Φρενςη φρ	47,356	2,000	2,000
Γαλιςιαν γλ	44,031	2,000	2,000
Γερμαν δε	49,045	2,000	2,000
Γρεεϰ ελ	50,821	2,000	2,000
Ηεβρεω ηε	60,004	2,000	2,000
Ηινδι ηι	29,111	2,000	2,000
Ηυνγαριαν ηυ	44,259	2,000	2,000
Ινδονεςιαν ιδ	30,884	2,000	2,000
Ιταλιαν ιτ	45,837	2,000	2,000
Θαπανεςε ϑα	12,287	2,000	727
Κορεαν ϰο	23,850	2,000	775
Λατιαν λ	43,057	2,000	2,000
Λιτηυανιαν λτ	37,068	2,000	2,000
Νορωεγιαν νο	43,486	2,000	2,000
Περςιαν φα	28,821	2,000	2,000
Πολιςη πλ	45,778	2,000	2,000
Πορτυγυεςε πτ	42,995	2,000	2,000
Ρομανιαν ρο	38,009	2,000	2,000
Ρυςςιαν ρυ	42,492	2,000	2,000
Σλοαϰ ςϰ	41,835	2,000	2,000
Σλοενιαν ςλ	39,985	2,000	2,000
Σπανιςη ες	39,794	2,000	2,000
Σωεδιςη ς	43,806	2,000	2,000
Ταμιλ τα	9,755	2,000	1,259
Τυρϰιςη τρ	40,811	2,000	1,761
ϒρδυ υρ	7,127	2,000	2,000
῞ιετναμεςε ι	61,805	2,000	2,000

Table 5. Ταβλε 3: Λιςτ οφ παρτ οφ ςπεεςη ςονςιδερεδ φορ ςεντενςε ςτρυςτυρε αναλψςις.

Ταγ	Παρτ οφ ςπεεςη
ΑΔΘ	αδϑεςτιε
ΑΔΠ	αδποςιτιον
ΑΔ῞	αδερβ
ΑϒΞ	αυξιλιαρψ
῝῝ΟΝΘ	ςοορδινατινγ ςονϑυνςτιον
ΔΕΤ	δετερμινερ
ΙΝΤΘ	ιντερϑεςτιον
ΝΟϒΝ	νουν
ΝϒΜ	νυμερις
ΠΑΡΤ	παρτιςλε
ΠΡΟΝ	προνουν
ΠΡΟΠΝ	προπερ νουν
ΠϒΝ῝Τ	πυνςτυατιον
Σ῝ΟΝΘ	ςυβορδινατινγ ςονϑυνςτιον
ΣΨΜ	ςψμβολ
῞ΕΡΒ	ερβ
Ξ	οτηερ

Full text

**Keywords: **Data Science and Analytics, Artificial Neural Networks, Natural Language Processing, Natural Languages

1 Introduction

The fact that languages evolved branching from common ancestors is a well established concept[1]. There are some regularities and changes that occur in languages which characterise how they are written and how sentences are formed. Centuries of evolution, migrations and influences among people lead to unique marks which can be used to analyse language similarities and differences. Comparative studies are used to reconstruct the phylogeny of languages and to trace back their origins[2].

In recent years, the explosion of open data has lead to an unprecedented proliferation of analyses[3] in fields such as personalised medicine[4], to improve buildings energy[5], the Internet of Things[6] and much more. Data Science and Analytics can now be used in any field to explore new ideas and to support hypotheses. Data Science and Analytics are changing the way we perceive the world. Not only new data generated by social networks are revealing patterns [7], but also data as old as our languages still represent a treasure chest to be opened. Languages contain what I would like to call linguistic fossils which had been petrified by aeons of written and oral strata.

In this work, using a computational approach, I compare two morphological aspects of languages: Written Patterns and Sentence Structure. Written Patterns are simple to grasp as they are the result of common roots, for instance, Latin and Greek roots in many European Languages[8]. Sentence Structure, on the other hand, is a more subtle feature to catch but some patterns do occur with regularity. I combined these two analyses to derive a language similarity tree which takes into account these two aspects.

Several strategies to identify languages have been proposed in the past with good results[9] [10] [11] but, to my knowledge, no approach based exclusively on part of speech and Artificial Neural Networks has been explored. As Sentence Structure analysis proved to be a good language classifier, I trained an Artificial Neural Network to prove that it is possible to recognise a language exclusively from the way sentences a build, neglecting the words themselves thus showing that Sentence Structure is a language specific trait.

2 Results

I started my analysis with two exploratory steps: Written Patters Analysis and Sentence Structure Analysis. By combining these two analyses I derived an Overall Similarity of the languages at study. In both my exploratory analyses I took distinctive elements for each language and calculated their relative frequencies. To compare languages I calculated pair-wise similarities.

In every step of this exploration, languages spontaneously group together in their families and/or groups. The large Indo-European family is clearly distinguishable in every analysis. Romance Languages grouped together, Germanic languages, Uralic languages, Baltic languages, Slavic languages and others. Among other results, the exploratory data analysis revealed a similarity between Turkish and Basque.

Following data exploration, I investigated the possibility of identifying languages from the sentence structure alone. Sentence Structure Analysis indicated that structures among similar languages do differ, thus suggesting they can be used to identify languages without taking words into consideration. To this end, I trained an Artificial Neural Network that can recognise languages only looking at how sentences are structured with an accuracy of 96.85% (ten time cross validated with standard deviation 1.47%).

2.1 Written Patterns Analysis

I analysed 10,000 phrases for each language transliterating them into Latin alphabet and sub-setting them in units of two and three characters.

Example:

The word ”WORD” is broken down into the following

tri-grams: {WOR}, {ORD}

di-grams: {WO}, {OR}, {RD}

The first observation for Written Patterns Analysis is that the Indo-European group (influenced by Latin and Greek) is clearly distinguishable, this can be seen as a positive control; an expected result that had to be true (Figure 1).

Germanic languages form a cluster with the interesting absence of the English language, which is better classified under the Romance Languages group due to the important influence Latin first, and French later, had on it[8][12], making it diverge from Germanic languages (Figure 1). Italian for instance, is closer to French than it is to Spanish, and for linguists this is not a surprise - it is another positive control.

It is interesting to notice how some languages came together as expected. Finnish, Hungarian and Estonian are the languages spoken in three not adjacent countries which are related[13] and known to share common features such as agglutination. The presence of the Turkish language can make this group also be interpreted as the debated Ural-Altaic language family which is currently only a speculation. An interesting result in this group is the Basque language, whose origins are yet to be clarifies - it is not a new theory that Basque and Turkish may be related[14]. Finally, Korean, an isolated language, is actually dangling on its own between Asian languages and European ones.

As an overview of each language, Table 1 lists the 5 most frequent 2-character-elements and 3-character-elements for each analysed language.

2.2 Sentence Structure Analysis

To perform this analysis I tagged each word in each sentence with its role in the phrase. Part-of-speech tags were grouped in sets of three elements like I did for the Written Patterns Analysis.

Example:

auxiliary pronoun adposition determiner noun punctuation

Are you on this boat ?

Is broken down into the following tri-grams:

{AUX, PRON, ADP}, {PRON, ADP, DET}, {ADP, DET, NOUN}, {DET, NOUN, PUNCT}

Structure Structure Analysis is surely harder to comprehend and possibly it does not mean that distant languages are related. On the other hand, languages like Romance Languages are expected to share similar sentence structures due to their common origin.

Also in this second analysis I calculated language distances and drew a tree shown in Figure 2. In this second case though, groups are not intuitive and not easy to comment. I noticed some similarities which confirm Written Pattern Analysis and some groups that are in contrast with it.

Romance Languages are still grouped together, Slavic languages, Uralic languages and others. A good result is the one of the English language whose spelling moved it into the Romance Languages group but its structure moved it to group together with Germanic Languages, where it historically belongs. Italian also in this case, tends to stay closer to French than it is to Spanish.

Another interesting result is, again, the Basque language, which falls close to Turkish[14], with which it might share some feature derived by agglutination. Turkish and Basque similarity is debatable but both my analyses confirm it.

Other similarities such as Korean, Persian and Tamil are harder to comment and need further analyses. Nevertheless, these groups might just be due to POS tagging limits and errors. Table 2 shows most frequent grammatical sentence structures for every language.

To further illustrate that sentence structure hides meaningful language features, I tried to cluster languages considering top 50 and top 1100 sentence structures of three elements. Figure 3 shows how the large Romance and Germanic languages are already clustered with just 50 features. Furthermore, it is interesting to notice how the most frequent sentence structures of the English Language place it in the Romance languages while least frequent structures - possibly more articulated sentences - move the English Language within the Germanic Language family.

Even though this analysis is hard to comment, it does show some regularities that can rise the question if such differences might suffice to identify languages.

2.3 Overall Similarity

I averaged the two distances obtained in Written Pattern Analysis and Sentence Structure Analysis to derive an overall similarity. This Overall Similarity is not intended to be a language classification but maybe it shows how easy it would be for a speaker of one language to learn another language and, maybe most importantly, how easy it would be to actually sound natural when speaking and writing it. In this exploratory analysis I only comment on the Italian language, my first language. I can confirm that despite grammatical and written similarities with French, the overall effort to learn it might actually be more than it is to learn Spanish. The tree in Figure 4 shows the average similarity among the languages at study.

A second analysis I conducted exploits graph theory. I took the same average similarities used to plot the tree and filtered them to keep only similarities with a significance greater than 75% (I used z-score 1.15035). Plotting the remaining pairs I obtained a graph (Figure 5) whose calculated clusters are: Romance Languages, Germanic Languages, Slavic Languages and Uralic Languages. It is interesting to notice the ”bridges” among these clusters. The graph could be read like ”If I speak Italian, learning English could help me stepping into Germanic Languages” or also ”If I speak Italian, learning Romanian could help me stepping into Slavic Languages” or ”If I speak a Romance Language, Uralic Languages can be a challenge”.

2.4 Sentence Structure Aware Artificial Neural Network

While comparing words spelling and roots is a common way to discriminate languages I am not aware of any study which demonstrates the order of parts of speech is a language specific trait.

Can one tell which languages are passages 1 and 2?

particle verb particle verb determiner noun punctuation adverb punctuation noun verb punctuation verb determiner noun noun noun noun punctuation subordinating conjunction particle verb particle determiner verb adposition noun adposition adjective noun punctuation 2. 2.

adverb pronoun coordinating conjunction verb noun coordinating conjunction adjective punctuation adverb pronoun auxiliary noun adverb adposition noun punctuation pronoun verb adverb pronoun verb adposition adverb adposition particle adjective pronoun adposition noun noun punctuation

It turns out an Artificial Neural Network can.

Taking into account the results obtained in Structure Structure Analysis I built an Artificial Neural Network which takes as input the probability of three-elements part of speech in a sentence and tries to guess the source language. The Artificial Neural Network I developed was able to recognise languages only from sentence structure with a good accuracy of 96.85% with a standard deviation of 1.47% (ten fold cross validated) which demonstrates that the order of parts of speech in a sentence is just as specific as the number of languages used in this analysis. Table 3 shows precision, recall and F-score for each language. Performances are always good with the exception of some languages like Czech and Slovak whose structure might be confused as they are probably cognate languages.

The language of passage 1 is Greek and the language of passage 2 is Swedish. Respectively: ” \acctonosµ \acctonosµ \acctonosµ. \acctonos, \acctonos \acctonos, \acctonos \acctonos \acctonos \acctonos \acctonos, \acctonos µ\acctonosµ \acctonosµ µ\acctonos \acctonos \acctonosµ.᾽ ανδ ᾽Δäρ δετ αρϰεν φαννς ςμäρτα ελλερ λιδανδε. Δäρ δετ αρ ςϰραττ ιςτäλλετ φöρ δöδ. Θαγ τροδδε αλλτιδ ηον ηιτταδε πå αλλτ φöρ αττ τρöςτα μιγ υνδερ ςτυνδενς ςμäρτα᾽.

\theςεςτιον Ματεριαλς ανδ Μετηοδς

\theςυβςεςτιον Ματεριαλς

Τηε εντιρε ςομπυτατιοναλ αναλψςις ωας ςονδυςτεδ υςινγ τηε Ρ προγραμμινγ λανγυαγε[15].

Τηε ςορπορα υςεδ φορ τηις αναλψςις ωερε δοωνλοαδεδ φρομ ΟΠϒΣ[16]. Ι δοωνλοαδεδ ΟπενΣυβτιτλες 2016 (ηττπ://ωωω.οπενςυβτιτλες.οργ/). Λανγυαγες υςεδ φορ τηις αναλψςις αρε τηοςε πρεςεντ ιν βοτη ΟπενΣυβτιτλες 2016 ανδ ΡΔΡΠΟΣΤαγγερ. Ι τοοϰ ανδ πρεπροςεςςεδ (ςεε Μετηοδς) 100,000 λινες φορ εαςη λανγυαγε.

Φορ παρτ-οφ-ςπεεςη ταγγινγ Ι υςεδ τηε ΡΔΡΠΟΣΤαγγερ παςϰαγε[17]. Το ιδεντιφψ λανγυαγες Ι υςεδ τηε ᾽Γοογλε´ς ῝ομπαςτ Λανγυαγε Δετεςτορ 3᾽ παςϰαγε. Φορ ςεντενςε τοϰενιζατιον Ι υςεδ τηε παςϰαγε τοϰενιζερς[18]. Το τρανςλιτερατε λανγυαγες Ι υςεδ τηε φυνςτιον ςτρι_τρανς_γενεραλ ιν τηε παςϰαγε ςτρινγι[19].

Α γραπη ωας βυιλτ ςαλςυλατιον τηε ςιμιλαριτψ ζ-ςςορε ανδ φιλτερινγ ονλψ ςοννεςτιονς ωιτη 75% ςονφιδενςε - ι.ε. ζ-ςςορε=1.15035. Το αναλψςε τηε λανγυαγε γραπη Ι υςεδ ιγραπη[20]. Ιν παρτιςυλαρ, ςομμυνιτιες[21] ωερε δετεςτεδ ωιτη Ινφομαπ αλγοριτημ[22].

Το δεελοπ τηε Αρτιφιςιαλ Νευραλ Νετωορϰ Ι υςεδ τηε πψτηον προγραμμινγ λανγυαγε[23]. Ι υςεδ Κερας[24] ωιτη ΤενςορΦλοω[25] βαςϰενδ, ΣςιΚιτ Λεαρν[26] φορ ςροςς αλιδατιον ανδ Πανδας[27] το μανιπυλατε λαργε δαταςετς.

\theςυβςεςτιον Μετηοδς

Το αοιδ μιξεδ-λανγυαγε ςεντενςες ιν τηε ςορπορα ατ ςτυδψ, τεξτς ωερε πρεπροςεςςεδ το βε ςυρε τηατ εαςη πηραςε ωας αςτυαλλψ ιν τηε ταργετ λανγυαγε ανδ νοτ ςονταινινγ ςπυριους ωορδς ανδ ςηαραςτερς. Σεςονδλψ, ςεντενςες ςηορτερ τηαν 3 ωορδς ωερε εξςλυδεδ. Φιναλλψ, ποςςιβλε δυπλιςατεδ ςεντενςες ωερε ρεμοεδ.

Το περφορμ Ωριττεν Παττερνς Αναλψςις Ι διιδεδ τεξτς ιν δι-γραμς ανδ τρι-γραμς (υνιτς ςονςιςτινγ οφ τωο ανδ τηρεε ςηαραςτερς ρεςπεςτιελψ), εξςλυδινγ ςπαςες. Φορ εαςη ν-γραμ, Ι ςαλςυλατεδ ιτς προβαβιλιτψ διιδινγ τηε νυμβερ οφ ιτς οςςυρρενςες βψ τηε τοταλ νυμβερ οφ ν-γραμς. Ι τοοϰ τηε τοπ-1000 δι-γραμς ανδ τηε τοπ-1000 τρι-γραμς φορ εαςη λανγυαγε, φορ α τοταλ οφ 2000 φεατυρες φορ εαςη λανγυαγε.

Εξαμπλε:

Τηε ωορδ ᾽ΩΟΡΔ᾽ ις βροϰεν δοων ιντο τηε φολλοωινγ

τρι-γραμς: {ΩΟΡ}, {ΟΡΔ}

δι-γραμς: {ΩΟ}, {ΟΡ}, {ΡΔ}

Το αςςουντ φορ διφφερεντ αλπηαβετς Ι τρανςλιτερατεδ λανγυαγες ιντο διαςριτιςς-φρεε Λατιν αλπηαβετ. Τηις αλλοως α διρεςτ ςομπαριςον οφ λανγυαγες οερςομινγ τηε αλπηαβετ βαρριερ. Τηουγητ ιτ μιγητ νοτ βε αλωαψς αςςυρατε, ιτ γραντς τηατ διαςριτιςς (αςςεντς) ον ςομε λεττερς δο νοτ ρεςυλτ ιν διφφερεντ ν-γραμς. Φορ ινςτανςε, τηε Γρεεϰ ωορδ ᾽\acctonosµ᾽, ωηιςη μεανς προβλεμ ιν Ενγλιςη ηας νο αςςεντ οερ τηε λεττερ ο βυτ ιτ ις ςλεαρλψ τηε ςαμε ωορδ. Ταβλε A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network ςυμμαριςες ςεντενςες ανδ φεατυρες υςεδ φορ εαςη λανγυαγε.

Εξαμπλε:

Τηε ςεντενςε: \acctonos\acctonos µ \acctonos \acctonosµ

Ιν Λατιν ωιτη διαςριτιςς: Το τēλéπηōνó μου éςηει πρóβλēμα

Λατιν ωιτηουτ διαςριτιςς: Το τελεπηονο μου εςηει προβλεμα

Ωε ςαν εαςιλψ ςποτ τηε ωορδ ᾽τελεπηονε᾽ ανδ τηε ωορδ ᾽προβλεμ᾽. Πλυς, τηε ωορδ ᾽μου᾽ ις ερψ ςιμιλαρ το ᾽μψ᾽.

Το περφορμ Σεντενςε Στρυςτυρε Αναλψςις, Ι φιρςτ ςονερτεδ πηραςες ιντο παρτ-οφ-ςπεεςη (ΠΟΣ) ελεμεντς ανδ τηεν Ι βυιλτ ΠΟΣ-τρι-γραμς. Αλςο ιν τηις ςαςε, Ι ςονςιδερεδ 2,000 φεατυρες φορ εαςη λανγυαγε, ιφ ααιλαβλε.

Εξαμπλε:

αυξιλιαρψ προνουν αδποςιτιον δετερμινερ νουν πυνςτυατιον

Αρε ψου ον τηις βοατ ;

Ις βροϰεν δοων ιντο τηε φολλοωινγ τρι-γραμς:

{ΑϒΞ, ΠΡΟΝ, ΑΔΠ}, {ΠΡΟΝ, ΑΔΠ, ΔΕΤ}, {ΑΔΠ, ΔΕΤ, ΝΟϒΝ}, {ΔΕΤ, ΝΟϒΝ, ΠϒΝ῝Τ}

Ταβλε A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network λιςτς αλλ γραμματιςαλ ελεμεντς ςονςιδερεδ φορ Σεντενςε Στρυςτυρε Αναλψςις. Τηεςε ταγς ωερε ςελεςτεδ ας τηεψ αρε τηε ςυβςετ οφ ταγς δεριαβλε βψ αλλ λανγυαγες ςομπαρεδ ιν τηις αναλψςις ςονδυςτεδ υςινγ τηε ϒνιερςαλΠΟΣ ταγγερ (ςεε Ματεριαλς).

Φορ βοτη αναλψςις, εαςη λανγυαγε ωας ρεπρεςεντεδ ας α εςτορ οφ μανψ ςομπονεντς ανδ, δυε το τηε ηιγη διμενςιοναλιτψ οφ τηεςε εςτορς, τηε Μανηατταν διςτανςε ωας υςεδ το ςαλςυλατε διςτανςες[28].

Φορ τηε Οεραλλ Σιμιλαριτψ Ι αεραγεδ τηε Ωριττεν Παττερνς Αναλψςις ανδ τηε Σεντενςε Στρυςτυρε Αναλψςις. Το πλοτ τηε ςιμιλαριτψ γραπη Ι ςαλςυλατεδ τηε ζ-ςςορε οφ τηεςε αεραγεδ αλυες ανδ φιλτερεδ ουτ αλυες ουτςιδε α ςονφιδενςε ιντεραλ οφ 75% (ζ-ςςορε 1.15035).

Το τραιν τηε Αρτιφιςιαλ Νευραλ Νετωορϰ Ι ρανδομλψ εξτραςτεδ 100 ςεντενςες φορ εαςη λανγυαγε ανδ ςομβινεδ τηεμ ιντο ςινγλε δοςυμεντς. Ι γενερατεδ 1,000 δοςυμεντς φορ εαςη λανγυαγε ανδ ςολλεςτεδ τηεμ ιντο ονε ςινγλε δαταςετ. Φορ εαςη δοςυμεντ Ι ςαλςυλατεδ τηε προβαβιλιτψ οφ ΠΟΣ-τρι-γραμς εξςλυδινγ τηοςε ςονταινινγ τηε ελεμεντ Ξ. Οτηερ τηαν τηε ινπυτ ανδ ουτπυτ λαψερς, τηε νευραλ νετωορϰ ςονςιςτεδ οφ τωο ηιδδεν λαψερς:

• •

Λαψερ 1: 2018 ινπυτς ανδ 8 ουτπυτς. Ρελυ αςτιατιον φυνςτιον[29]

• •

Λαψερ 2: 8 ινπυτς ανδ 39 ουτπυτς. Σοφτμαξ αςτιατιον φυνςτιον ωηιςη ις γοοδ το ςλαςςιφψ μυτυαλλψ εξςλυςιε ςλαςςες ας ονε ςλαςς (γρουνδ-τρυτη) γετς ςςορε 1 ωηιλε οτηερ λαβελς ωιλλ γετ 0. [30]

Ι υςεδ ςατεγοριςαλ ςροςς-εντροπψ[31] ας λοςς φυνςτιον. Αδαμ[32] ας οπτιμιςερ. Φιναλλψ, Ι υςεδ α 10 τιμες ςροςς αλιδατιον το αλιδατεδ τηε μοδελ.

\theςεςτιον ῝ονςλυςιονς ανδ Φυρτηερ Δεελοπμεντς

Λανγυαγε ςλαςςιφιςατιον ηας αλωαψς βεεν ςονδυςτεδ βψ ςομπαρατιε αππροαςηες. ῝ομπυτατιοναλ μετηοδς αλλοω α τηορουγη αναλψςις ωηιςη αυτοματιςαλλψ δοες εξαςτλψ τηε ςαμε ωορϰ βυτ φαςτερ ανδ αγαινςτ α ερψ λαργε νυμβερ οφ ωορδς ανδ ςεντενςες. Ωιτη τηε αιδ οφ αυτοματις ςαλςυλατιον Ι εξπλορεδ μορπηολογιςαλ λανγυαγε φεατυρες φρομ α ωριττεν ανδ ςτρυςτυραλ περςπεςτιες.

Ι ςομμεντεδ ςομε ϰνοων φαςτς λιϰε τηε ωριττεν ςιμιλαριτψ οφ τηε Ενγλιςη λανγυαγες ωιτη Ρομανςε Λανγυαγες ανδ ιτς ςτρυςτυραλ ςιμιλαριτψ ωιτη Γερμανις λανγυαγες. Τηις αναλψςις αλςο ςυππορτς υνςλεαρ ηψποτηεςις λιϰε τηε ρελατιονςηιπ βετωεεν τηε Τυρϰιςη ανδ Βαςχυε λανγυαγες. Αναλψςινγ τωο μορπηολογιςαλ αςπεςτς οφ μανψ λανγυαγες Ι ςπεςυλατεδ ον τηε εαςινεςς οφ λεαρνινγ α φορειγν λανγυαγε.

Φιναλλψ, Ι δεελοπεδ αν Αρτιφιςιαλ Νευραλ Νετωορϰ ωηιςη ςαν ρεςογνιςε λανγυαγες ονλψ φρομ τηε ορδερ οφ παρτ οφ ςπεεςη δεμονςτρατινγ ωορδς ορδερ ις α λανγυαγε ςπεςιφις τραιτ ϑυςτ λιϰε οςαβυλαρψ ανδ προνυνςιατιον.

Τηε ςτυδψ πρεςεντεδ ιν τηις ωορϰ ςαν βε αππλιεδ το μορε λανγυαγες. Ιτ ςαν βε φυρτηερ δεελοπεδ το αναλψςε μορε φεατυρες ινςλυδινγ προνυνςιατιον υςινγ τηε Ιντερνατιοναλ Πηονετις Αλπηαβετ. Ιτ ςαν βε γενεραλιςεδ το αναλψςε διφφερεντ ωριτινγ ςτψλες: ςςιεντιφις, ϑουρναλιςτις, ναρρατιε ανδ μαψβε, βψ μεανς οφ α ωελλ-τραινεδ Αρτιφιςιαλ Νευραλ Νετωορϰ, εεν ιδεντιφψ τηε ρεαλ νατιε λανγυαγε οφ α περςον ωριτινγ ιν α ςεςονδ λανγυαγε. Φιναλλψ, βυτ μαψβε μοςτ ιμπορταντλψ, αναλψςινγ λανγυαγες ωιτη ςορπορα ωριττεν ιν τηε παςτ, ςαν βε υςεδ το τραςε εολυτιοναρψ ςηανγες ιν ςεντενςε ςτρυςτυρες οφ ηυμαν λανγυαγες.

Ρεφερενςες

• [1]

Η. Ηαμμαρςτρöμ, ``Λινγυιςτις διερςιτψ ανδ λανγυαγε εολυτιον,´´ Θουρναλ οφ Λανγυαγε Εολυτιον, ολ. 1, ππ. 19–29, 02 2016.

• [2]

Χ. Ατϰινςον, ``Λανγυαγε ςλαςςιφιςατιον βψ νυμβερς,´´ Διαςηρονιςα, ολ. 26, ππ. 125–133, 01 2009.

• [3]

Ρ. Κιτςηιν, Τηε Δατα Ρεολυτιον: Βιγ Δατα, Οπεν Δατα, Δατα Ινφραςτρυςτυρες ανδ Τηειρ ῝ονςεχυενςες.

ΣΑΓΕ, 2014.

• [4]

Δ. ῝ιριλλο ανδ Α. ῞αλενςια, ``Βιγ δατα αναλψτιςς φορ περςοναλιζεδ μεδιςινε,´´ ῝υρρεντ Οπινιον ιν Βιοτεςηνολογψ, ολ. 58, ππ. 161 – 167, 2019.

Σψςτεμς Βιολογψ • Νανοβιοτεςηνολογψ.

• [5]

Η. Β. Γυναψ, Ω. Σηεν, ανδ Γ. Νεωςηαμ, ``Δατα αναλψτιςς το ιμπροε βυιλδινγ περφορμανςε: Α ςριτιςαλ ρειεω,´´ Αυτοματιον ιν ῝ονςτρυςτιον, ολ. 97, ππ. 96 – 109, 2019.

• [6]

Μ. Η. υρ Ρεημαν, Ι. Ψαχοοβ, Κ. Σαλαη, Μ. Ιμραν, Π. Π. Θαψαραμαν, ανδ ῝. Περερα, ``Τηε ρολε οφ βιγ δατα αναλψτιςς ιν ινδυςτριαλ ιντερνετ οφ τηινγς,´´ Φυτυρε Γενερατιον ῝ομπυτερ Σψςτεμς, ολ. 99, ππ. 247 – 259, 2019.

• [7]

Θ. Σςοττ, ``Σοςιαλ νετωορϰ αναλψςις: Δεελοπμεντς, αδανςες, ανδ προςπεςτς,´´ Σοςιαλ Νετω. Αναλψς. Μινινγ, ολ. 1, ππ. 21–26, 10 2011.

• [8]

῝. Γεοργε ανδ ῝. Π. Σοςιετψ, Γρεεϰ ανδ Λατιν φρομ αν Ινδο-Ευροπεαν Περςπεςτιε.

῝αμβριδγε ῝λαςςιςαλ Θουρναλ Προςεεδινγς οφ τηε ῝αμβριδγε Πηιλολογιςαλ Σοςιετψ Συππλεμενταρψ, ῝αμβριδγε Πηιλολογιςαλ Σοςιετψ, 2007.

• [9]

Μ. Παδρο ανδ Λ. Παδρó, ``῝ομπαρινγ μετηοδς φορ λανγυαγε ιδεντιφιςατιον,´´ Προςεςαμιεντο δελ λενγυαϑε νατυραλ, ΙΣΣΝ 1135-5948, Νº. 33, 2004, παγς. 155-161, 01 2004.

• [10]

Τ. Γοττρον ανδ Ν. Λιπϰα, ``Α ςομπαριςον οφ λανγυαγε ιδεντιφιςατιον αππροαςηες ον ςηορτ, χυερψ-ςτψλε τεξτς,´´ ιν Αδανςες ιν Ινφορματιον Ρετριεαλ (῝. Γυρριν, Ψ. Ηε, Γ. Καζαι, ϒ. Κρυςςηωιτζ, Σ. Λιττλε, Τ. Ροελλεϰε, Σ. Ρϋγερ, ανδ Κ. αν Ριϑςβεργεν, εδς.), (Βερλιν, Ηειδελβεργ), ππ. 611–614, Σπρινγερ Βερλιν Ηειδελβεργ, 2010.

• [11]

Ρ. Δ. Βροων, ``Σελεςτινγ ανδ ωειγητινγ ν-γραμς το ιδεντιφψ 1100 λανγυαγες,´´ ιν Τεξτ, Σπεεςη, ανδ Διαλογυε (Ι. Ηαβερναλ ανδ ῞. Ματους̌εϰ, εδς.), (Βερλιν, Ηειδελβεργ), ππ. 475–483, Σπρινγερ Βερλιν Ηειδελβεργ, 2013.

• [12]

``Φορειγν λανγυαγε ινφλυενςες ιν ενγλιςη.´´ ηττπς://εν.ωιϰιπεδια.οργ/ωιϰι/Φορειγν_λανγυαγε_ινφλυενςες_ιν_Ενγλιςη#Ωορδ_οριγινς.

Αςςεςςεδ: ΜΑψ 2019.

• [13]

Δ. Σλοβιν, Τηε ῝ροςςλινγυιςτις Στυδψ οφ Λανγυαγε Αςχυιςιτιον - ῝ηαπτερ 4.

Νο. . 4 ιν Τηε ῝ροςςλινγυιςτις Στυδψ οφ Λανγυαγε Αςχυιςιτιον, Ταψλορ & Φρανςις Γρουπ, 1985.

• [14]

Ψ. Ταμβοτςε, ``Πηονολογιςαλ ςιμιλαριτψ βετωεεν βαςχυε ανδ οτηερ ωορλδ λανγυαγες βαςεδ ον τηε φρεχυενςψ οφ οςςυρρενςε οφ ςερταιν τψπολογιςαλ ςονςονανταλ φεατυρες.,´´ Νοοςιβιρςϰ Πεδαγογιςαλ ϒνιερςιτψ, Νοοςιβιρςϰ.

• [15]

Ρ ῝ορε Τεαμ, Ρ: Α Λανγυαγε ανδ Ενιρονμεντ φορ Στατιςτιςαλ ῝ομπυτινγ.

Ρ Φουνδατιον φορ Στατιςτιςαλ ῝ομπυτινγ, ῞ιεννα, Αυςτρια, 2019.

• [16]

Θ. Τιεδεμανν, ``Παραλλελ δατα, τοολς ανδ ιντερφαςες ιν οπυς,´´ ιν Προςεεδινγς οφ τηε Ειγητ Ιντερνατιοναλ ῝ονφερενςε ον Λανγυαγε Ρεςουρςες ανδ Εαλυατιον (ΛΡΕ῝´12) (Ν. ῝. ῝. ῝ηαιρ), Κ. ῝ηουϰρι, Τ. Δεςλερςϰ, Μ. ϒ. Δοğαν, Β. Μαεγααρδ, Θ. Μαριανι, Α. Μορενο, Θ. Οδιϑϰ, ανδ Σ. Πιπεριδις, εδς.), (Ιςτανβυλ, Τυρϰεψ), Ευροπεαν Λανγυαγε Ρεςουρςες Αςςοςιατιον (ΕΛΡΑ), μαψ 2012.

• [17]

Δ. Χ. Νγυψεν, Δ. Χυος Νγυψεν, Δ. Δυς Πηαμ, ανδ Σ. Πηαμ, ``Ρδρποςταγγερ: Α ριππλε δοων ρυλες-βαςεδ παρτ-οφ-ςπεεςη ταγγερ,´´ ππ. 17–20, 04 2014.

• [18]

Λ. Α. Μυλλεν, Κ. Βενοιτ, Ο. Κεψες, Δ. Σελιανο, ανδ Θ. Αρνολδ, ``Φαςτ, ςονςιςτεντ τοϰενιζατιον οφ νατυραλ λανγυαγε τεξτ,´´ Θουρναλ οφ Οπεν Σουρςε Σοφτωαρε, ολ. 3, π. 655, 03 2018.

• [19]

Μ. Γαγολεωςϰι, Ρ παςϰαγε ςτρινγι: ῝ηαραςτερ ςτρινγ προςεςςινγ φαςιλιτιες, 2019.

• [20]

Γ. ῝ςαρδι ανδ Τ. Νεπυςζ, ``Τηε ιγραπη ςοφτωαρε παςϰαγε φορ ςομπλεξ νετωορϰ ρεςεαρςη,´´ ΙντερΘουρναλ, ολ. ῝ομπλεξ Σψςτεμς, π. 1695, 2006.

• [21]

Α. Λανςιςηινεττι ανδ Σ. Φορτυνατο, ``῝ομμυνιτψ δετεςτιον αλγοριτημς: Α ςομπαρατιε αναλψςις,´´ Πηψς. Ρε. Ε, ολ. 80, π. 056117, Νο. 2009.

• [22]

Μ. Ροςαλλ ανδ ῝. Τ. Βεργςτρομ, ``Μαπς οφ ρανδομ ωαλϰς ον ςομπλεξ νετωορϰς ρεεαλ ςομμυνιτψ ςτρυςτυρε,´´ Προςεεδινγς οφ τηε Νατιοναλ Αςαδεμψ οφ Σςιενςες, ολ. 105, νο. 4, ππ. 1118–1123, 2008.

• [23]

Πψτηον Σοφτωαρε Φουνδατιον. Πψτηον Λανγυαγε Ρεφερενςε, ερςιον 2.7.

• [24]

Φ. ῝ηολλετ ετ αλ., ``Κερας.´´ ηττπς://ϰερας.ιο, 2015.

• [25]

Μ. Αβαδι, Α. Αγαρωαλ, Π. Βαρηαμ, Ε. Βρεδο, Ζ. ῝ηεν, ῝. ῝ιτρο, Γ. Σ. ῝ορραδο, Α. Δαις, Θ. Δεαν, Μ. Δειν, Σ. Γηεμαωατ, Ι. Γοοδφελλοω, Α. Ηαρπ, Γ. Ιρινγ, Μ. Ιςαρδ, Ψ. Θια, Ρ. Θοζεφοωιςζ, Λ. Καιςερ, Μ. Κυδλυρ, Θ. Λεενβεργ, Δ. Μανέ, Ρ. Μονγα, Σ. Μοορε, Δ. Μυρραψ, ῝. Ολαη, Μ. Σςηυςτερ, Θ. Σηλενς, Β. Στεινερ, Ι. Συτςϰεερ, Κ. Ταλωαρ, Π. Τυςϰερ, ῞. ῞ανηουςϰε, ῞. ῞αςυδεαν, Φ. ῞ιέγας, Ο. ῞ινψαλς, Π. Ωαρδεν, Μ. Ωαττενβεργ, Μ. Ωιςϰε, Ψ. Ψυ, ανδ Ξ. Ζηενγ, ``ΤενςορΦλοω: Λαργε-ςςαλε μαςηινε λεαρνινγ ον ηετερογενεους ςψςτεμς,´´ 2015.

Σοφτωαρε ααιλαβλε φρομ τενςορφλοω.οργ.

• [26]

Φ. Πεδρεγοςα, Γ. ῞αροχυαυξ, Α. Γραμφορτ, ῞. Μιςηελ, Β. Τηιριον, Ο. Γριςελ, Μ. Βλονδελ, Π. Πρεττενηοφερ, Ρ. Ωειςς, ῞. Δυβουργ, Θ. ῞ανδερπλας, Α. Παςςος, Δ. ῝ουρναπεαυ, Μ. Βρυςηερ, Μ. Περροτ, ανδ Ε. Δυςηεςναψ, ``Σςιϰιτ-λεαρν: Μαςηινε Λεαρνινγ ιν Πψτηον ,´´ Θουρναλ οφ Μαςηινε Λεαρνινγ Ρεςεαρςη, ολ. 12, ππ. 2825–2830, 2011.

• [27]

Ε. Θονες, Τ. Ολιπηαντ, Π. Πετερςον, ετ αλ., ``ΣςιΠψ: Οπεν ςουρςε ςςιεντιφις τοολς φορ Πψτηον,´´ 2001–.

• [28]

῝. ῝. Αγγαρωαλ, Α. Ηιννεβυργ, ανδ Δ. Α. Κειμ, ``Ον τηε ςυρπριςινγ βεηαιορ οφ διςτανςε μετριςς ιν ηιγη διμενςιοναλ ςπαςες,´´ ιν Προςεεδινγς οφ τηε 8τη Ιντερνατιοναλ ῝ονφερενςε ον Δαταβαςε Τηεορψ, Ι῝ΔΤ ´01, (Βερλιν, Ηειδελβεργ), ππ. 420–434, Σπρινγερ-῞ερλαγ, 2001.

• [29]

῞. Ναιρ ανδ Γ. Ε. Ηιντον, ``Ρεςτιφιεδ λινεαρ υνιτς ιμπροε ρεςτριςτεδ βολτζμανν μαςηινες,´´ ιν Προςεεδινγς οφ τηε 27τη Ιντερνατιοναλ ῝ονφερενςε ον Ιντερνατιοναλ ῝ονφερενςε ον Μαςηινε Λεαρνινγ, Ι῝ΜΛ´10, (ϒΣΑ), ππ. 807–814, Ομνιπρεςς, 2010.

• [30]

Ι. Γοοδφελλοω, Ψ. Βενγιο, ανδ Α. ῝ουριλλε, Δεεπ Λεαρνινγ.

ΜΙΤ Πρεςς, 2016.

ηττπ://ωωω.δεεπλεαρνινγβοοϰ.οργ.

• [31]

Ρ. Ψ. Ρυβινςτειν ανδ Δ. Π. Κροεςε, Τηε ῝ροςς Εντροπψ Μετηοδ: Α ϒνιφιεδ Αππροαςη Το ῝ομβινατοριαλ Οπτιμιζατιον, Μοντε-ςαρλο Σιμυλατιον (Ινφορματιον Σςιενςε ανδ Στατιςτιςς).

Βερλιν, Ηειδελβεργ: Σπρινγερ-῞ερλαγ, 2004.

• [32]

Δ. Π. Κινγμα ανδ Θ. Βα, ``Αδαμ: Α μετηοδ φορ ςτοςηαςτις οπτιμιζατιον,´´ 2014.

ςιτε αρξι:1412.6980῝ομμεντ: Πυβλιςηεδ ας α ςονφερενςε παπερ ατ τηε 3ρδ Ιντερνατιοναλ ῝ονφερενςε φορ Λεαρνινγ Ρεπρεςεντατιονς, Σαν Διεγο, 2015.