[Minor] Add extra logic for short texts in language detector

1 files changed, 53 insertions, 43 deletions

diff --git a/src/libmime/lang_detection.c b/src/libmime/lang_detection.c
index e38834999..fadb78d95 100644
--- a/src/libmime/lang_detection.c
+++ b/src/libmime/lang_detection.c
@@ -1150,8 +1150,14 @@ rspamd_language_detector_try_ngramm (struct rspamd_task *task,
 	return rs_detect_multiple;
 }
 
+enum rspamd_language_sort_flags {
+	RSPAMD_LANG_FLAG_DEFAULT = 0,
+	RSPAMD_LANG_FLAG_SHORT = 1 << 0,
+};
+
 struct rspamd_frequency_sort_cbdata {
 	struct rspamd_lang_detector *d;
+	enum rspamd_language_sort_flags flags;
 	gdouble std;
 	gdouble mean;
 };
@@ -1168,60 +1174,59 @@ rspamd_language_detector_cmp_heuristic (gconstpointer a, gconstpointer b,
 	const struct rspamd_lang_detector_res
 			*canda = *(const struct rspamd_lang_detector_res **)a,
 			*candb = *(const struct rspamd_lang_detector_res **)b;
-	gdouble diff;
+	gdouble adj;
+	gdouble proba_adjusted, probb_adjusted, freqa, freqb;
 
-	diff = fabs (canda->prob - candb->prob);
+	freqa = ((gdouble)canda->elt->occurencies) /
+			(gdouble)cbd->d->total_occurencies;
+	freqb = ((gdouble)candb->elt->occurencies) /
+			(gdouble)cbd->d->total_occurencies;
 
-	if (diff > cbd->std) {
-		/* Generic case */
-		if (canda->prob > candb->prob) {
-			return -1;
-		} else if (candb->prob > canda->prob) {
-			return 1;
-		}
+	proba_adjusted = canda->prob;
+	probb_adjusted = candb->prob;
 
-		return 0;
+	if (isnormal (freqa) && isnormal (freqb)) {
+		proba_adjusted += cbd->std * (frequency_adjustment * freqa);
+		probb_adjusted += cbd->std * (frequency_adjustment * freqb);
 	}
-	else {
-		gdouble proba_adjusted, probb_adjusted, freqa, freqb;
-
-		freqa = ((gdouble)canda->elt->occurencies) /
-				(gdouble)cbd->d->total_occurencies;
-		freqb = ((gdouble)candb->elt->occurencies) /
-				(gdouble)cbd->d->total_occurencies;
-
-		proba_adjusted = canda->prob;
-		probb_adjusted = candb->prob;
-
-		if (isnormal (freqa) && isnormal (freqb)) {
-			proba_adjusted += cbd->std * (frequency_adjustment * freqa);
-			probb_adjusted += cbd->std * (frequency_adjustment * freqb);
-		}
 
-		if (canda->elt->flags & RS_LANGUAGE_TIER1) {
-			proba_adjusted += cbd->std * tier1_adjustment;
-		}
+	if (cbd->flags & RSPAMD_LANG_FLAG_SHORT) {
+		adj = tier1_adjustment * 2.0;
+	}
+	else {
+		adj = tier1_adjustment;
+	}
+	if (canda->elt->flags & RS_LANGUAGE_TIER1) {
+		proba_adjusted += cbd->std * adj;
+	}
 
-		if (candb->elt->flags & RS_LANGUAGE_TIER1) {
-			probb_adjusted += cbd->std * tier1_adjustment;
-		}
+	if (candb->elt->flags & RS_LANGUAGE_TIER1) {
+		probb_adjusted += cbd->std * adj;
+	}
 
-		if (canda->elt->flags & RS_LANGUAGE_TIER0) {
-			proba_adjusted += cbd->std * tier0_adjustment;
-		}
+	if (cbd->flags & RSPAMD_LANG_FLAG_SHORT) {
+		adj = tier0_adjustment * 16.0;
+	}
+	else {
+		adj = tier0_adjustment;
+	}
 
-		if (candb->elt->flags & RS_LANGUAGE_TIER0) {
-			probb_adjusted += cbd->std * tier0_adjustment;
-		}
+	if (canda->elt->flags & RS_LANGUAGE_TIER0) {
+		proba_adjusted += cbd->std * adj;
+	}
 
-		if (proba_adjusted > probb_adjusted) {
-			return -1;
-		} else if (probb_adjusted > proba_adjusted) {
-			return 1;
-		}
+	if (candb->elt->flags & RS_LANGUAGE_TIER0) {
+		probb_adjusted += cbd->std * adj;
+	}
 
-		return 0;
+	if (proba_adjusted > probb_adjusted) {
+		return -1;
+	}
+	else if (probb_adjusted > proba_adjusted) {
+		return 1;
 	}
+
+	return 0;
 }
 
 GPtrArray *
@@ -1294,6 +1299,11 @@ rspamd_language_detector_detect (struct rspamd_task *task,
 			cbd.d = d;
 			cbd.mean = mean;
 			cbd.std = std;
+			cbd.flags = RSPAMD_LANG_FLAG_DEFAULT;
+
+			if (ucs_tokens->len < default_words / 2) {
+				cbd.flags |= RSPAMD_LANG_FLAG_SHORT;
+			}
 		}
 	}
 

path: root/src

{ "translations": {
    "Shared with others" : "Sprístupnené ostatným",
    "Shared with you" : "Vám sprístupnené",
    "Shared by link" : "Sprístupnené prostredníctvom odkazu",
    "Deleted shares" : "Zmazať sprístupnenia",
    "Shares" : "Sprístupnené položky",
    "Nothing shared with you yet" : "Zatiaľ vám nikto nič nesprístupnil",
    "Files and folders others share with you will show up here" : "Tu budú zobrazené súbory a priečinky, ktoré vám ostatní sprístupnili",
    "Nothing shared yet" : "Zatiaľ ste nič nesprístupnili",
    "Files and folders you share will show up here" : "Tu sú zobrazené súbory a priečinky, ktoré ste sprístupnili",
    "No shared links" : "Žiadne sprístupnené odkazy",
    "Files and folders you share by link will show up here" : "Tu sú zobrazené súbory a priečinky, ktoré ste sprístupnili prostredníctvom odkazov",
    "No deleted shares" : "Žiadne zmazané sprístupnené položky",
    "Shares you deleted will show up here" : "Tu sa zobrazia sprístupnené položky, ktoré zmažete",
    "No shares" : "Žiadne sprístupnené položky",
    "Shares will show up here" : "Tu sa zobrazia sprístupnené položky",
    "Restore share" : "Obnoviť sprístupnené položky",
    "Something happened. Unable to restore the share." : "Niečo sa udialo. Nedarí sa obnoviť sprístupnenú položku.",
    "Move or copy" : "Presunúť alebo kopírovať",
    "Download" : "Sťahovanie",
    "Delete" : "Zmazať",
    "You can upload into this folder" : "Môžete nahrávať do tohto priečinka",
    "No compatible server found at {remote}" : "Nebol nájdený kompatibilný server na adrese {remote}",
    "Invalid server URL" : "Neplatná URL servera",
    "Failed to add the public link to your Nextcloud" : "Pridanie verejne dostupného odkazu do vášho Nextcloud zlyhalo",
    "Share" : "Sprístupniť",
    "No expiration date set" : "Dátum exspirácie nenastavený",
    "Shared by" : "Sprístupňuje",
    "Sharing" : "Sprístupnenie",
    "File shares" : "Sprístupnené súbory",
    "Downloaded via public link" : "Stiahnuté prostredníctvom verejného odkazu",
    "Downloaded by {email}" : "Stiahnuté prostredníctvom {email}",
    "{file} downloaded via public link" : "{file} stiahnutý cez verejne dostupný odkaz",
    "{email} downloaded {file}" : "{email} stiahol {file}",
    "Shared with group {group}" : "Sprístupnené skupine {group}",
    "Removed share for group {group}" : "Odstránené sprístupnenie pre skupinu {group}",
    "{actor} shared with group {group}" : "{actor} sprístupnil skupine {group}",
    "{actor} removed share for group {group}" : "{actor} zrušil sprístupnenie pre skupinu {group}",
    "You shared {file} with group {group}" : "Sprístupnili ste {file} skupine {group}",
    "You removed group {group} from {file}" : "Zrušili ste sprístupnenie súboru {file} skupine {group}",
    "{actor} shared {file} with group {group}" : "{actor} sprístupnil {file} skupine {group}",
    "{actor} removed group {group} from {file}" : "{actor} zrušil sprístpnenie súboru {file} skupine {group}",
    "Shared as public link" : "Sprístupnené ako verejný odkaz",
    "Removed public link" : "Verejný odkaz odstránený",
    "Public link expired" : "Verejnému odkazu vypršala platnosť",
    "{actor} shared as public link" : "{actor} sprístupnil ako verejný odkaz",
    "{actor} removed public link" : "{actor} odstránil verejný odkaz",
    "Public link of {actor} expired" : "Verejný odkaz {actor} vypršal",
    "You shared {file} as public link" : "Sprístupnili ste súbor {file} ako verejný odkaz",
    "You removed public link for {file}" : "Odstránili ste verejný odkaz pre {file}",
    "Public link expired for {file}" : "Verejný odkaz pre {file} vypršal",
    "{actor} shared {file} as public link" : "{actor} sprístupnil {file} ako verejný odkaz",
    "{actor} removed public link for {file}" : "{actor} odstránil verejný odkaz pre {file}",
    "Public link of {actor} for {file} expired" : "Verejný odkaz používateľa {actor} pre {file} vypršal",
    "{user} accepted the remote share" : "používateľ {user} prijal vzdialené sprístupnenie",
    "{user} declined the remote share" : "používateľ {user} odmietol vzdialené sprístupnenie",
    "You received a new remote share {file} from {user}" : "Obdržali ste nové vzdialené zdieľanie súboru {file} používateľom {user}",
    "{user} accepted the remote share of {file}" : "používateľ {user} prijal vzdialené sprístupnenie súboru {file}",
    "{user} declined the remote share of {file}" : "používateľ {user} odmietol vzdialené spristupnenie súboru {file} ",
    "{user} unshared {file} from you" : "používateľ {user} vám už nesprístupňuje súbor {file}",
    "Shared with {user}" : "Zdieľané s {user}",
    "Removed share for {user}" : "Odstránené sprístupnenie pre používateľa {user}",
    "{actor} shared with {user}" : "{actor} zdieľal s {user}",
    "{actor} removed share for {user}" : "{actor} odstránil sprístupnenie pre používateľa {user}",
    "Shared by {actor}" : "Sprístupnil {actor}",
    "{actor} removed share" : "{actor} zrušil sprístupnenie",
    "You shared {file} with {user}" : "Sprístupnili ste {file} používateľovi {user}",
    "You removed {user} from {file}" : "Zrušili ste sprístupnenie {file} používateľovi {user} ",
    "{actor} shared {file} with {user}" : "{actor} sprístupnil {file} používateľovi {user}",
    "{actor} removed {user} from {file}" : "{actor} zrušil sprístupnenie {file} pre používateľa {user}",
    "{actor} shared {file} with you" : "{actor} vám sprístupnil {file}",
    "{actor} removed you from the share named {file}" : "{actor} vás odstránil z prístupu k {file} ",
    "A file or folder shared by mail or by public link was <strong>downloaded</strong>" : "Súbor alebo adresár zdieľaný cez email alebo verejný odkaz bol <strong>stiahnutý</strong>",
    "A file or folder was shared from <strong>another server</strong>" : "Súbor alebo priečinok bol sprístupnený z <strong>iného servera</strong>",
    "A file or folder has been <strong>shared</strong>" : "Súbor alebo priečinok bol <strong>sprístupnený</strong>",
    "Wrong share ID, share doesn't exist" : "Neplatné ID sprístupnenia, sprístupnenie neexistuje",
    "could not delete share" : "nie je možné zmazať sprístupnenie",
    "Could not delete share" : "Nie je možné zmazať sprístupnenie",
    "Please specify a file or folder path" : "Zvoľte prosím súbor alebo cestu k priečinku",
    "Wrong path, file/folder doesn't exist" : "Neplatná cesta, súbor alebo priečinok neexistuje",
    "Could not create share" : "Nie je možné sprístupniť",
    "invalid permissions" : "neplatné oprávnenia",
    "Please specify a valid user" : "Zvoľte prosím platného používateľa",
    "Group sharing is disabled by the administrator" : "Skupinové zdieľanie je zakázané administrátorom",
    "Please specify a valid group" : "Zvoľte prosím platnú skupinu",
    "Public link sharing is disabled by the administrator" : "Sprístupnenie pomocou verejných odkazov je zakázané administrátorom",
    "Public upload disabled by the administrator" : "Verejné nahrávanie je zakázané administrátorom",
    "Public upload is only possible for publicly shared folders" : "Verejné nahrávanie je možné len do verejne sprístupnených priečinkov",
    "Invalid date, date format must be YYYY-MM-DD" : "Neplatný dátum, formát musí byť v tvare YYYY-MM-DD",
    "Sharing %s failed because the back end does not allow shares from type %s" : "Sprístupnenie %s zlyhalo, backend nepodporuje typ sprístupnenia %s",
    "Sharing %s sending the password by Nextcloud Talk failed because Nextcloud Talk is not enabled" : "Zdieľanie %s odoslaním hesla cez Nextcloud Talk zlyhalo, pretože Nextcloud Talk nie je zapnutý",
    "You cannot share to a Circle if the app is not enabled" : "Ak aplikácia nie je povolená, nemôžete ju zdieľať s Kruhom",
    "Please specify a valid circle" : "Zadajte platný kruh",
    "Sharing %s failed because the back end does not support room shares" : "Zdieľanie %s sa nepodarilo, pretože backend  nepodporuje zdieľanie miestností",
    "Unknown share type" : "Neplatný typ sprístupnenia",
    "Not a directory" : "Nie je priečinok",
    "Could not lock path" : "Nie je možné uzamknúť cestu",
    "Wrong or no update parameter given" : "Zlý alebo žiadny zadaný parameter aktualizácie",
    "Can't change permissions for public share links" : "Nemožno zmeniť oprávnenia pre verejné sprístupnené odkazy",
    "Sharing sending the password by Nextcloud Talk failed because Nextcloud Talk is not enabled" : "Zdieľanie odoslaním hesla cez Nextcloud Talk zlyhalo, pretože Nextcloud Talk nie je zapnutý",
    "Cannot increase permissions" : "Nie je možné navýšiť oprávnenia",
    "shared by %s" : "Sprístupnil %s",
    "Direct link" : "Priama linka",
    "Add to your Nextcloud" : "Pridať do svojho Nextcloud",
    "Share API is disabled" : "API pre sprístupňovanie je zakázané",
    "File sharing" : "Sprístupnenie súborov",
    "No entries found in this folder" : "V tomto priečinku nebolo nič nájdené",
    "Name" : "Názov",
    "Share time" : "Čas sprístupnenia",
    "Expiration date" : "Dátum vypršania",
    "Sorry, this link doesn’t seem to work anymore." : "To je nepríjemné, ale tento odkaz už nie je funkčný.",
    "Reasons might be:" : "Možné dôvody:",
    "the item was removed" : "položka bola presunutá",
    "the link expired" : "linke vypršala platnosť",
    "sharing is disabled" : "sprístupňovanie je zakázané",
    "For more info, please ask the person who sent this link." : "Pre viac informácií kontaktujte osobu, ktorá vám poslala tento odkaz.",
    "Note:" : "Poznámka:",
    "Download %s" : "Stiahnuť %s",
    "Upload files to %s" : "Nahrať súbory do %s",
    "Select or drop files" : "Vyberte alebo položte súbory",
    "Uploading files…" : "Nahrávanie súborov...",
    "Uploaded files:" : "Nahrané súbory...",
    "{actor} removed you from {file}" : "{actor} vám zrušil sprístupnenie {file}",
    "%s is publicly shared" : "%s je verejne zdieľaný",
    "This share is password-protected" : "Táto položka je chránené heslom",
    "The password is wrong. Try again." : "Heslo je chybné. Skúste to znova.",
    "Password" : "Heslo"
},"pluralForm" :"nplurals=4; plural=(n % 1 == 0 && n == 1 ? 0 : n % 1 == 0 && n >= 2 && n <= 4 ? 1 : n % 1 != 0 ? 2: 3);"
}