From: Vsevolod Stakhov <vsevolod@highsecure.ru>
Date: Wed, 20 May 2015 21:53:09 +0000 (+0100)
Subject: Add tests for tokenizer bug.
X-Git-Tag: 0.9.4~10
X-Git-Url: https://source.dussan.org/?a=commitdiff_plain;h=3a2be8f3d620b5541d9c5a6a26ab9eb0bfeea5e1;p=rspamd.git

Add tests for tokenizer bug.
---

diff --git a/src/lua/lua_util.c b/src/lua/lua_util.c
index 37bf98ead..f1c848201 100644
--- a/src/lua/lua_util.c
+++ b/src/lua/lua_util.c
@@ -330,7 +330,7 @@ lua_util_tokenize_text (lua_State *L)
 		for (i = 0; i < res->len; i ++) {
 			w = &g_array_index (res, rspamd_fstring_t, i);
 			lua_pushlstring (L, w->begin, w->len);
-			lua_settable (L, i + 1);
+			lua_rawseti (L, -2, i + 1);
 		}
 	}
 
diff --git a/test/lua/unit/tokenizer.lua b/test/lua/unit/tokenizer.lua
index de15a6bd7..628d70298 100644
--- a/test/lua/unit/tokenizer.lua
+++ b/test/lua/unit/tokenizer.lua
@@ -8,6 +8,9 @@ context("Text tokenization test", function()
         "Integer", "mattis", "nibh"
         }
       },
+      {"Հետաքրքրվողների համար ոտորև ներկայացված",
+        {"Հետաքրքրվողների", "համար", "ոտորև", "ներկայացված"}
+      },
     }
     
     for _,c in ipairs(cases) do