From 3a2be8f3d620b5541d9c5a6a26ab9eb0bfeea5e1 Mon Sep 17 00:00:00 2001
From: Vsevolod Stakhov <vsevolod@highsecure.ru>
Date: Wed, 20 May 2015 22:53:09 +0100
Subject: [PATCH] Add tests for tokenizer bug.

---
 src/lua/lua_util.c          | 2 +-
 test/lua/unit/tokenizer.lua | 3 +++
 2 files changed, 4 insertions(+), 1 deletion(-)

diff --git a/src/lua/lua_util.c b/src/lua/lua_util.c
index 37bf98ead..f1c848201 100644
--- a/src/lua/lua_util.c
+++ b/src/lua/lua_util.c
@@ -330,7 +330,7 @@ lua_util_tokenize_text (lua_State *L)
 		for (i = 0; i < res->len; i ++) {
 			w = &g_array_index (res, rspamd_fstring_t, i);
 			lua_pushlstring (L, w->begin, w->len);
-			lua_settable (L, i + 1);
+			lua_rawseti (L, -2, i + 1);
 		}
 	}
 
diff --git a/test/lua/unit/tokenizer.lua b/test/lua/unit/tokenizer.lua
index de15a6bd7..628d70298 100644
--- a/test/lua/unit/tokenizer.lua
+++ b/test/lua/unit/tokenizer.lua
@@ -8,6 +8,9 @@ context("Text tokenization test", function()
         "Integer", "mattis", "nibh"
         }
       },
+      {"Հետաքրքրվողների համար ոտորև ներկայացված",
+        {"Հետաքրքրվողների", "համար", "ոտորև", "ներկայացված"}
+      },
     }
     
     for _,c in ipairs(cases) do
-- 
2.39.5