Add warning for BIDI characters in page renders and in diffs (#17562)

Fix #17514

Given the comments I've adjusted this somewhat. The numbers of characters detected are increased and include things like the use of U+300 to make à instead of à and non-breaking spaces.

There is a button which can be used to escape the content to show it.

Signed-off-by: Andrew Thornton <art27@cantab.net>
Co-authored-by: Gwyneth Morgan <gwymor@tilde.club>
Co-authored-by: silverwind <me@silverwind.io>
Co-authored-by: wxiaoguang <wxiaoguang@gmail.com>

2 files changed, 432 insertions, 0 deletions

diff --git a/modules/charset/escape.go b/modules/charset/escape.go
new file mode 100644
index 0000000000..abe813b465
--- /dev/null
+++ b/modules/charset/escape.go
@@ -0,0 +1,230 @@
+// Copyright 2021 The Gitea Authors. All rights reserved.
+// Use of this source code is governed by a MIT-style
+// license that can be found in the LICENSE file.
+
+package charset
+
+import (
+	"bytes"
+	"fmt"
+	"io"
+	"strings"
+	"unicode"
+	"unicode/utf8"
+
+	"golang.org/x/text/unicode/bidi"
+)
+
+// EscapeStatus represents the findings of the unicode escaper
+type EscapeStatus struct {
+	Escaped      bool
+	HasError     bool
+	HasBadRunes  bool
+	HasControls  bool
+	HasSpaces    bool
+	HasMarks     bool
+	HasBIDI      bool
+	BadBIDI      bool
+	HasRTLScript bool
+	HasLTRScript bool
+}
+
+// Or combines two EscapeStatus structs into one representing the conjunction of the two
+func (status EscapeStatus) Or(other EscapeStatus) EscapeStatus {
+	st := status
+	st.Escaped = st.Escaped || other.Escaped
+	st.HasError = st.HasError || other.HasError
+	st.HasBadRunes = st.HasBadRunes || other.HasBadRunes
+	st.HasControls = st.HasControls || other.HasControls
+	st.HasSpaces = st.HasSpaces || other.HasSpaces
+	st.HasMarks = st.HasMarks || other.HasMarks
+	st.HasBIDI = st.HasBIDI || other.HasBIDI
+	st.BadBIDI = st.BadBIDI || other.BadBIDI
+	st.HasRTLScript = st.HasRTLScript || other.HasRTLScript
+	st.HasLTRScript = st.HasLTRScript || other.HasLTRScript
+	return st
+}
+
+// EscapeControlString escapes the unicode control sequences in a provided string and returns the findings as an EscapeStatus and the escaped string
+func EscapeControlString(text string) (EscapeStatus, string) {
+	sb := &strings.Builder{}
+	escaped, _ := EscapeControlReader(strings.NewReader(text), sb)
+	return escaped, sb.String()
+}
+
+// EscapeControlBytes escapes the unicode control sequences  a provided []byte and returns the findings as an EscapeStatus and the escaped []byte
+func EscapeControlBytes(text []byte) (EscapeStatus, []byte) {
+	buf := &bytes.Buffer{}
+	escaped, _ := EscapeControlReader(bytes.NewReader(text), buf)
+	return escaped, buf.Bytes()
+}
+
+// EscapeControlReader escapes the unicode control sequences  a provided Reader writing the escaped output to the output and returns the findings as an EscapeStatus and an error
+func EscapeControlReader(text io.Reader, output io.Writer) (escaped EscapeStatus, err error) {
+	buf := make([]byte, 4096)
+	readStart := 0
+	var n int
+	var writePos int
+
+	lineHasBIDI := false
+	lineHasRTLScript := false
+	lineHasLTRScript := false
+
+readingloop:
+	for err == nil {
+		n, err = text.Read(buf[readStart:])
+		bs := buf[:n+readStart]
+		i := 0
+
+		for i < len(bs) {
+			r, size := utf8.DecodeRune(bs[i:])
+			// Now handle the codepoints
+			switch {
+			case r == utf8.RuneError:
+				if writePos < i {
+					if _, err = output.Write(bs[writePos:i]); err != nil {
+						escaped.HasError = true
+						return
+					}
+					writePos = i
+				}
+				// runes can be at most 4 bytes - so...
+				if len(bs)-i <= 3 {
+					// if not request more data
+					copy(buf, bs[i:])
+					readStart = n - i
+					writePos = 0
+					continue readingloop
+				}
+				// this is a real broken rune
+				escaped.HasBadRunes = true
+				escaped.Escaped = true
+				if err = writeBroken(output, bs[i:i+size]); err != nil {
+					escaped.HasError = true
+					return
+				}
+				writePos += size
+			case r == '\n':
+				if lineHasBIDI && !lineHasRTLScript && lineHasLTRScript {
+					escaped.BadBIDI = true
+				}
+				lineHasBIDI = false
+				lineHasRTLScript = false
+				lineHasLTRScript = false
+
+			case r == '\r' || r == '\t' || r == ' ':
+				// These are acceptable control characters and space characters
+			case unicode.IsSpace(r):
+				escaped.HasSpaces = true
+				escaped.Escaped = true
+				if writePos < i {
+					if _, err = output.Write(bs[writePos:i]); err != nil {
+						escaped.HasError = true
+						return
+					}
+				}
+				if err = writeEscaped(output, r); err != nil {
+					escaped.HasError = true
+					return
+				}
+				writePos = i + size
+			case unicode.Is(unicode.Bidi_Control, r):
+				escaped.Escaped = true
+				escaped.HasBIDI = true
+				if writePos < i {
+					if _, err = output.Write(bs[writePos:i]); err != nil {
+						escaped.HasError = true
+						return
+					}
+				}
+				lineHasBIDI = true
+				if err = writeEscaped(output, r); err != nil {
+					escaped.HasError = true
+					return
+				}
+				writePos = i + size
+			case unicode.Is(unicode.C, r):
+				escaped.Escaped = true
+				escaped.HasControls = true
+				if writePos < i {
+					if _, err = output.Write(bs[writePos:i]); err != nil {
+						escaped.HasError = true
+						return
+					}
+				}
+				if err = writeEscaped(output, r); err != nil {
+					escaped.HasError = true
+					return
+				}
+				writePos = i + size
+			case unicode.Is(unicode.M, r):
+				escaped.Escaped = true
+				escaped.HasMarks = true
+				if writePos < i {
+					if _, err = output.Write(bs[writePos:i]); err != nil {
+						escaped.HasError = true
+						return
+					}
+				}
+				if err = writeEscaped(output, r); err != nil {
+					escaped.HasError = true
+					return
+				}
+				writePos = i + size
+			default:
+				p, _ := bidi.Lookup(bs[i : i+size])
+				c := p.Class()
+				if c == bidi.R || c == bidi.AL {
+					lineHasRTLScript = true
+					escaped.HasRTLScript = true
+				} else if c == bidi.L {
+					lineHasLTRScript = true
+					escaped.HasLTRScript = true
+				}
+			}
+			i += size
+		}
+		if n > 0 {
+			// we read something...
+			// write everything unwritten
+			if writePos < i {
+				if _, err = output.Write(bs[writePos:i]); err != nil {
+					escaped.HasError = true
+					return
+				}
+			}
+
+			// reset the starting positions for the next read
+			readStart = 0
+			writePos = 0
+		}
+	}
+	if readStart > 0 {
+		// this means that there is an incomplete or broken rune at 0-readStart and we read nothing on the last go round
+		escaped.Escaped = true
+		escaped.HasBadRunes = true
+		if err = writeBroken(output, buf[:readStart]); err != nil {
+			escaped.HasError = true
+			return
+		}
+	}
+	if err == io.EOF {
+		if lineHasBIDI && !lineHasRTLScript && lineHasLTRScript {
+			escaped.BadBIDI = true
+		}
+		err = nil
+		return
+	}
+	escaped.HasError = true
+	return
+}
+
+func writeBroken(output io.Writer, bs []byte) (err error) {
+	_, err = fmt.Fprintf(output, `<span class="broken-code-point">&lt;%X&gt;</span>`, bs)
+	return
+}
+
+func writeEscaped(output io.Writer, r rune) (err error) {
+	_, err = fmt.Fprintf(output, `<span class="escaped-code-point" data-escaped="[U+%04X]"><span class="char">%c</span></span>`, r, r)
+	return
+}
diff --git a/modules/charset/escape_test.go b/modules/charset/escape_test.go
new file mode 100644
index 0000000000..dec92b4992
--- /dev/null
+++ b/modules/charset/escape_test.go
@@ -0,0 +1,202 @@
+// Copyright 2021 The Gitea Authors. All rights reserved.
+// Use of this source code is governed by a MIT-style
+// license that can be found in the LICENSE file.
+
+package charset
+
+import (
+	"reflect"
+	"strings"
+	"testing"
+)
+
+type escapeControlTest struct {
+	name   string
+	text   string
+	status EscapeStatus
+	result string
+}
+
+var escapeControlTests = []escapeControlTest{
+	{
+		name: "<empty>",
+	},
+	{
+		name:   "single line western",
+		text:   "single line western",
+		result: "single line western",
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "multi line western",
+		text:   "single line western\nmulti line western\n",
+		result: "single line western\nmulti line western\n",
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "multi line western non-breaking space",
+		text:   "single line western\nmulti line western\n",
+		result: `single line<span class="escaped-code-point" data-escaped="[U+00A0]"><span class="char"> </span></span>western` + "\n" + `multi line<span class="escaped-code-point" data-escaped="[U+00A0]"><span class="char"> </span></span>western` + "\n",
+		status: EscapeStatus{Escaped: true, HasLTRScript: true, HasSpaces: true},
+	},
+	{
+		name:   "mixed scripts: western + japanese",
+		text:   "日属秘ぞしちゅ。Then some western.",
+		result: "日属秘ぞしちゅ。Then some western.",
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "japanese",
+		text:   "日属秘ぞしちゅ。",
+		result: "日属秘ぞしちゅ。",
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "hebrew",
+		text:   "עד תקופת יוון העתיקה היה העיסוק במתמטיקה תכליתי בלבד: היא שימשה כאוסף של נוסחאות לחישוב קרקע, אוכלוסין וכו'. פריצת הדרך של היוונים, פרט לתרומותיהם הגדולות לידע המתמטי, הייתה בלימוד המתמטיקה כשלעצמה, מתוקף ערכה הרוחני. יחסם של חלק מהיוונים הקדמונים למתמטיקה היה דתי - למשל, הכת שאסף סביבו פיתגורס האמינה כי המתמטיקה היא הבסיס לכל הדברים. היוונים נחשבים ליוצרי מושג ההוכחה המתמטית, וכן לראשונים שעסקו במתמטיקה לשם עצמה, כלומר כתחום מחקרי עיוני ומופשט ולא רק כעזר שימושי. עם זאת, לצדה",
+		result: "עד תקופת יוון העתיקה היה העיסוק במתמטיקה תכליתי בלבד: היא שימשה כאוסף של נוסחאות לחישוב קרקע, אוכלוסין וכו'. פריצת הדרך של היוונים, פרט לתרומותיהם הגדולות לידע המתמטי, הייתה בלימוד המתמטיקה כשלעצמה, מתוקף ערכה הרוחני. יחסם של חלק מהיוונים הקדמונים למתמטיקה היה דתי - למשל, הכת שאסף סביבו פיתגורס האמינה כי המתמטיקה היא הבסיס לכל הדברים. היוונים נחשבים ליוצרי מושג ההוכחה המתמטית, וכן לראשונים שעסקו במתמטיקה לשם עצמה, כלומר כתחום מחקרי עיוני ומופשט ולא רק כעזר שימושי. עם זאת, לצדה",
+		status: EscapeStatus{HasRTLScript: true},
+	},
+	{
+		name: "more hebrew",
+		text: `בתקופה מאוחרת יותר, השתמשו היוונים בשיטת סימון מתקדמת יותר, שבה הוצגו המספרים לפי 22 אותיות האלפבית היווני. לסימון המספרים בין 1 ל-9 נקבעו תשע האותיות הראשונות, בתוספת גרש ( ' ) בצד ימין של האות, למעלה; תשע האותיות הבאות ייצגו את העשרות מ-10 עד 90, והבאות את המאות. לסימון הספרות בין 1000 ל-900,000, השתמשו היוונים באותן אותיות, אך הוסיפו לאותיות את הגרש דווקא מצד שמאל של האותיות, למטה. ממיליון ומעלה, כנראה השתמשו היוונים בשני תגים במקום אחד.
+
+			המתמטיקאי הבולט הראשון ביוון העתיקה, ויש האומרים בתולדות האנושות, הוא תאלס (624 לפנה"ס - 546 לפנה"ס בקירוב).[1] לא יהיה זה משולל יסוד להניח שהוא האדם הראשון שהוכיח משפט מתמטי, ולא רק גילה אותו. תאלס הוכיח שישרים מקבילים חותכים מצד אחד של שוקי זווית קטעים בעלי יחסים שווים (משפט תאלס הראשון), שהזווית המונחת על קוטר במעגל היא זווית ישרה (משפט תאלס השני), שהקוטר מחלק את המעגל לשני חלקים שווים, ושזוויות הבסיס במשולש שווה-שוקיים שוות זו לזו. מיוחסות לו גם שיטות למדידת גובהן של הפירמידות בעזרת מדידת צילן ולקביעת מיקומה של ספינה הנראית מן החוף.
+
+			בשנים 582 לפנה"ס עד 496 לפנה"ס, בקירוב, חי מתמטיקאי חשוב במיוחד - פיתגורס. המקורות הראשוניים עליו מועטים, וההיסטוריונים מתקשים להפריד את העובדות משכבת המסתורין והאגדות שנקשרו בו. ידוע שסביבו התקבצה האסכולה הפיתגוראית מעין כת פסבדו-מתמטית שהאמינה ש"הכל מספר", או ליתר דיוק הכל ניתן לכימות, וייחסה למספרים משמעויות מיסטיות. ככל הנראה הפיתגוראים ידעו לבנות את הגופים האפלטוניים, הכירו את הממוצע האריתמטי, הממוצע הגאומטרי והממוצע ההרמוני והגיעו להישגים חשובים נוספים. ניתן לומר שהפיתגוראים גילו את היותו של השורש הריבועי של 2, שהוא גם האלכסון בריבוע שאורך צלעותיו 1, אי רציונלי, אך תגליתם הייתה למעשה רק שהקטעים "חסרי מידה משותפת", ומושג המספר האי רציונלי מאוחר יותר.[2] אזכור ראשון לקיומם של קטעים חסרי מידה משותפת מופיע בדיאלוג "תאיטיטוס" של אפלטון, אך רעיון זה היה מוכר עוד קודם לכן, במאה החמישית לפנה"ס להיפאסוס, בן האסכולה הפיתגוראית, ואולי לפיתגורס עצמו.[3]`,
+		result: `בתקופה מאוחרת יותר, השתמשו היוונים בשיטת סימון מתקדמת יותר, שבה הוצגו המספרים לפי 22 אותיות האלפבית היווני. לסימון המספרים בין 1 ל-9 נקבעו תשע האותיות הראשונות, בתוספת גרש ( ' ) בצד ימין של האות, למעלה; תשע האותיות הבאות ייצגו את העשרות מ-10 עד 90, והבאות את המאות. לסימון הספרות בין 1000 ל-900,000, השתמשו היוונים באותן אותיות, אך הוסיפו לאותיות את הגרש דווקא מצד שמאל של האותיות, למטה. ממיליון ומעלה, כנראה השתמשו היוונים בשני תגים במקום אחד.
+
+			המתמטיקאי הבולט הראשון ביוון העתיקה, ויש האומרים בתולדות האנושות, הוא תאלס (624 לפנה"ס - 546 לפנה"ס בקירוב).[1] לא יהיה זה משולל יסוד להניח שהוא האדם הראשון שהוכיח משפט מתמטי, ולא רק גילה אותו. תאלס הוכיח שישרים מקבילים חותכים מצד אחד של שוקי זווית קטעים בעלי יחסים שווים (משפט תאלס הראשון), שהזווית המונחת על קוטר במעגל היא זווית ישרה (משפט תאלס השני), שהקוטר מחלק את המעגל לשני חלקים שווים, ושזוויות הבסיס במשולש שווה-שוקיים שוות זו לזו. מיוחסות לו גם שיטות למדידת גובהן של הפירמידות בעזרת מדידת צילן ולקביעת מיקומה של ספינה הנראית מן החוף.
+
+			בשנים 582 לפנה"ס עד 496 לפנה"ס, בקירוב, חי מתמטיקאי חשוב במיוחד - פיתגורס. המקורות הראשוניים עליו מועטים, וההיסטוריונים מתקשים להפריד את העובדות משכבת המסתורין והאגדות שנקשרו בו. ידוע שסביבו התקבצה האסכולה הפיתגוראית מעין כת פסבדו-מתמטית שהאמינה ש"הכל מספר", או ליתר דיוק הכל ניתן לכימות, וייחסה למספרים משמעויות מיסטיות. ככל הנראה הפיתגוראים ידעו לבנות את הגופים האפלטוניים, הכירו את הממוצע האריתמטי, הממוצע הגאומטרי והממוצע ההרמוני והגיעו להישגים חשובים נוספים. ניתן לומר שהפיתגוראים גילו את היותו של השורש הריבועי של 2, שהוא גם האלכסון בריבוע שאורך צלעותיו 1, אי רציונלי, אך תגליתם הייתה למעשה רק שהקטעים "חסרי מידה משותפת", ומושג המספר האי רציונלי מאוחר יותר.[2] אזכור ראשון לקיומם של קטעים חסרי מידה משותפת מופיע בדיאלוג "תאיטיטוס" של אפלטון, אך רעיון זה היה מוכר עוד קודם לכן, במאה החמישית לפנה"ס להיפאסוס, בן האסכולה הפיתגוראית, ואולי לפיתגורס עצמו.[3]`,
+		status: EscapeStatus{HasRTLScript: true},
+	},
+	{
+		name: "Mixed RTL+LTR",
+		text: `Many computer programs fail to display bidirectional text correctly.
+For example, the Hebrew name Sarah (שרה) is spelled: sin (ש) (which appears rightmost),
+then resh (ר), and finally heh (ה) (which should appear leftmost).`,
+		result: `Many computer programs fail to display bidirectional text correctly.
+For example, the Hebrew name Sarah (שרה) is spelled: sin (ש) (which appears rightmost),
+then resh (ר), and finally heh (ה) (which should appear leftmost).`,
+		status: EscapeStatus{
+			HasRTLScript: true,
+			HasLTRScript: true,
+		},
+	},
+	{
+		name: "Mixed RTL+LTR+BIDI",
+		text: `Many computer programs fail to display bidirectional text correctly.
+			For example, the Hebrew name Sarah ` + "\u2067" + `שרה` + "\u2066\n" +
+			`sin (ש) (which appears rightmost), then resh (ר), and finally heh (ה) (which should appear leftmost).`,
+		result: `Many computer programs fail to display bidirectional text correctly.
+			For example, the Hebrew name Sarah <span class="escaped-code-point" data-escaped="[U+2067]"><span class="char">` + "\u2067" + `</span></span>שרה<span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>` + "\n" +
+			`sin (ש) (which appears rightmost), then resh (ר), and finally heh (ה) (which should appear leftmost).`,
+		status: EscapeStatus{
+			Escaped:      true,
+			HasBIDI:      true,
+			HasRTLScript: true,
+			HasLTRScript: true,
+		},
+	},
+	{
+		name:   "Accented characters",
+		text:   string([]byte{0xc3, 0xa1, 0xc3, 0xa9, 0xc3, 0xad, 0xc3, 0xb3, 0xc3, 0xba}),
+		result: string([]byte{0xc3, 0xa1, 0xc3, 0xa9, 0xc3, 0xad, 0xc3, 0xb3, 0xc3, 0xba}),
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "Program",
+		text:   "string([]byte{0xc3, 0xa1, 0xc3, 0xa9, 0xc3, 0xad, 0xc3, 0xb3, 0xc3, 0xba})",
+		result: "string([]byte{0xc3, 0xa1, 0xc3, 0xa9, 0xc3, 0xad, 0xc3, 0xb3, 0xc3, 0xba})",
+		status: EscapeStatus{HasLTRScript: true},
+	},
+	{
+		name:   "CVE testcase",
+		text:   "if access_level != \"user\u202E \u2066// Check if admin\u2069 \u2066\" {",
+		result: `if access_level != "user<span class="escaped-code-point" data-escaped="[U+202E]"><span class="char">` + "\u202e" + `</span></span> <span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>// Check if admin<span class="escaped-code-point" data-escaped="[U+2069]"><span class="char">` + "\u2069" + `</span></span> <span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>" {`,
+		status: EscapeStatus{Escaped: true, HasBIDI: true, BadBIDI: true, HasLTRScript: true},
+	},
+	{
+		name: "Mixed testcase with fail",
+		text: `Many computer programs fail to display bidirectional text correctly.
+			For example, the Hebrew name Sarah ` + "\u2067" + `שרה` + "\u2066\n" +
+			`sin (ש) (which appears rightmost), then resh (ר), and finally heh (ה) (which should appear leftmost).` +
+			"\nif access_level != \"user\u202E \u2066// Check if admin\u2069 \u2066\" {\n",
+		result: `Many computer programs fail to display bidirectional text correctly.
+			For example, the Hebrew name Sarah <span class="escaped-code-point" data-escaped="[U+2067]"><span class="char">` + "\u2067" + `</span></span>שרה<span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>` + "\n" +
+			`sin (ש) (which appears rightmost), then resh (ר), and finally heh (ה) (which should appear leftmost).` +
+			"\n" + `if access_level != "user<span class="escaped-code-point" data-escaped="[U+202E]"><span class="char">` + "\u202e" + `</span></span> <span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>// Check if admin<span class="escaped-code-point" data-escaped="[U+2069]"><span class="char">` + "\u2069" + `</span></span> <span class="escaped-code-point" data-escaped="[U+2066]"><span class="char">` + "\u2066" + `</span></span>" {` + "\n",
+		status: EscapeStatus{Escaped: true, HasBIDI: true, BadBIDI: true, HasLTRScript: true, HasRTLScript: true},
+	},
+}
+
+func TestEscapeControlString(t *testing.T) {
+	for _, tt := range escapeControlTests {
+		t.Run(tt.name, func(t *testing.T) {
+			status, result := EscapeControlString(tt.text)
+			if !reflect.DeepEqual(status, tt.status) {
+				t.Errorf("EscapeControlString() status = %v, wanted= %v", status, tt.status)
+			}
+			if result != tt.result {
+				t.Errorf("EscapeControlString()\nresult= %v,\nwanted= %v", result, tt.result)
+			}
+		})
+	}
+}
+
+func TestEscapeControlBytes(t *testing.T) {
+	for _, tt := range escapeControlTests {
+		t.Run(tt.name, func(t *testing.T) {
+			status, result := EscapeControlBytes([]byte(tt.text))
+			if !reflect.DeepEqual(status, tt.status) {
+				t.Errorf("EscapeControlBytes() status = %v, wanted= %v", status, tt.status)
+			}
+			if string(result) != tt.result {
+				t.Errorf("EscapeControlBytes()\nresult= %v,\nwanted= %v", result, tt.result)
+			}
+		})
+	}
+}
+
+func TestEscapeControlReader(t *testing.T) {
+	// lets add some control characters to the tests
+	tests := make([]escapeControlTest, 0, len(escapeControlTests)*3)
+	copy(tests, escapeControlTests)
+	for _, test := range escapeControlTests {
+		test.name += " (+Control)"
+		test.text = "\u001E" + test.text
+		test.result = `<span class="escaped-code-point" data-escaped="[U+001E]"><span class="char">` + "\u001e" + `</span></span>` + test.result
+		test.status.Escaped = true
+		test.status.HasControls = true
+		tests = append(tests, test)
+	}
+
+	for _, test := range escapeControlTests {
+		test.name += " (+Mark)"
+		test.text = "\u0300" + test.text
+		test.result = `<span class="escaped-code-point" data-escaped="[U+0300]"><span class="char">` + "\u0300" + `</span></span>` + test.result
+		test.status.Escaped = true
+		test.status.HasMarks = true
+		tests = append(tests, test)
+	}
+
+	for _, tt := range tests {
+		t.Run(tt.name, func(t *testing.T) {
+			input := strings.NewReader(tt.text)
+			output := &strings.Builder{}
+			status, err := EscapeControlReader(input, output)
+			result := output.String()
+			if err != nil {
+				t.Errorf("EscapeControlReader(): err = %v", err)
+			}
+
+			if !reflect.DeepEqual(status, tt.status) {
+				t.Errorf("EscapeControlReader() status = %v, wanted= %v", status, tt.status)
+			}
+			if result != tt.result {
+				t.Errorf("EscapeControlReader()\nresult= %v,\nwanted= %v", result, tt.result)
+			}
+		})
+	}
+}