Fix the issue that pdfium swallows 'fi' or 'ff' in some pdf files
[pdfium.git] / core / src / fxcrt / fx_basic_utf.cpp
1 // Copyright 2014 PDFium Authors. All rights reserved.
2 // Use of this source code is governed by a BSD-style license that can be
3 // found in the LICENSE file.
4
5 // Original code copyright 2014 Foxit Software Inc. http://www.foxitsoftware.com
6
7 #include "../../include/fxcrt/fx_basic.h"
8 void CFX_UTF8Decoder::Clear() {
9   m_Buffer.Clear();
10   m_PendingBytes = 0;
11 }
12 void CFX_UTF8Decoder::AppendChar(FX_DWORD ch) {
13   m_Buffer.AppendChar((FX_WCHAR)ch);
14 }
15 void CFX_UTF8Decoder::Input(uint8_t byte) {
16   if (byte < 0x80) {
17     m_PendingBytes = 0;
18     m_Buffer.AppendChar(byte);
19   } else if (byte < 0xc0) {
20     if (m_PendingBytes == 0) {
21       return;
22     }
23     m_PendingBytes--;
24     m_PendingChar |= (byte & 0x3f) << (m_PendingBytes * 6);
25     if (m_PendingBytes == 0) {
26       AppendChar(m_PendingChar);
27     }
28   } else if (byte < 0xe0) {
29     m_PendingBytes = 1;
30     m_PendingChar = (byte & 0x1f) << 6;
31   } else if (byte < 0xf0) {
32     m_PendingBytes = 2;
33     m_PendingChar = (byte & 0x0f) << 12;
34   } else if (byte < 0xf8) {
35     m_PendingBytes = 3;
36     m_PendingChar = (byte & 0x07) << 18;
37   } else if (byte < 0xfc) {
38     m_PendingBytes = 4;
39     m_PendingChar = (byte & 0x03) << 24;
40   } else if (byte < 0xfe) {
41     m_PendingBytes = 5;
42     m_PendingChar = (byte & 0x01) << 30;
43   }
44 }
45 void CFX_UTF8Encoder::Input(FX_WCHAR unicode) {
46   if ((FX_DWORD)unicode < 0x80) {
47     m_Buffer.AppendChar(unicode);
48   } else {
49     if ((FX_DWORD)unicode >= 0x80000000) {
50       return;
51     }
52     int nbytes = 0;
53     if ((FX_DWORD)unicode < 0x800) {
54       nbytes = 2;
55     } else if ((FX_DWORD)unicode < 0x10000) {
56       nbytes = 3;
57     } else if ((FX_DWORD)unicode < 0x200000) {
58       nbytes = 4;
59     } else if ((FX_DWORD)unicode < 0x4000000) {
60       nbytes = 5;
61     } else {
62       nbytes = 6;
63     }
64     static uint8_t prefix[] = {0xc0, 0xe0, 0xf0, 0xf8, 0xfc};
65     int order = 1 << ((nbytes - 1) * 6);
66     int code = unicode;
67     m_Buffer.AppendChar(prefix[nbytes - 2] | (code / order));
68     for (int i = 0; i < nbytes - 1; i++) {
69       code = code % order;
70       order >>= 6;
71       m_Buffer.AppendChar(0x80 | (code / order));
72     }
73   }
74 }
75 CFX_ByteString FX_UTF8Encode(const FX_WCHAR* pwsStr, FX_STRSIZE len) {
76   FXSYS_assert(pwsStr != NULL);
77   if (len < 0) {
78     len = FXSYS_wcslen(pwsStr);
79   }
80   CFX_UTF8Encoder encoder;
81   while (len-- > 0) {
82     encoder.Input(*pwsStr++);
83   }
84   return encoder.GetResult();
85 }