Add GetValidBpc() check in CPDF_DIBSource::CreateDecoder()
[pdfium.git] / core / src / fpdfapi / fpdf_render / fpdf_render_loadimage.cpp
index 5279ab9..846ad82 100644 (file)
@@ -564,6 +564,10 @@ int CPDF_DIBSource::CreateDecoder()
     if (decoder.IsEmpty()) {
         return 1;
     }
+    FX_DWORD bpc = GetValidBpc();
+    if (bpc == 0) {
+        return 0;
+    }
     FX_LPCBYTE src_data = m_pStreamAcc->GetData();
     FX_DWORD src_size = m_pStreamAcc->GetSize();
     const CPDF_Dictionary* pParams = m_pStreamAcc->GetImageParam();
@@ -574,17 +578,17 @@ int CPDF_DIBSource::CreateDecoder()
                      m_nComponents, pParams ? pParams->GetInteger(FX_BSTR("ColorTransform"), 1) : 1);
         if (NULL == m_pDecoder) {
             FX_BOOL bTransform = FALSE;
-            int comps, bpc;
+            int comps, tmp_bpc;
             ICodec_JpegModule* pJpegModule = CPDF_ModuleMgr::Get()->GetJpegModule();
-            if (pJpegModule->LoadInfo(src_data, src_size, m_Width, m_Height, comps, bpc, bTransform)) {
+            if (pJpegModule->LoadInfo(src_data, src_size, m_Width, m_Height, comps, tmp_bpc, bTransform)) {
                 m_nComponents = comps;
-                m_bpc = bpc;
+                m_bpc = bpc = tmp_bpc;
                 m_pDecoder = CPDF_ModuleMgr::Get()->GetJpegModule()->CreateDecoder(src_data, src_size, m_Width, m_Height,
                              m_nComponents, bTransform);
             }
         }
     } else if (decoder == FX_BSTRC("FlateDecode")) {
-        m_pDecoder = FPDFAPI_CreateFlateDecoder(src_data, src_size, m_Width, m_Height, m_nComponents, m_bpc, pParams);
+        m_pDecoder = FPDFAPI_CreateFlateDecoder(src_data, src_size, m_Width, m_Height, m_nComponents, bpc, pParams);
     } else if (decoder == FX_BSTRC("JPXDecode")) {
         LoadJpxBitmap();
         return m_pCachedBitmap != NULL ? 1 : 0;
@@ -598,12 +602,26 @@ int CPDF_DIBSource::CreateDecoder()
         m_Status = 1;
         return 2;
     } else if (decoder == FX_BSTRC("RunLengthDecode")) {
-        m_pDecoder = CPDF_ModuleMgr::Get()->GetCodecModule()->GetBasicModule()->CreateRunLengthDecoder(src_data, src_size, m_Width, m_Height, m_nComponents, m_bpc);
+        m_pDecoder = CPDF_ModuleMgr::Get()->GetCodecModule()->GetBasicModule()->CreateRunLengthDecoder(src_data, src_size, m_Width, m_Height, m_nComponents, bpc);
     }
     if (m_pDecoder) {
-        int requested_pitch = (m_Width * m_nComponents * m_bpc + 7) / 8;
-        int provided_pitch = (m_pDecoder->GetWidth() * m_pDecoder->CountComps() * m_pDecoder->GetBPC() + 7) / 8;
-        if (provided_pitch < requested_pitch) {
+        FX_SAFE_DWORD requested_pitch = bpc;
+        requested_pitch *= m_nComponents;
+        requested_pitch *= m_Width;
+        requested_pitch += 7;
+        requested_pitch /= 8;
+        if (!requested_pitch.IsValid()) {
+            return 0;
+        }
+        FX_SAFE_DWORD provided_pitch = m_pDecoder->GetBPC();
+        provided_pitch *= m_pDecoder->CountComps();
+        provided_pitch *= m_pDecoder->GetWidth();
+        provided_pitch += 7;
+        provided_pitch /= 8;
+        if (!provided_pitch.IsValid()) {
+            return 0;
+        }
+        if (provided_pitch.ValueOrDie() < requested_pitch.ValueOrDie()) {
             return 0;
         }
         return 1;
@@ -919,52 +937,62 @@ FX_DWORD CPDF_DIBSource::GetValidBpc() const
             }
         }
     }
+    if (bpc != 1 && bpc != 2 && bpc != 4 && bpc != 8 && bpc != 12 && bpc != 16) {
+        bpc = 0;
+    }
+
     return bpc;
 }
 #define NORMALCOLOR_MAX(color, max) (color) > (max) ? (max) : (color) < 0 ? 0 : (color);
 void CPDF_DIBSource::TranslateScanline24bpp(FX_LPBYTE dest_scan, FX_LPCBYTE src_scan) const
 {
-    int max_data = (1 << m_bpc) - 1;
+    FX_DWORD bpc = GetValidBpc();
+    if (bpc == 0) {
+        return;
+    }
+    int max_data = (1 << bpc) - 1;
     if (m_bDefaultDecode) {
         if (m_Family == PDFCS_DEVICERGB || m_Family == PDFCS_CALRGB) {
-            if (m_bpc == 16) {
-                FX_LPCBYTE src_pos = src_scan;
-                for (int col = 0; col < m_Width; col ++) {
-                    *dest_scan++ = src_pos[4];
-                    *dest_scan++ = src_pos[2];
-                    *dest_scan++ = *src_pos;
-                    src_pos += 6;
-                }
-            } else if (m_bpc == 8) {
-                FX_LPCBYTE src_pos = src_scan;
-                for (int column = 0; column < m_Width; column ++) {
-                    *dest_scan++ = src_pos[2];
-                    *dest_scan++ = src_pos[1];
-                    *dest_scan++ = *src_pos;
-                    src_pos += 3;
-                }
-            } else {
-                int src_bit_pos = 0;
-                int dest_byte_pos = 0;
-                FX_DWORD bpc = GetValidBpc();
-                for (int column = 0; column < m_Width; column ++) {
-                    int R = _GetBits8(src_scan, src_bit_pos, bpc);
-                    src_bit_pos += bpc;
-                    int G = _GetBits8(src_scan, src_bit_pos, bpc);
-                    src_bit_pos += bpc;
-                    int B = _GetBits8(src_scan, src_bit_pos, bpc);
-                    src_bit_pos += bpc;
-                    R = NORMALCOLOR_MAX(R, max_data);
-                    G = NORMALCOLOR_MAX(G, max_data);
-                    B = NORMALCOLOR_MAX(B, max_data);
-                    dest_scan[dest_byte_pos] = B * 255 / max_data;
-                    dest_scan[dest_byte_pos + 1] = G * 255 / max_data;
-                    dest_scan[dest_byte_pos + 2] = R * 255 / max_data;
-                    dest_byte_pos += 3;
-                }
+            FX_LPCBYTE src_pos = src_scan;
+            switch (bpc) {
+                case 16:
+                    for (int col = 0; col < m_Width; col ++) {
+                        *dest_scan++ = src_pos[4];
+                        *dest_scan++ = src_pos[2];
+                        *dest_scan++ = *src_pos;
+                        src_pos += 6;
+                    }
+                    break;
+                case 8:
+                    for (int column = 0; column < m_Width; column ++) {
+                        *dest_scan++ = src_pos[2];
+                        *dest_scan++ = src_pos[1];
+                        *dest_scan++ = *src_pos;
+                        src_pos += 3;
+                    }
+                    break;
+                default:
+                    int src_bit_pos = 0;
+                    int dest_byte_pos = 0;
+                    for (int column = 0; column < m_Width; column ++) {
+                        int R = _GetBits8(src_scan, src_bit_pos, bpc);
+                        src_bit_pos += bpc;
+                        int G = _GetBits8(src_scan, src_bit_pos, bpc);
+                        src_bit_pos += bpc;
+                        int B = _GetBits8(src_scan, src_bit_pos, bpc);
+                        src_bit_pos += bpc;
+                        R = NORMALCOLOR_MAX(R, max_data);
+                        G = NORMALCOLOR_MAX(G, max_data);
+                        B = NORMALCOLOR_MAX(B, max_data);
+                        dest_scan[dest_byte_pos] = B * 255 / max_data;
+                        dest_scan[dest_byte_pos + 1] = G * 255 / max_data;
+                        dest_scan[dest_byte_pos + 2] = R * 255 / max_data;
+                        dest_byte_pos += 3;
+                    }
+                    break;
             }
             return;
-        } else if (m_bpc == 8) {
+        } else if (bpc == 8) {
             if (m_nComponents == m_pColorSpace->CountComponents())
                 m_pColorSpace->TranslateImageLine(dest_scan, src_scan, m_Width, m_Width, m_Height,
                                                   m_bLoadMask && m_GroupFamily == PDFCS_DEVICECMYK && m_Family == PDFCS_DEVICECMYK);
@@ -974,7 +1002,7 @@ void CPDF_DIBSource::TranslateScanline24bpp(FX_LPBYTE dest_scan, FX_LPCBYTE src_
     CFX_FixedBufGrow<FX_FLOAT, 16> color_values1(m_nComponents);
     FX_FLOAT* color_values = color_values1;
     FX_FLOAT R = 0.0f, G = 0.0f, B = 0.0f;
-    if (m_bpc == 8) {
+    if (bpc == 8) {
         int src_byte_pos = 0;
         int dest_byte_pos = 0;
         for (int column = 0; column < m_Width; column ++) {
@@ -1037,7 +1065,18 @@ FX_LPBYTE CPDF_DIBSource::GetBuffer() const
 }
 FX_LPCBYTE CPDF_DIBSource::GetScanline(int line) const
 {
-    FX_DWORD src_pitch = (m_Width * m_bpc * m_nComponents + 7) / 8;
+    FX_DWORD bpc = GetValidBpc();
+    if (bpc == 0) {
+        return NULL;
+    }
+    FX_SAFE_DWORD src_pitch = m_Width;
+    src_pitch *= bpc;
+    src_pitch *= m_nComponents;
+    src_pitch += 7;
+    src_pitch /= 8;
+    if (!src_pitch.IsValid())
+        return NULL;
+    FX_DWORD src_pitch_value = src_pitch.ValueOrDie();
     FX_LPCBYTE pSrcLine = NULL;
     if (m_pCachedBitmap) {
         if (line >= m_pCachedBitmap->GetHeight()) {
@@ -1047,8 +1086,8 @@ FX_LPCBYTE CPDF_DIBSource::GetScanline(int line) const
     } else if (m_pDecoder) {
         pSrcLine = m_pDecoder->GetScanline(line);
     } else {
-        if (m_pStreamAcc->GetSize() >= (line + 1) * src_pitch) {
-            pSrcLine = m_pStreamAcc->GetData() + line * src_pitch;
+        if (m_pStreamAcc->GetSize() >= (line + 1) * src_pitch_value) {
+            pSrcLine = m_pStreamAcc->GetData() + line * src_pitch_value;
         }
     }
     if (pSrcLine == NULL) {
@@ -1056,9 +1095,9 @@ FX_LPCBYTE CPDF_DIBSource::GetScanline(int line) const
         FXSYS_memset8(pLineBuf, 0xff, m_Pitch);
         return pLineBuf;
     }
-    if (m_bpc * m_nComponents == 1) {
+    if (bpc * m_nComponents == 1) {
         if (m_bImageMask && m_bDefaultDecode) {
-            for (FX_DWORD i = 0; i < src_pitch; i ++) {
+            for (FX_DWORD i = 0; i < src_pitch_value; i++) {
                 m_pLineBuf[i] = ~pSrcLine[i];
             }
         } else if (m_bColorKey) {
@@ -1084,21 +1123,21 @@ FX_LPCBYTE CPDF_DIBSource::GetScanline(int line) const
             }
             return m_pMaskedLine;
         } else {
-            FXSYS_memcpy32(m_pLineBuf, pSrcLine, src_pitch);
+            FXSYS_memcpy32(m_pLineBuf, pSrcLine, src_pitch_value);
         }
         return m_pLineBuf;
     }
-    if (m_bpc * m_nComponents <= 8) {
-        if (m_bpc == 8) {
-            FXSYS_memcpy32(m_pLineBuf, pSrcLine, src_pitch);
+    if (bpc * m_nComponents <= 8) {
+        if (bpc == 8) {
+            FXSYS_memcpy32(m_pLineBuf, pSrcLine, src_pitch_value);
         } else {
             int src_bit_pos = 0;
             for (int col = 0; col < m_Width; col ++) {
                 int color_index = 0;
                 for (FX_DWORD color = 0; color < m_nComponents; color ++) {
-                    int data = _GetBits8(pSrcLine, src_bit_pos, m_bpc);
-                    color_index |= data << (color * m_bpc);
-                    src_bit_pos += m_bpc;
+                    int data = _GetBits8(pSrcLine, src_bit_pos, bpc);
+                    color_index |= data << (color * bpc);
+                    src_bit_pos += bpc;
                 }
                 m_pLineBuf[col] = color_index;
             }
@@ -1125,7 +1164,7 @@ FX_LPCBYTE CPDF_DIBSource::GetScanline(int line) const
         return m_pLineBuf;
     }
     if (m_bColorKey) {
-        if (m_nComponents == 3 && m_bpc == 8) {
+        if (m_nComponents == 3 && bpc == 8) {
             FX_LPBYTE alpha_channel = m_pMaskedLine + 3;
             for (int col = 0; col < m_Width; col ++) {
                 FX_LPCBYTE pPixel = pSrcLine + col * 3;
@@ -1204,7 +1243,7 @@ void CPDF_DIBSource::DownSampleScanline(int line, FX_LPBYTE dest_scan, int dest_
         return;
     }
 
-    FX_SAFE_INT max_src_x = clip_left;
+    FX_SAFE_INT32 max_src_x = clip_left;
     max_src_x += clip_width - 1;
     max_src_x *= src_width;
     max_src_x /= dest_width;