1. 增大输入分辨率

将原始输入图片裁剪成多个图片块，再将这些图片块和原始输入图片统一到448*448的尺寸。每个图片块经过视觉编码时会加入一个专属的Lora以此更好地提取图片块的局部视觉特征，训练时仅训练Lora部分，而原始的输入图像则用于提取全局特征，以此方法达到增大输入分辨率的目的。   

2. 多级特征融合的详细描述生成方法生成高质量图文数据

主要分为五个步骤：第一步，使用BLIP2对整张图生成全局描述；第二步用 GRIT生成区域框，并提供区域中对象的名称和详细描述，同时使用PPOCR提取区域的文本框坐标和文本内容；第三步使用SAM进行分割，并送入BLIP2生成对各个物体及其组成部分的详细描述；第四步使用BLIP-2 评估过滤掉低分匹配；最后使用ChatGPT 对上述得到的描述进行总结从而得到图像的详细描述。

下图为使用使用多级特征融合的详细描述生成方法后得到的标注与原始CC3M标注的对比，不难看出，两种标注之间存在着较大的差距，生成的详细标注尽可能地包含了图片中的各种细节，而不像是CC3M地原始标注那样一句带过。利用这样高质量的图文数据进行训练，使得Monkey能够更好地把握图文之间的关系。   

更多的可视化对比结果与展示:

通过下图展示的Monkey在QA任务上与多种大模型的对比结果，从中我们能够更加直观地感受到Monkey强大的问答能力，能够准确地把握住问题并给出正确的回答，尤其是在密集文本问答任务上，目前的大模型或多或少都面临着一定的问题，Monkey为解决这一难题提供了一条可行的出路。