Блог компании Решетка LIFCL-40-7BG256C CrossLink-NX Embedded Vision Bridging & Processing FPGA с 2,5G MIPI D-PHY

Shenzhen Mingjiada Electronics Co., Ltd. поставляет и перерабатывает решетку.LIFCL-40-7BG256CВстроенный чип FPGA CrossLink-NX для видеосвязи и обработки данных.

В высокоскоростных встраиваемых приложениях машинного зрения высокой четкости, таких как машинное зрение, интеллектуальное восприятие в автомобиле, промышленная встроенная обработка изображений и сбор данных с помощью искусственного интеллекта, высокоскоростная передача данных изображения, плавное соединение сигналов от нескольких источников камер, легкая обработка изображений в режиме реального времени на входе, а также низкое энергопотребление и высокая надежность работы стали основными требованиями. Традиционные специализированные микросхемы обработки машинного зрения страдают от плохой адаптируемости интерфейса и отсутствия гибкости из-за фиксированной функциональности, в то время как FPGA общего назначения, как правило, имеют высокое энергопотребление и низкую интеграцию специализированных интерфейсов машинного зрения, что затрудняет баланс между многочисленными требованиями миниатюризации, низкого энергопотребления, взаимодействия сигналов машинного зрения с высокой пропускной способностью и расширяемой программируемой вычислительной мощности. РешеткаLIFCL-40-7BG256C, часть серии специализированных встраиваемых ПЛИС машинного зрения CrossLink-NX, построена на собственной усовершенствованной технологической платформе Nexus компании Lattice. Его основная конструкция ориентирована на решение двойных ключевых сценариев соединения и ретрансляции в области встроенного машинного зрения, а также на параллельную обработку в реальном времени на внешнем интерфейсе. Он оснащен проводным встроенным приемопередатчиком 2,5G MIPI D-PHY, обеспечивающим высокоскоростную передачу визуальных данных между камерами высокой четкости, дисплейными терминалами и процессорами периферийного управления без необходимости использования дополнительных внешних микросхем высокоскоростного интерфейса. Благодаря сверхнизкому энергопотреблению, высоконадежной архитектуре и возможностям мгновенной и быстрой настройки он стал предпочтительным программируемым логическим устройством для автомобильного зрения, промышленных камер, встроенных систем безопасности и портативных интеллектуальных устройств машинного зрения.

I. Базовая аппаратная архитектура и ключевые преимуществаLIFCL-40-7BG256C

Флагманская FPGA среднего класса в серии CrossLink-NX, LIFCL-40-7BG256C производится с использованием передового 28-нм техпроцесса FD-SOI. В отличие от традиционных архитектур процессов FPGA, он включает в себя технологию программируемого управления смещением с обратной связью, обеспечивающую динамическую оптимизацию соотношения производительности и мощности устройства в соответствии с фактическими условиями эксплуатации. По сравнению с конкурирующими FPGA той же спецификации энергопотребление снижено до 75%, что делает его идеально подходящим для жестких условий эксплуатации встраиваемых устройств с батарейным питанием и ограниченным рассеиванием тепла из-за ограниченного пространства. В стандартную комплектацию устройства входит 39 000 программируемых логических процессоров. Эти обширные логические ресурсы не только выполняют базовые функции, такие как мостовое соединение сложных видеосигналов, преобразование протоколов и многоканальную маршрутизацию и распределение данных, но также поддерживают параллельную обработку легких алгоритмов обработки изображений в реальном времени, включая предварительное кадрирование изображений, коррекцию цвета, предварительную обработку с шумоподавлением, адаптацию и масштабирование частоты кадров, не занимая при этом вычислительные ресурсы центрального центрального процессора или микроконтроллера, тем самым значительно снижая общую вычислительную нагрузку на систему.

Что касается ресурсов памяти, устройство имеет лучшее в отрасли соотношение памяти к логическому блоку с емкостью хранения до 170 бит на логический блок. Эта большая емкость встроенной памяти эффективно буферизует данные кадров изображения высокой четкости и данные промежуточной обработки из алгоритмов машинного зрения, тем самым избегая таких проблем, как повышенная сложность проводки, помехи в сигналах и рост затрат на оборудование, связанный с внешними чипами кэша. В устройстве используется компактный 256-контактный корпус BGA с суффиксом модели 7BG256C, специально адаптированным для удовлетворения требований промышленного уровня при работе в широком диапазоне температур. Диапазон рабочих температур от -40°C до +100°C. Он может стабильно работать в течение длительного времени в суровых промышленных условиях, таких как высокотемпературные моторные отсеки транспортных средств, промышленные производственные линии с высоким уровнем запыленности и чередующимися высокими и низкими температурами, а также в системах обеспечения безопасности на открытом воздухе, подвергающихся интенсивному солнечному свету и сильному холоду. Он также соответствует экологическим стандартам ЕС RoHS и требованиям сертификации массового производства для различных продуктов коммерческого и промышленного класса. Кроме того, устройство обеспечивает возможность мгновенной и быстрой настройки: настройка порта ввода-вывода выполняется всего за 3 миллисекунды, а полная настройка системы занимает не более 8 миллисекунд. Загрузка при включении питания происходит в течение нескольких секунд без длительных процессов загрузки, что соответствует основным требованиям встроенного оборудования машинного зрения к быстрому запуску, мгновенному получению изображений и реагированию с малой задержкой.

II.LIFCL-40-7BG256CКонфигурация ядра: возможность высокоскоростного жесткого интерфейса 2,5G MIPI D-PHY.

Аппаратный приемопередатчик 2,5G MIPI D-PHY представляет собой базовую конфигурацию LIFCL-40-7BG256C для встраиваемых приложений машинного зрения, а также представляет основное отличительное преимущество, которое отличает это устройство от программируемых логических устройств общего назначения. Чип изначально объединяет два набора жестких 4-канальных модулей физического уровня приемопередатчика MIPI D-PHY, что устраняет необходимость во внешних высокоскоростных устройствах сдвига уровня, усилителях сигнала или микросхемах преобразования протоколов. На аппаратном уровне он изначально поддерживает максимальную скорость высокоскоростной передачи данных 2,5 Гбит/с на канал. Объединенная полоса пропускания одного PHY-интерфейса может удовлетворить требования к синхронному сбору и передаче данных от нескольких датчиков изображения высокой четкости, что делает его идеально подходящим для современных основных приложений с источниками визуальных данных высокой четкости и высокой скорости, таких как CMOS-датчики изображения высокой четкости 4K, модули промышленных камер с высокой частотой кадров и автомобильные камеры кругового обзора.

Этот надежный MIPI D-PHY строго соответствует спецификациям протокола международного стандарта MIPI и совместим как с протоколом приема изображений CSI-2, так и с протоколом вывода изображения DSI, обеспечивая гибкий двунаправленный обмен визуальными сигналами: в направлении восходящей линии связи он поддерживает высокоскоростной прием, декодирование и синхронизацию данных изображения RAW с нескольких камер; в направлении нисходящей линии связи он может быстро пересылать обработанные данные изображения на периферийные устройства, такие как автомобильные дисплеи и промышленные терминалы с сенсорным экраном, тем самым создавая интегрированный сквозной мост для сбора, обработки и отображения визуальных данных. По сравнению с традиционными решениями, использующими FPGA для эмуляции интерфейсов MIPI через стандартный ввод-вывод, собственный аппаратный D-PHY предлагает значительные преимущества, включая превосходную целостность сигнала, меньшую задержку передачи, повышенную устойчивость к электромагнитным помехам и снижение энергопотребления. Это эффективно устраняет распространенные проблемы, возникающие при высокоскоростной передаче изображений, такие как искажение экрана, потеря кадров, ошибки синхронизации и ошибки данных. Кроме того, устройство резервирует до 37 пар программируемых синхронных дифференциальных пар ввода-вывода, что обеспечивает гибкое расширение для поддержки различных стандартных визуальных дифференциальных интерфейсов, таких как LVDS, SLVS и subLVDS. Это облегчает совместимость и интеграцию с устаревшими модулями камер и специализированными периферийными устройствами промышленного машинного зрения, удовлетворяя как требованиям высокоскоростных приложений новых проектов, так и необходимость модернизации существующего оборудования.

III. Основные функцииLIFCL-40-7BG256CВстроенная система технического зрения: интегрированное мостовое соединение, ретрансляция и параллельная обработка в реальном времени

(1) Интеллектуальное объединение сигналов машинного зрения из нескольких источников и плавное преобразование протоколов

В архитектурах встроенных систем машинного зрения датчики изображения, основные процессоры управления и дисплейные терминалы разных производителей часто имеют несовместимые протоколы интерфейса, синхронизацию данных и форматы передачи, что делает мостовое соединение и адаптацию сигналов основной проблемой при развертывании системы. Используя комбинацию архитектуры программируемой логики и высокоскоростного интерфейса MIPI,LIFCL-40-7BG256Cслужит центральным концентратором сигналов для всей системы машинного зрения, поддерживая синхронный сбор, анализ протоколов, преобразование формата и маршрутизацию множества разнородных сигналов машинного зрения. Например, он может одновременно взаимодействовать с несколькими потоками данных изображения камеры MIPI из системы кругового обзора автомобиля; после синхронизации многоканального изображения и объединения данных он выводит данные в формате, совместимом с протоколом главного процессора. Он также может обеспечить плавное межпротокольное соединение между модулями камер MIPI и терминалами отображения LVDS, а также между интерфейсами передачи видеоизображения USB и микросхемами внутренней обработки MIPI, тем самым полностью устраняя общеотраслевые болевые точки, связанные с несоответствием интерфейсов и несовместимостью синхронизации между различными аппаратными устройствами. Благодаря гибкости программируемой логики мостовая логика может быть настроена по требованию для адаптации к данным изображения с различным разрешением, частотой кадров и форматами пикселей (RAW10/RAW12/RAW14). Функциональные обновления могут быть достигнуты исключительно за счет итераций встроенного ПО без необходимости модификации аппаратных схем, что значительно сокращает циклы итераций исследований и разработок продукта.

(2) Ускоренная параллельная предварительная обработка в реальном времени для облегчения внешнего машинного зрения

В отличие от традиционных мостовых микросхем, которые просто выполняют функции реле сигнала,LIFCL-40-7BG256Cоснащен достаточными вычислительными ресурсами DSP. Он разгружает рабочие нагрузки параллельной предварительной обработки в реальном времени для встроенного машинного зрения между серверной частью передачи данных изображения и основным процессором управления. Базовые алгоритмы обработки изображений, такие как шумоподавление изображения, коррекция баланса белого, преобразование цветового пространства, обрезка и масштабирование изображения, извлечение области интереса (ROI) и стабилизация частоты кадров, которые раньше требовали от внутреннего центрального процессора затрат значительных вычислительных ресурсов, теперь могут быть реализованы параллельно с помощью программируемой логики FPGA. По сравнению с последовательными процессорами архитектура параллельных вычислений FPGA значительно снижает задержку, обеспечивая плавную обработку изображений с малой задержкой на протяжении всего процесса, тем самым отвечая высоким требованиям реального времени в таких сценариях, как восприятие автономного вождения в автомобиле и промышленное обнаружение дефектов в реальном времени. Более того, перекладывая вычислительные задачи на внешний процессор, внутренний главный процессор освобождается от необходимости выделять избыточные вычислительные ресурсы для базовой предварительной обработки изображений. Таким образом, он может сосредоточиться на основных задачах высокого уровня, таких как распознавание целей ИИ, анализ принятия решений и управление системой, что приводит к значительному повышению общей эффективности работы системы и более рациональному распределению энергопотребления и вычислительных ресурсов.

IV.LIFCL-40-7BG256CВысоконадежная конструкция подходит для требовательных встроенных операционных сред.

Встраиваемое оборудование машинного зрения, особенно в автомобильной, промышленной и охранной сферах, предъявляет чрезвычайно высокие требования к стабильности компонентов при длительной эксплуатации, а также к помехоустойчивости и радиационной отказоустойчивости.LIFCL-40-7BG256CCrossLink-NX FPGA специально оптимизирована для обеспечения надежности в требовательных встроенных средах, отличается исключительно низким уровнем программных ошибок по сравнению с устройствами этого класса и обеспечивает более чем стократное улучшение устойчивости к однократным сбоям (SEU) и электромагнитным помехам (EMI) по сравнению с конкурирующими продуктами. Он может стабильно работать в течение длительных периодов времени в промышленных условиях, характеризующихся сильными электромагнитными помехами, резкими колебаниями температуры и непрерывной бесперебойной работой, тем самым устраняя такие проблемы, как внезапные сбои системы, аномалии данных и сбои отображения во время работы систем технического зрения. Процесс производства устройства FD-SOI по своей сути обеспечивает радиационную стойкость, что позволяет использовать его в сложных электромагнитных средах, таких как наружная безопасность, автомобильные приложения и производственные линии промышленной автоматизации, без необходимости использования дополнительных защитных схем. Кроме того, устройство отличается чрезвычайно низким статическим энергопотреблением и интеллектуальным управлением питанием между режимами ожидания и активным режимом. Это делает его идеальным для портативного оборудования машинного зрения с батарейным питанием и низковольтных систем питания транспортных средств, требующих малой мощности, обеспечивая баланс между тремя основными показателями: производительностью, энергопотреблением и надежностью.

V. Комплексный охват основных типичных сценариев примененияLIFCL-40-7BG256C

Используя высокоскоростной жесткий интерфейс MIPI D-PHY 2,5G, интегрированные возможности видеомоста и обработки в реальном времени, а также основные преимущества низкого энергопотребления, высокой надежности и миниатюризации, LatticeLIFCL-40-7BG256CFPGA получила широкое распространение для основных встраиваемых приложений машинного зрения во многих секторах. В области автомобильного интеллектуального зрения его можно использовать для систем кругового обзора на 360°, изображений высокой четкости для видеорегистраторов, а также для передачи и предварительной обработки визуальных сигналов для мониторинга в салоне, обеспечивая стабильную передачу и обработку изображений высокой четкости в режиме реального времени в условиях экстремальных температур; в области промышленного встраиваемого машинного зрения он подходит для компактных промышленных камер высокой четкости, промышленного онлайн-оборудования для обнаружения дефектов и устройств распознавания штрих-кодов машинного зрения, обеспечивая высокоскоростное получение изображений, предварительную обработку в реальном времени и интерфейс сигналов; В секторе периферийной интеллектуальной безопасности он используется для передачи данных изображения, кодирования, предварительной обработки и расширения интерфейса в сетевых камерах высокой четкости и портативных устройствах моментальных снимков безопасности; во встраиваемых интеллектуальных устройствах машинного зрения потребительского уровня он совместим с интеллектуальными носимыми модулями машинного зрения, домашними интеллектуальными системами наблюдения и комплектами разработки встроенных систем машинного зрения, отвечает требованиям к компактной установке, работе с низким энергопотреблением и гибкому программируемому функциональному расширению.

VI. РезюмеLIFCL-40-7BG256C

РешеткаLIFCL-40-7BG256CCrossLink-NX — это специализированная FPGA, разработанная специально для встраиваемых приложений машинного зрения. Созданная на основе 28-нм процесса FD-SOI с низким энергопотреблением, она имеет 39 000 логических вентилей и встроенное жесткое IP-ядро MIPI D-PHY со скоростью 2,5 Гбит/с, точно решая четыре ключевые задачи встраиваемых устройств машинного зрения: высокоскоростная передача изображений, многопротокольное мостовое соединение, внешняя обработка изображений в реальном времени, а также низкое энергопотребление и высокая надежность работы. Он сочетает в себе стабильность высокоскоростной передачи сигнала и простоту интеграции специализированных интерфейсных микросхем с гибкой расширяемостью и возможностями параллельных вычислений программируемой логики FPGA, что позволяет создавать минималистскую архитектуру встроенной системы машинного зрения без необходимости использования сложных периферийных схем. Будь то высоконадежные и требовательные среды, такие как автомобильные и промышленные приложения, или портативные устройства машинного зрения потребительского класса с низким энергопотреблением, это устройство обеспечивает эффективное соединение сигналов машинного зрения, предварительную обработку данных изображения в реальном времени и рациональную оптимизацию вычислительной мощности системы. Таким образом, он стал предпочтительным выбором программируемой логической микросхемы для модернизации аппаратных решений встраиваемого машинного зрения и стимулирования итерации и инноваций продуктов.