JSON Data Sets

    
    Head Hunter >>>>
    

Тренинг ИИ модели Qwen

    Есть компактные модели ИИ размером около 5 Гбайт, которые могут успешно использоваться для автоматизации многих процессов в офисе или на предприятии. Такие модели понимают несколько языков ( в том числе и русский) и не перегружены знаниями, которые вам не требуются. Это позволяет загружать их даже в серверы с оперативной памятью 64 Гбайт (например, устаревшие HP Gen 9), если вам нужно автоматизировать что-то не критичное по времени. Если вам нужна нормальная реакция ИИ системы (2-3 секунды), то в систему надо добавлять видеокарту. ИИ модели размером в 4.5-5 Гбайт нормально смогут работать даже с устаревшими видеокартами Nvidia P100 с 16 Гбайтами видеопамяти.
    Конечно, такая система не сможет автоматизировать всё, но сможет существенно помочь на каком-то направлении работы. Например, может отслеживать работу динамических процессов маршрутизации локальной сети предприятия (чего сейчас не делают популярные системы мониторинга Ethernet сетей).
    Для этого вашу компактную модель ИИ неообходимо дообучить - потренировать (fine tuning) на соответствующих примерах. Такое обучение придаст используемой ИИ модели нужную специализацию.
    Надо написать несколько Python-скриптов, которые создадут интерфейс для работы ИИ модели с сетевым оборудованием по SSH. Результаты анализа ИИ модель может отправлять в консоль, на веб-сервер или присылать в почту. Легко добавить звуковое оповещение.
    
    Если это Вам интересно, то:   arrayphotocintrol - Вы понимаете, что это такое
    
    Для обучения ИИ модели необходимо скачать ее в специальной конфигурации для обучения (https://huggingface.co/), подготовить Dataset в JSON формате, написать Python скрипты для процесса обучения и загрузить и тестировать "дотренированную" модель.
    Обученная модель ИИ будет с помощью Python-скрипта с заданной периодичностью запрашивать на маршрутизаторе "show ip route", получать листинг и анализировать его. Результаты анализа легко конвертировать в любой удобный результат: звуковой Аларм, выдачу текста в консоль, либо письмо на ночту.
    Для обучения потребуется около 2000 примеров в JSON формате (Dataset).
    
    Пример Датасета >>
    
    По мере создания новых примеров, обучение ИИ модели можно продолжать (дотренировывать). Если производительность системы позволяет, можно использовать для анализа либо больше маршрутизаторов, либо использовать команды для контроля текущей конфигурации OSPF и BRP.
    
    Кипр. Удаленная работа
    AI Datasets
    
    Для fine-tuning моделей размера 7B (как Qwen2.5) критически важно использовать структурированный формат и Chain-of-Thought (цепочку рассуждений). Модель должна не просто угадывать ответ, а учиться логически выводить его из предоставленных данных.
    Ниже представлены 3 примера в формате messages (стандарт ChatML/Alpaca, который идеально подходит для Qwen). Ответ ассистента оформлен в виде валидного JSON, чтобы модель научилась выдавать строго структурированные данные, удобные для парсинга вашей системой мониторинга.
    
    Этот пример учит модель замечать суммарные маршруты, под которыми нет конкретных подсетей.
    
    JSON Dataset

{
  "messages": [
    {
      "role": "system",
      "content": "Ты — эксперт по сетевой инженерии Cisco. Твоя задача - проанализировать вывод команд 
       'show ip interface brief' и 'show ip route', найти конфигурационные ошибки или аномалии и вернуть результат в 
        строгом формате JSON."
    },
    {
      "role": "user",
      "content": "Проанализируй следующие данные с маршрутизатора Core-R1:\n\n### show ip interface brief\nInterface IP-Address      
       OK? Method Status  Protocol\nGigabitEthernet0/0     10.1.1.1        YES manual up  up      \nGigabitEthernet0/1     
      192.168.100.1   YES manual up up      \n\n### show ip route\nCodes: L - local, C - connected, S - static, R - RIP, 
      M - mobile, B - BGP\n       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area \n       N1 - OSPF NSSA  
      external type 1,N2 - OSPF NSSA external type 2\n       O E2 - OSPF external type 2\n\nO 10.0.0.0/8 is a summary, 00:15:23,
     Null0\nC 10.1.1.0/24 is directly connected, GigabitEthernet0/0\nL 10.1.1.1/32 is directly connected, GigabitEthernet0/0\nC
     192.168.100.0/24 is directly connected, GigabitEthernet0/1\nL 192.168.100.1/32 is directly connected, GigabitEthernet0/1"
    },
    {
      "role": "assistant",
      "content": "{\n  \"analysis\": \"В таблице маршрутизации присутствует суммарный маршрут OSPF '10.0.0.0/8' с интерфейсом 
       вывода Null0. Однако в таблице отсутствуют какие-либо более специфичные маршруты (например, /16 или /24), 
       входящие в этот диапазон (кроме напрямую подключенной 10.1.1.0/24, которая имеет более длинную маску и 
       не покрывается суммаризацией для других подсетей). Это означает, что любой трафик, предназначенный для других 
       подсетей диапазона 10.x.x.x, будет немедленно отброшен интерфейсом Null0.\",\n  \"error_type\": \"Null0 Blackhole / 
       Missing Specific Routes\",\n  \"severity\": \"High\",\n  \"affected_prefixes\": [\"10.0.0.0/8\"],\n  \"recommendation\":  
       \"Проверьте конфигурацию агрегации маршрутов (area X range или summary-address). Убедитесь, что на этом или  
       нижестоящих маршрутизаторах существуют и анонсируются конкретные подсети, входящие в диапазон 10.0.0.0/8.  
       Если суммаризация не нужна, удалите команду агрегации.\"\n}"
    }
  ]
}

{
  "messages": [
    {
      "role": "system",
      "content": "Ты — эксперт по сетевой инженерии Cisco. Твоя задача — проанализировать вывод команд 
       'show ip interface brief' и 'show ip route', найти конфигурационные ошибки или аномалии и вернуть 
        результат в строгом формате JSON."
    },
    {
      "role": "user",
      "content": "Проанализируй следующие данные с пограничного маршрутизатора Edge-R1:\n\n
       # show ip interface brief\nInterface              IP-Address      OK? Method Status                Protocol\nGigabitEthernet0/0
       10.50.1.1       YES manual up                    up      \nGigabitEthernet0/1     203.0.113.2     YES manual up up      \n\n
      # show ip route\nCodes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP\n       D - EIGRP, 
       EX - EIGRP external, O - OSPF, IA - OSPF inter area \n\nC        10.50.1.0/24 is directly connected, GigabitEthernet0/0\n
       L        10.50.1.1/32 is directly connected, GigabitEthernet0/0\nC        203.0.113.0/30 is directly connected, 
      GigabitEthernet0/1\nL        203.0.113.2/32 is directly connected, GigabitEthernet0/1\nO IA     10.0.0.0/8 [110/50] via 
      10.50.1.2, 01:20:00, GigabitEthernet0/0"
    },
    {
      "role": "assistant",
      "content": "{\n  \"analysis\": \"Маршрутизатор имеет активный внешний интерфейс GigabitEthernet0/1 с публичным 
       IP-адресом (203.0.113.2), что указывает на его роль пограничного (edge) устройства. Однако в таблице 
       маршрутизации полностью отсутствует маршрут по умолчанию (0.0.0.0/0 с кодом S*, O*E2 или B*). 
       Без этого маршрута маршрутизатор не знает, куда отправлять трафик, предназначенный для сетей, 
       не указанных в таблице (например, в Интернет), что приведет к полной потере внешней связности.\",\n  
       \"error_type\": \"Missing Default Route\",\n  \"severity\": \"Critical\",\n  \"affected_prefixes\": [\"0.0.0.0/0\"],\n  
       \"recommendation\": \"Добавьте статический маршрут по умолчанию, указывающий на провайдера (например, 
       'ip route 0.0.0.0 0.0.0.0 203.0.113.1'), или проверьте, почему маршрут по умолчанию не изучается через 
       динамический протокол (BGP/OSPF).\"\n}"
    }
  ]
}