Mot säkrare och mer pålitliga autonoma system

Autonoma fordon förlitar sig på precisa maskininlärningsalgoritmer (deep machine learning algorithms – DML), men konventionella mjukvaruutvecklingsmetoder är otillräckliga för att garantera korrekta beteenden och beslut. I forskningsprogrammet SMILE tog QRTECH sig an denna utmaning genom att utveckla en säkerhetsbur och testade nya toppmoderna metoder för att upptäcka indata som avviker från den förväntade distributionen och implementerade ett osäkerhetsmedvetet neuralt nätverk som kunde användas för att identifiera avvikelser eller gränsfall.

System baserade på maskininlärning blir allt vanligare inom en rad tillämpningar, från chattrobotar till medtech. Att säkerställa dessa systems noggrannhet och tillförlitlighet är avgörande, särskilt i säkerhetskritiska lösningar som autonoma fordon. Utvecklingen av dessa metoder skiljer sig dock avsevärt från traditionella mjukvaruutvecklingsprocesser, vilket gör verifiering och analys utmanande.

QRTECH har deltagit i det Vinnova-finansierade forskningsprogrammet SMILE, med målet att utveckla metoder som gör det möjligt att inkludera DML-baserade funktioner i säkerhetskritiska fordonsapplikationer, med kvalitetskontrollkrav från industriella standarder. Programmet inkluderade tre projekt, där SMILE I-projektet fokuserade på att forska om verifiering och validering för DML-system samt kartläggning av utmaningar som fordonsindustrin står inför. SMILE I kom fram till att implementering av ett säkerhetskapselkoncept skulle vara ett avgörande nästa steg för framtida projekt. En säkerhetskapsel kan ses som en övervakare som övervakar de förutsägelser som görs av en maskininlärningsmodell för att bestämma deras tillförlitlighet.

I SMILE II-projektet konceptualiserade och utvecklade QRTECH en säkerhetskapsel baserad på statistisk analys av aktiveringar inuti neurala nätverket. Ett ”proof-of-concept” utvecklades för ett perceptionssystem, tränat för att klassificera bilar, motorcyklar och lastbilar på motorvägar i bra väder. Demo-prestandan testades sedan i stadsmiljö och i dimmigt väder. Säkerhetskapseln avbröt flera felaktiga förutsägelser från det neurala nätverket.

Under fasen av SMILE III undersökte QRTECH hur man kombinerar säkerhetskapseln i en systemarkitektur, testade nya toppmoderna metoder för att upptäcka indata som inte ingår i distributionen och implementerade ett osäkerhetsmedvetet neuralt nätverk som kunde användas för att identifiera avvikelser eller gränsfall. Mer undersökning krävs för att utveckla sådana metoder för implementering, särskilt i ett realtidssystem och i situationer där träningsdata är begränsad. Tillsammans med projektets partners genomförde QRTECH en granskning av en metodik som kallas ”Assurance of Machine Learning for use in Autonomous Systems (AMLAS)” som är utformad för att säkerställa tillförlitligheten hos maskininlärningskomponenter i autonoma system.

Sammanfattningsvis har SMILE-programmet varit framgångsrikt i att ta itu med utmaningarna att utveckla säkra och pålitliga autonoma system från både mjukvaru- och standardperspektiv. Utvecklingen av säkerhetskapseln och användningen av AMLAS-metodiken är två exempel på hur man kan ta itu med dessa utmaningar. Med fortsatta insatser och samarbete kan detta bana väg för skapandet av säkrare autonoma system som uppfyller samhällets behov.

SMILE-programmet baserades på ett samarbete mellan industri, institut och akademi. Det bestod av flera på varandra följande forskningsprojekt som undersökte utmaningarna med att införa maskininlärningsbaserade system i automatiserade körapplikationer. Det syftade också till att föreslå strategier för att hantera dessa utmaningar. Förutom QRTECH involverade programmet flera partners, inklusive RISE, Volvo Cars, Semcon, ESI Nordics och INFOTIV.

www.vinnova.com