Etikettarkiv: Linköpings universitet

HMI, Samverkan människa - maskin, Tester och demonstrationer

Hur bör AV låta?

I en studie (baserad på testerna med AV skyttelbussar i Linköping) utforskade man olika ljudgränssnitt för att undvika plötsliga inbromsningar som följd av att fotgängare och cyklister kommer för nära [1, 2].

Ljud som testades inkluderade nynnande, röstinspelningar och till och med musik. Bland fynden var att låga brum smälte in i vägbuller och höga ljud irriterade bussens säkerhetsförare. Det upprepade ljudet av en person som sa ”ahem” var ineffektivt, och jinglar som ”Hjulen på bussen” påminde trafikanter om glassbilar. Vanliga fordonsljud – som pip och ljud – fick folks uppmärksamhet.

Studiens medförfattare Malte Jung förklarar att om vi vill skapa ljud för socialt engagemang handlar det om att flytta fokus från ”hur” det låter till ”när” det låter. Ett ljud som kommer för sent kan vara obegripligt och ignoreras därför ofta.

Egen kommentar

Till skillnad från våra robotvänner är vi människor begränsade av de mänskliga sinnena för datainsamling. Vi skrev nyligen även om ljusbaserade externa gränssnitt (eHMI) för AVs här, och det finns sedan en tid tillbaka krav på att elfordon ska ge ifrån sig visst ljud för att uppmärksammas i låga farter. Social interaktion i trafiken är dock ofta svårt att bryta ner i tydliga sekvenser och scenarion, vilket även innebär att det är svårt att specificera logik och generell modalitet för mer socialt motiverade signaler.

Källa

[1] Hope, G., IoT World Today. Autonomous Vehicle Communication Needs a Rethink, Researchers Say. 2023-04-20 Länk

[2] Pelikan, H. R., & Jung, M. F. Designing robot sound-in-interaction. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. 2023-03 Länk

Artificiell intelligens, Bussar, Distributionsfordon, Forskningsprojekt, HMI, Konferenser, Lastbilar, Mjukvara, Mobilitetstjänster, Okategoriserade, Personbilar, Samverkan människa - maskin, Sensorer, Simulering, Tester och demonstrationer, Trafiksäkerhet

Guldkorn från svensk forskning

Det här är svenska guldkorn från er läsare. Tack för ert fantastiska jobb.

Autonoma leveransfordon i interaktion. Inom projektet GLAD (Goods deliveries under the LAst mile with autonomous Driving vehicles) genomfördes under maj månad en användarstudie där en ADV (Automated Delivery Vehicle) utrustad med s.k. eHMI:er (visuella medel som kommunicerar till människor i omgivningen) körde en kortare rutt. Syftet var att utvärdera hur individer uppfattade och förstod eHMI:erna i olika situationer, samt hur de kan utvecklas. Preliminära resultat indikerar att eHMI:erna i sig inte kommunicerade sina specifika budskap, men att de i sina givna sammanhang blev begripliga. Resultaten visade även på tydliga inlärningseffekter, d.v.s. deltagarna lärde sig snabbt eHMI:ernas budskap. Projektet är finansierad av Trafikverket och utförs av RISE, Clean Motion, Aptiv, Combitech och Högskolan i Halmstad. Kontakt: Mikael Söderman, RISE, (mikael.soderman@ri.se)

Förstudie SMART-projektet. Som en del av det EU-finansierade SMART-projektet genomför RISE en förstudie kring förutsättningarna för att komplettera kollektivtrafiken med förarlösa tjänster i Skaraborg. Projektet leds av Destination Läckö/Kinnekulle som är ett kommunalt bolag ägt av Götene och Lidköping. Preliminära resultat visar att det i några av tätorterna finns intressanta systemeffekter värda att studera närmare men att det är svårt att hitta lämpliga lösningar för lite längre avstånd mellan kollektivtrafikens hållplatser och populära utflyktsmål eller uppför Kinnekulles de branta vägar. Det finns också sträckor i området där det antagligen finns en marknad för kommersiella tjänster med manuellt framförda fordon. Kontakt: Håkan Burden, RISE, (hakan.burden@ri.se)

Generering av dimma och väderklassificering. RISE och Veoneer har under våren 2022 genomfört en förstudie ”Dimhöljt” för lära hur dimma kan skapas i klimatkammare. Syftet med den genererade dimman är att testa lidar, t ex för att filtrera bort störningar, för att validera simuleringsmodeller, för att verifiera sensorprestanda eller för att verifiera att en funktion är inom ODD. Det finns i princip tre olika sätt att slå sönder vatten till fina droppar: med vibrationer, med trycksatt vatten eller med tryckluft; man kan även generera dimma genom att kondensera ånga. Dimma är våta aerosoler i storleksordning från våglängden av synligt ljus till en faktor 20-50 ggr större. Projektet har också undersökt hur mätning av dimmans karaktäristik utförs på lämpligt sätt. Mätningar måste bland annat inkludera storleksfördelning av partiklar och mängden vatten i flytande form. Det är viktigt att skapa repeterbart testsystem med dimma. I projektet studerades därtill hur man med en lidar kan klassificera vädertyper såsom dimma, regn, snö, klart väder. Studien baserades på mätningar utomhus och i klimatkammare. De inledande försöken har varit framgångsrika och tanken är att förstudien ”Dimhöljt” följs av en fördjupad ansats. Förstudien delfinansierades av Vinnova/FFI, 2021-02582. Kontakt: Martin Sanfridson, RISE, (martin.sanfridson@ri.se)

Autonoma fordon för blinda, döva och dövblinda. I en nyligen publicerad journalartikel vid namn ”Vibrotactile guidance for trips with autonomous vehicles for persons with blindness, deafblindness, and deafness” presenteras resultat från Drive Sweden projektet ”Guidning till autonoma fordon för blinda, döva och dövblinda”. Studien visar bland annat på vikten av att beakta användarperspektivet för hela resan, inte bara fordonet i sig. Artikeln finns att läsa här. Kontaktperson Jonas Andersson (jonas.andersson@ri.se)

Best student paper på IEEE konferens. Vid konferensen IEEE Intelligent Vehicles Symposium vann doktoranden José Manuel Gaspar Sánchez och industridoktoranden Truls Nyberg från KTH och Scania första pris i kategorin ”Best student paper” med artikeln ”Foresee the Unseen: Sequential Reasoning about Hidden Obstacles for Safe Driving”. I samarbete mellan KTH och Scania har studenterna utarbetat en algoritm för autonoma fordon för att hantera skymda trafikanter på ett säkert och effektivt sätt. Forskningen har finansierats genom Vinnovas center TeCOSA och forskningsprogrammet WASP.
Andra pris i kategorin gick till industridoktoranden Magnus Gyllenhammar vid KTH och Zenseact för artikeln ”Uncertainty Aware Data Driven Precautionary Safety for Automated Driving Systems Considering Perception Failures and Event Exposure”, också den finansierad genom WASP. Kontaktperson Truls Nyberg (truls.nyberg@scania.com)  & Magnus Gyllenhammar (gyllenhammar@zenseact.com). 

Syntetisk data för validering. En vanlig utmaning inom maskininlärning är att ta fram realistisk data både för att träna sina nätverk samt för att validera dem. I dag är en vanlig metod att samla in data i den miljö där nätverket ska appliceras, t.ex. i trafiken, och sedan hoppas att det resulterande datasetet ska vara representativt. Detta är tyvärr sällan fallet eftersom att det är svårt att få med alla tänkbara scenarion. Inom FFI-projektet DIFFUSE utvecklas metoder för att skapa syntetisk data och bilder primärt för valideringssyften. Tanken är att förbättra de maskininlärningsmetoder som i dagsläget bara i begränsad omfattning ger kontroll över vad den resulterande bilden innehåller. Kontaktperson Martin Torstensson (martin.torstensson@ri.se)

Future mobility services in Ride the future-project. Ride the future is a multi-brand pilot where 8 partners join forces in running three autonomous buses along a 4 km route in Linköping’s Valla district. The partners are VTI, Linköping University, Linköping Science Park, Transdev Sweden AB, Östgötatrafiken, Linköpings kommun, Akademiska Hus and RISE. The area includes residential housing, businesses and the campus of Linköping University (LiU). 
Ride the future is furthermore one of the sites in the larger Horizon 2020-project called SHOW (SHared automation Operating models for Worldwide adoption), and a platform for several projects related to future mobility solutions. To date over 20 studies and research projects – completed and ongoing – are related to Ride the Future. A result conference was held 26 April and presented findings about the following topics:

  • Lessons learned from setting up a demonstration site with autonomous shuttle operation; paper (funding: SHOW)
  • Mobility for all – but who is ”all”?  paper (funding: Drive Sweden)
  • 5 feasibility studies (funded by VTI and summarised in here) about
    • Towards a digital twin of campus Valla for co-simulation of road users 
    • Exploring spatio-temporal accessibility in Lambohov: a pre-study. 
    • Data processing and visualization of mobile air quality measurements. 
    • Road surface unevenness and its impact on comfort and vibrations in low speed vehicles
    • Infrastructure needs at bus stops. 
  • The following studies were also presented at the conference. (funding in brackets):
    • Säkerhetsförarens uppmärksamhet och vakenhet (FFI)
    • The digital infrastructure of ELIN’s data collection (SHOW=EU)
    • Automated Vehicles as Social Agents: A Research Agenda (ELLIIT)
    • Cybersecurity of autonomous vehicles (Drive Sweden)
    • Digital guidance in public transport (funding: ERA-net)
    • Children’s perspective on future travels by autonomous bus (SHOW)
    • Autonomous shuttles for all – Experiences from children with intellectual disability (WASP-HS)
    • Game engine simulation of autonomous buses in a student project (LiU)
    • Ljudsignaler i interaktion mellan autonoma bussar och oskyddade trafikanter (LiU)
    • For more information and contact to project leaders, please get in touch with Ingrid Skogsmo (ingrid.skogsmo@vti.se)

Säkerhetskultur för automatiserade fordon. Målet för projektet Säkerhetskultur för automatiserade fordon är att utveckla metoder och verktyg för att kunna hantera säkerhetskulturen i organisationer som konstruerar och implementerar automatiserade fordon och maskiner. Projektet kommer att utforska befintlig säkerhetskultur och nya risker, samt utveckla mätinstrument för säkerhetskultur och pröva hur de kan appliceras på hållbarhet- och jämställdhetskultur. Säkerhetsfokus har länge legat på fordon och förare. Nu behövs organisationens och kundens betydelse lyftas fram. I projektet kommer därför en modell och verktyg utarbetas för att integrera säkerhetskultur i utvecklingsarbetet och för att stötta en lärandeprocess. Modellen utvecklas och utvärderas på två fallstudier från olika domäner, dels autonoma truckar samt automatiserade bussar i projektet Ride the future. En viktig aspekt av projektet är kunskaps och metodiköverföring mellan de olika tillämpningarna och mellan parterna VTI, RISE, Volvo GTT, Combitech och Toyota material handling. Projektet finansieras av Vinnovas FFI-program och genomförs på två år under ledning av VTI. Kontaktperson: Christina Stave (christina.stave@vti.se).

Studie om lastbil-VRU interaktioner inom FFI-projekt. Inom ramarna för FFI-finansierade projektet ”Externa interaktionsprinciper för förtroende och acceptans av tunga autonoma fordon” som bedrivs av Scania, RISE och Högskolan i Halmstad har doktoranden Victor Fabricius och kollegor publicerat en vetenskaplig tidskriftsartikel ”Interactions Between Heavy Trucks and Vulnerable Road Users—A Systematic Review to Inform the Interactive Capabilities of Highly Automated Trucks”. Artikeln syftar till att ge en översikt av den vetenskapliga litteraturen gällande dagens interaktioner mellan tunga lastbilar och oskyddade trafikanter – mer specifikt fotgängare och cyklister. En av insikterna från studien är att en stor del av interaktionen består av implicit kommunikation som till exempel fordons körsätt och rörelsemönster, och att den här typen av kommunikation i framtiden troligtvis kommer utgöra grunden även för interaktioner med automatiserade fordon. En annan insikt från studien är också att explicit kommunikation, i form av exempelvis ljussignaler på lastbilen i syfte att förtydliga lastbilens avsikter och handlingar, kan vara till nytta för interaktionerna. Utformning och nyttan av sådan kommunikation undersöks vidare i projektet som pågår fram till mitten av oktober 2022. Kontaktpersoner: Yanqing Zhang (yanqing.zhang@scania.com) och Daban Rizgary (daban.rizgary@ri.se)

Autonomous vehicle interactions in the hub. Scania, RISE, Boliden and Icemakers are working together in a research project “In the Hub – Samspel mellan operatörer och förarlösa fordon i framtidens transportsystem” funded by FFI. The aim is to investigate how natural interaction technologies can be integrated into autonomous transport systems to facilitate efficient and engaging experience in the hub contexts. An exploratory study have examined the potential of using verbal interaction and augmented reality (AR) to facilitate collaborations between professional human operators and unmanned self-driving heavy vehicles. Concepts that support operators in loading situations were designed and evaluated with forklift operators and rock-loading operators during a video-based study. Overall, the concepts received high scores in perceived efficiency and user experience. The results from the forklift operators supported the idea that more natural and social verbal interaction between operators and unmanned vehicles could lead to increased trust and acceptance compared to using simple voice commands. However, the results from the rock-loading operators showed that extensive use of voice interaction could become disturbing. The exploratory study thus supports the potential of using and further exploring verbal interaction and AR to facilitate human operators’ collaboration with self-driving vehicles, and the proposed concepts provide promising examples of interaction models for further investigation and implementation. The results have been presented in a paper which will be published in the conference “Applied Human Factors and Ergonomics” this year. Contact person: Yanqing Zhang (yanqing.zhang@scania.com) and Johan Fagerlönn (johan.fagerlonn@ri.se)

Heavy Automated Vehicle Operation Center (HAVOC) – Requirements and HMI design is a recently completed FFI-funded research project conducted by RISE and Scania with the following final project summary: Development trends suggest that, in spite of the optimistic announcements made by some stakeholders a few years ago, there are still technological challenges and regulatory constraints making heavy automated vehicles (HAVs) dependent on human control. Indeed, most HAV still require a human safety operator in the vehicle, and automated driving without a human “fallback” might be distant. At the same time, having a human safety operator in the vehicle jeopardises major anticipated benefits of HAVs – transport safety and efficiency. To bridge this gap, stakeholders are exploring remote operation technology, which enables HAV to be remotely operated by a human operator to some extent. The purpose of the HAVOC project was to study operator work and HMI for remote monitoring and control of heavy autonomous vehicles. The aim was to answer the following research questions:

  • What requirements are imposed on people and heavy vehicles for assessment, assistance, and driving?
  • What is required to scale the ratio between the number of operators and the number of monitored vehicles?
  • How should operator work be designed for transitions between assessment, assistance, and driving?
    A simulator was developed in Unity game engine with corresponding 3D-world and operator HMI to enable exploration of remote operation of ten vehicles in parallel. In a user study, 15 participants were invited to work for 1.5 hours and evaluate the system and work in terms of human-automation interaction. Human factors and HMI requirements were elicited for remote assessment, remote assistance, and remote driving operator tasks. The results show the importance of taking a systems perspective in developing and implementing remote operation control centers. See this link for an overview of the study and its results.
  • One of the major takeaways from the user study and the HAVOC project is the importance of a systems perspective in the analysis and design of future remote operation centers. The answer to questions such as “How many operators are needed?, How many vehicles can be monitored and controlled?, What is the best HMI?, What are the most important operator tasks?”  etc., will always rely on the dependencies between multiple human, technical and organizational factors. The ability to deal with the dependencies between factors such as operators’ skills and knowledge, operator tasks and training, HMI, vehicle capabilities, operational context, etc., lies in defining the envisioned work system and deciding what to design for. If a viable business case for remote operation is an operator:vehicle ratio of 1:1, 1:10 or 1:100 will place very different demands on overall human-automation systems design and work organisation. In this project, we have only considered single operator work. In a real application, teamwork between remote operators, traffic planners, and field personnel can be expected, further stressing the socio-technical systems approach. Contact person: Jonas Andersson (Jonas.andersson@ri.se)
Kommunikation, Kooperativa system, Trafiksäkerhet

Bättre säkerhet vid skolzoner

Varje år dör i USA över 100 personer och ytterligare 25 000 skadas i kollisioner med fordon i skolzoner och vid skolbusshållplatser. Med anledning av detta har Audi of America, Applied Information, Blue Bird, Fulton Co. School System, City of Alpharetta och Temple Inc demonstrerat en lösning som baseras på trådlöskommunikation (V2X) [1].

Med hjälp av en kommunikationsenhet i infrastrukturen skickas en visuell- och ljudvarning till förare som är på väg in till en skolzon eller som närmar sig en skolbuss. Demonstrationen ägde rum i staden Alpharetta i delstaten Georgia, och har inkluderat både LTE och 5G som kommunikationslösning. 

Egen kommentar

För ungefär 10 år sedan genomfördes ett EU-projekt på det här temat kallat SAFEWAY2SCHOOL som bland annat VTI, Linköpings universitet och Mälardalens högskola deltog i. Om någon av alla lösningar som föreslagits där implementerats har jag dessvärre ingen information om. Någon som vet?

Källor

[1] Audi Newsroom. Audi and partners demonstrate potential to help improve school bus and school zone safety through C-V2X deployment. 2021-05-20 Länk

Bussar, Distributionsfordon, Inspiration, Övriga fordon, Sjöfart

Guldkorn från svensk forskning

Dessa guldkorn är bidrag från våra läsare – stort tack för det, och för all fantastisk forskning och utveckling som ni gör. Keep up the good work!

iQ-Pilot & iQ-Mobility. These are two recently finished projects co-funded by the Strategic vehicle research and innovation programme (FFI). The focus of the projects was development of new technology to realize flexible, energy-efficient transport solutions in cities. Several proof-of-concept prototypes have been developed and demonstrated, including autonomous buses and a smart coordination system for bus fleets. The research results were presented in a webinar earlier this week. These results are the joint efforts of Scania, Ericsson, INIT, Veoneer, Royal Institute of Technology (KTH) and Örebro University. 

Human interaction with autonomous minibuses. Tom Ziemke’s research group at Linköping University, in collaboration with researchers at VTI, will during the autumn start a new research project on people’s interaction with autonomous minibuses on campus. The research will focus on method development and empirical studies of how pedestrians, bicyclists and car drivers interact with the buses. A two-year postdoc position is available via this link (application deadline: August 5). For more information contact Tom Ziemke (tom.ziemke@liu.se).

GLAD – Goods delivery under the Last mile with Autonomous Driving vehicles. Small autonomous electric delivery vehicles (ADV) are expected to transform transportation of goods under the first and last mile. The advantages are increased transportation and energy effectiveness, but it is also important that these vehicles are safe and accepted in society. The aim of the GLAD project is to develop an initial knowledge base on efficiency, safety and human experience of ADVs for the first and last mile delivery of goods in Sweden, and on how to create a balance between these three aspects from a socio-technical perspective. To achieve this, the project will utilize Zbee vehicles that will be adapted in terms of vehicle design and autonomous vehicle behaviour, human-machine interface, teleoperation and vehicle management. The overall goal is to develop knowledge that accelerate introduction of new efficient goods delivery in our society and contributes to meeting the goals of Agenda 2030. This will be assured also by connecting a licentiate candidate to the project. The project is co-funded by Trafikverket and involves RISE, Halmstad University, Aptiv, Combitech and Clean Motion. It started in June 2020 and will run for ca 2 years. For more information contact azra.habibovic@ri.se.

Tactical Decision-Making in Autonomous Driving by Reinforcement Learning with Uncertainty Estimation. Reinforcement learning (RL) can be used to create a tactical decision-making agent for autonomous driving. However, previous approaches only output decisions and do not provide information about the agent’s confidence in the recommended actions. This paper investigates how a Bayesian RL technique, based on an ensemble of neural networks with additional randomized prior functions (RPF), can be used to estimate the uncertainty of decisions in autonomous driving. A method for classifying whether or not an action should be considered safe is also introduced. The performance of the ensemble RPF method is evaluated by training an agent on a highway driving scenario. It is shown that the trained agent can estimate the uncertainty of its decisions and indicate an unacceptable level when the agent faces a situation that is far from the training distribution. Furthermore, within the training distribution, the ensemble RPF agent outperforms a standard Deep Q-Network agent. In this study, the estimated uncertainty is used to choose safe actions in unknown situations. However, the uncertainty information could also be used to identify situations that should be added to the training process. The paper will be presented at the Intelligent Vehicles Symposium (IV) in October 2020, and a preprint is available on arXiv. The code that was used is also available on GitHub For more information, contact Carl-Johan Hoel (carl-johan.hoel@volvo.com) at Volvo Autonomous solutions. This work was partially supported by the Wallenberg Artificial Intelligence, Autonomous Systems and Software Program (WASP), funded by Knut and Alice Wallenberg Foundation, and partially by Vinnova FFI.

Autonomous Mapping of Unknown Environments Using a UAV. As part of the research conducted within the project LASH-Fire (Eu-Horizon 2020, No.814975), RISE supervised the work of Chalmers students developing an automatic object search for indoor environments using a flying drone. At the core of this system a reinforcement learning (RL) algorithm was implemented for the drone to navigate, detect obstacles, recognize objects and explore the environment. This machine learning (ML) project marks a starting point for further development towards an autonomous identification and surveillance solution in a wide range of study cases where cargo ships, like the ones studied in LASH-Fire, are an ideal target application. A modularized approach was used targeting research areas such as obstacle avoidance, object detection & recognition, simultaneous localization and mapping, etc. The exploration module was specially challenging and will require further work but the project in general was successful in providing a methodology and tools when using flying drones for indoor environments. The Master’s thesis was conducted by Erik Persson and Filip Heikkilä, and is available via this link. For more information contact boris.duran@ri.se

Projektet ESPLANADE, som började 2017 och avslutades sista mars 2020, handlade om hur man visar att ett automatiserat fordon är säkert. Det finns flera problem som måste hanteras för att man ska kunna göra en komplett säkerhetsargumentation. Projektets resultat inkluderar därför nya metoder för säkerhetsargumentation för en ADS, några av dessa är: 

  • En process för säkerhetsanalys samt designprinciper för interaktionen när en människa överlämnar kontrollen över ett fordon till en ADS eller tvärtom. Processen innehåller existerande metoder som sekvensdiagram, orsak-konsekvensanalys och felträd, men applicerade på människa-maskininteraktion istället för enbart tekniska system
  •  Hur man definierar den operativa designdomänen (ODD) för en ADS utgående från önskade användningsfall, vilket innebär en definition av parametrar inom vilka en ADS-funktion är avsedd att fungera, samt strategier för att säkerställa att fordonet håller sig inom sin ODD.
  • En metod (kallad QRN) för riskanalys och framtagande av säkerhetsmål. Till skillnad från vanliga riskanalysmetoder bygger den inte på analys av specifika situationer utan på definition av acceptabel frekvens av incidenter med olika allvarlig konsekvens, och en mappning av incidenter till olika klasser av konsekvenser. Säkerhetsmålen uttrycks så att man säkert hamnar inom acceptabla frekvenser.
  • Ett ramverk för formell och systematisk hantering av säkerhetskrav med en kombination av åtgärder under utveckling och under drift, bland annat baserat på modeller av osäkerhet.
  • Användning av metoden funktionsanalys för att distribuera beslutsfattande på en ADS-arkitektur samt framtagande av säkerhetskrav.
  • Säkerhetskontrakt och komponentbaserad design för att underlätta kompletthetsbevisning i kravnedbrytning, möjliggöra kontinuerlig produktuppdatering, samt kunna uttrycka säkerhetskrav för sensorsystem som inkluderar kamera, radar mm.

En publik rapport och länkar till de flesta av projektets publikationer finns på projekthemsidan.

Prepare Ships Project. Running for 26 months, the H2020 project “Prepare Ships”, funded by the European Global Navigation Satellite System Agency (GSA), was successfully started in December 2019. The 5 consortium partners, coming from 3 European countries have developed a machine learning based future position prediction for ships in order to avoid ship collisions and close quarter situations as well as reducing environmental impact by more advanced decision making. In a RTK (Real Time Kinematic) software solution, it will both exploiting the distinguished features of Galileo signals as well as combining it with other positioning and sensor technologies. It will use the next generation maritime communication techniques VDES and the new suit of IALA Standards (S100) on sea charts. The innovation developed during the project can make more autonomy of navigation feasible by exchanging future positions and allow eased decision making on ships, suitable to become an international game changer for the future of autonomous shipping. The demonstration and testing will be done onboard three different vessels in the Gothenburg archipelago. The project is coordinated by RISE with partners from across Europe, including SAAB, Lantmäteriet, Telko and Anavs. For more information check out our homepage, join our linkedin group or contact Johannes Hüffmeier at RISE (johannes.huffmeier@ri.se).  

How do you ensure safety of autonomous shipping? Today’s risk assessment methods, application of methods and models used in shipping are usually based on humans being directly in charge of ships, VTS, port controls, etc. and may not be sufficient to reflect and evaluate the complexities and inherent risks of introducing further automation and digitalization in the shipping domain. The introduction of smart ships will create traffic situations between manned and unmanned ships where on one hand decisions and actions are based on algorithms and on the other hand by a human operator where a large part of the decision making. Increasing the level of automation implies that the goal-based standards for shipping need to be based on a risk assessment that reflects the expected roadmaps towards more smart ships and so far, research on autonomous transportation has focused on other parts than the effect of introducing and mixing different levels of automation and only very basic standards have been proposed by classification societies, where DNVs standards [DNV, 2018] have two pages in the appendix on basic set-ups for testing and validation. The main objective of the RFAF project financed by Trafikverket is to analyse how autonomous navigation can be proven to be safe. The aim of the project is to perform a simulator-based risk identification for autonomous shipping traffic. Increasing the level of automation implies that the goal-based standards for shipping need to be based on a risk assessment that reflects the expected roadmaps towards autonomy. Based on two use cases, the routes Fredrikshamn-Göteborg and crossing of the Ljusterö fairway, relevant risks are identified based on ship simulations performed by mariners describing especially nautical challenges for more autonomous shipping resulting in a common risk model. The project lasts from January 2020-December 2022. There are 3 project partners with RISE as coordinator. For more information visit the project website or contact Johannes Hüffmeier (johannes.huffmeier@ri.se).

The SWEA-financed (Energimyndigheten) Data-driven Optimised Energy Efficiency of Ships is a national project involving 7 ship owners, 3 companies from the supply chain and RISE, lasting for 16 months. The data analysis of energy consumption is often complex and there are different driving forces for decisions. However, increased data collection can be unprofitable if you do not have methods to analyze the complex systems. Developments within machine learning provides new opportunities to develop both technically and economically powerful tools energy efficiency. Even today, to some extent, economic driving is applied, for example. eco-driving, however, the effect is in many cases limited as decision-making is more complex than the operator / navigator can see. Also, not always available incentives and motivation of individuals to reduce energy use. However, data collection is increasing both quality review and analysis are not performed to the same extent. Using the results of the project’s data collection and analysis, recommendations can be given about which tools which can be developed in a next step, such as: a) nudging, decision support system or autopilot for ECO driving, b) route optimization based on the ship’s accelerations and motions, and c) decision support based on statistics or real-time analysis of data to identify optimal operation (parameters such as sea state, current, speed, load condition, etc.). The objectives of the project are to: a) Achieve reduced energy use on the project’s vessels by 10–35% both at quay and in sea operations, b) Demonstrate potential with machine learning of operational data, and c) Demonstrate the possibility that better operational data may form the basis for the development of generic energy efficiency tools for smaller vessels in commercial traffic. For any details on the project, reach out to Johannes Hüffmeier (johannes.huffmeier@ri.se).

Photonics Private Public Partnership Roadmaps for EU’s next Framework Program Horizon Europé. The area of photonics for automotive applications is a significant area which includes not only photonics sensors for the EU defined topic Mobility and Safety for automated Road Transport. Photonics also plays a role in the path towards the targets of Zero Emission Road Transport, Clean Energy Transition, and the Industrial Battery Value Chain. The work of defining the Strategic Research Agenda (SRA) in the specific area of Photonics with EU industrial partners, universities and research centers is performed through the EU technology platform ”Photonics21”, which is funded by the EU commission. The current roadmap for Photonics was published in the document: “Europe’s age of light! How photonics will power growth and innovation, Strategic Roadmap 2021–2027” The section on Automotive and Transport can be found in section 3.9. The coordinator of the whole Photonics 21 is done by VDI Technologiezentrum GmbH in Düsseldorf, Link. We believe this is important as there are a lot of EU research money at stake. The current recommendation by the European Parliament for the whole Horizon Europe budget 2021 -2017 is €120 Billion. The research funding will be divided among many topics where Climate, Energy, and Mobility is one of the clusters. There is a large Swedish interest in the cluster and cooperation with industry is one important factor in the program. Most, if not all, of the European automotive industry are usually involved in at least selected programs.

Now, based on feedback from the new European Commission, the board of Photonic21 have decided to reshape the roadmap and as a consequence automotive & transport will henceforth be combined with the topics of climate and energy. Besides merging the different topics in one document, this gives us an opportunity to revise the previous document into something that we believe should support our industry even better, considering that the current document was prepared in 2018 and the present situation the industry is facing. We want to ensure that the guiding document capture the specific needs of the automotive industry. The aim of the work is to define the research topics of the Strategic Research Agenda (SRA) which will define the upcoming calls in the Horizon Europe program. 

We now invite comments on the current chapter and roadmap (provided in the link above). Determined by EU commission schedules this work has to be completed on 4 September, why we need your input no later than 24 August 2020. We ask for specific text suggestions and specific roadmap suggestions (compare with p. 140 in the above mentioned Strategic Roadmap). Please forward your suggestions to Jan-Erik Källhammer at jan-erik.kallhammer@veoneer.com. He acted as chair of the group Automotive and Transport in the current roadmap and now act as co-chair of the new group Climate, Energy, and Mobility together with Dr. Heinz Seyringer of V-Research GmbH in Austria. 

Etik, Marknadsundersökningar, Produktplaner, Samverkan människa - maskin, Trafiksäkerhet

Tips på video och podcast

  • Euro NCAPs nya protokoll. Ungefär vartannat år brukar Euro NCAP uppdatera sina testprotokoll. Här kan ni se årets uppdateringar. Länk
  • Mobileye står fast vid sitt löfte. Mobileye (Intel) har lovat att lansera självkörande taxi 2022, och man står fast vid det löftet. Det redogjorde förtagets VD Amnon Shashua vid årets upplaga EcoMotion. Man kommer börja med Jerusalem och sedan sprida tjänsten vidare till Tel Aviv, Frankrike, Sydkorea och Kina. Länk
  • Utmaningar med folks uppfattning. Fram till idag har det gjorts en hel del marknadsundersökningar kring förväntningar på och uppfattningar om automatiserade fordon. Nyligen gjorde organisationen PAVE en sådan undersökning som visar att det finns en del utmaningar. Här kan ni höra några experter diskutera det hela och enligt dem kan utbildning och exponering lösa många frågetecken. Länk
  • Laglig, etisk och robust AI. Detta diskuteras av Fredrik Heintz (adjungerad professor vid Linköpings universitet) och Stefan Larsson (jurist och adjungerad professor vid Lund universitet) inom ramen för Liberal Europe Podcast. Länk
  • Sociotekniska aspekter. Den amerikanska haverikommissionen NTSB anordnade en frågestund kring automatiserade fordon med professor Missy Cummings från Duke University där hon bl.a. belyser sociotekniska aspekter. Länk
Kommunikation, Kooperativa system, Tester och demonstrationer

Trafikverkets mål: Självkörande bussar i Linköping

Trafikverket går nu ut med en förfrågan för ett demonstrationsprojekt med självkörande bussar, eller andra innovativa fordon [1]. Om det finns ett intresse bland fordonstillverkare och andra aktörer kan ett sådant projekt upphandlas senare under året.

Tanken är att upphandla ett kunskapsunderlag där man får möjlighet att lära sig hur fordonen samspelar med den omgivande infrastrukturen, enligt Peter Smeds, utredningsledare för programmet Digitaliseringen av transportsystemet på Trafikverket.

Myndigheten har redan sträckan från Vikingstad järnvägsstation till Linköpings universitetsområde i åtanke. Sträckan är ca 10 kilometer lång och har en varierad trafikmiljö som innehåller allt från 30-väg till 2+1-väg med hastighetsgränsen 100 km/h.

Ambitionen är att projektet ska pågå i två år med två bussar för att kunna undersöka funktionen i olika väderförhållanden och årstider. Grundförutsättning är att de nya bussarna är fossilfria (t.ex. eldrivna).

Egen kommentar

På tal om bussar så invigs testningen av självkörande skyttelbussar i Linköping den 10 mars kl 10. Detta görs inom ramen för ett pågående forskningsprojekt i samarbete mellan Linköpings universitet, VTI, Linköpings kommun, Östgötatrafiken, Science Park Mjärdevi, RISE, Transdev och Akademiska Hus.

Adressen är Studenthuset, campus Valla, Linköpings universitet.

Källa

Kristensson, J., Trafikverkets mål: Stora självkörande bussar i Linköping. Ny Teknik 2020-03-02 Länk

Artificiell intelligens, Forskningsprojekt, Funktioner, Infrastruktur, Lagstiftning och regelverk, Mobilitetstjänster, Övriga fordon, Positionering, Samhällspåverkan, Samverkan människa - maskin, Sensorer, Trafiksäkerhet

Svensk forskning: Framtiden är ljus

MICA. CoEXist. SMART. PLATT. PRoPART. PERCEPTRON. PRELAT. DENSE. Barmark. BRAVE, HATric. Ja, så heter några av projekten som ni har äran att läsa om i årets sista sammanställning av relevant svensk forskning. För varje gång blir jag mer och mer imponerad av vår forskning och forskare. Det är fantastiskt att se hur mycket görs i vårt ”lilla” land, och det här är nog bara en bråkdel av det hela! Vi behöver bara bli bättre på att sprida våra resultat, och jag hoppas att OmAD bidrar till detta. Något annat vi behöver bli bättre på är att koppla samman våra projekt till en helhet och visa hur de leder till positiva samhällsförändringar. Kanske ett lämpligt nyårslöfte?

Stort tack till er alla som bidragit till den här sammanställningen! Det hade inte varit möjligt utan era bidrag och engagemang.

Modeling driver behavior in interactions with other road users. Driver models help improve and evaluate systems for road crash mitigation and avoidance. As systems develop and address increasingly complex scenarios. Driver models also need to be developed to be able to account for the interactions among these road users. Even as we improve driver modeling with control-theory models and actual data-driven implementations, existing driver models fail to sufficiently take interaction among road users into consideration. This paper addresses this insufficiency by proposing a new operational framework to computationally model interactions among road users. For this purpose, we introduce a definition for interaction among road users. The modeling framework is demonstrated by a specific driving scenario: the overtaking of a cyclist when an oncoming vehicle may be present. In this scenario, modeling driver interaction using Unified modeling language within our framework can lead to improved crash mitigation and avoidance through tailored system activation of automated emergency braking. This is a paper that will be presented at TRA-conference next year. The work was partly carried out at SAFER and within the FFI-project Modelling Interaction between Cyclists and Automobiles (MICA). For more information contact Prateek Thalya at Veoneer (prateek.thalya@veoneer.com).

Researchers from Veoneer have also published several other relevant papers, contact Ola Boström (ola.bostrom@veoneer.com) at Veoneer for more information: 

  • Occupant activities and sitting positions in automated vehicles in China and Sweden – The 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV)
  • Passenger Car Safety Beyond ADAS: Defining Remaining Accident Configurations As Future Priorities Conference: The 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV)
  • Intersection AEB Implementation Strategies for Left-Turn Across Path Crashes – Traffic Injury Prevention (ADAS)
  • A Model of Indian Drivers’ Ratings of In-Vehicle Alerts to Pedestrian Encounters on Roads in India, for presentation at the coming Human Factors and Ergonomics Society’s 2019 International Annual Meeting
  • Benefits of intuitive auditory cues for blind spot in supporting personalization; ESV2019
  • Adaptive Transitions for Automation in Cars, Trucks, Busses and Motorcycles; Intelligent Transport Systems (got invited for a journal track after the ITS World Congress)
  • How do oncoming traffic and cyclist lane position influence cyclist overtaking by drivers? – Shown at ICSC and submitted to AAP journal
  • Radar Interference Mitigation for Automated Driving – IEEE Signal processing magazine
  • How do drivers negotiate intersections with pedestrians? Fractional factorial design in an open-source driving simulator – AAP
  • Modelling discomfort: How do drivers feel when cyclists cross their path? – AAP

Driver/passenger activity mapping. FFI funded DRAMA project (2018-2020) addresses knowledge building around activity identification of drivers and passengers in vehicles to improve interaction between them and the vehicle. Mapping and detecting activities at drivers and passengers is important for both UX and traffic safety. With knowledge about activites, the HMI can be adjusted to, the currently most efficient modality. If the vehicle knows the body posture of the passengers safety functions such as airbags, brakes and steering system can be adjusted by the safety systems in the vehicle. The project develops a system that can recognizes individual and interaction activities of driver and passengers in vehicles of high level of automation (SAE3+). The project studies from literature the most relevant activities of driver and/or passenger in highly automated vehicles in terms of safety and comfort. The developed prototype acquires input data from multiple cameras mounted in the cabin of a vehicle and classify the detected activities according to the chosen in-cabin activities of interest. Machine learning algorithms are used to extract timeseries of activity features including: Body poses, head position/eye gaze/face landmark, objects, dense optical flow, and detected activity/interaction. The work is a collaboration between RISE AB and Smart Eye AB. For more information contact Thanh Hai Bui (thanh.bui@ri.se) at RISE, or Henrik Lind (henrik.lind@smarteye.se) at Smart Eye AB.

Mimicking professional bus drivers. Scania and KTH Royal Institute of Technology are currently researching motion planning algorithms for autonomous buses driving in cities. The research has so far discovered that current motion planning approaches, which are suitable for passenger vehicles, are not successful at driving buses in cities. The problem arises due to the large dimensions of buses, but mostly due to the particular chassis configuration, where the wheelbase length is much shorter than the vehicle length, resulting in large vehicle overhangs. The research then focuses on how to use these overhangs to increase the maneuverability of buses driving in cities. The result is a new motion planning approach which allows buses to briefly drive with the overhangs outside of the road and over curbs, in order to drive along narrow roads and sharp turns, while ensuring the safety of the drive. The first results of this work have been recently published in the Intelligent Transportation Systems Conference 2019. The paper can be accessed via IEEE here, or arXiv here, and a video of the results here. This work was partially supported by the Wallenberg AI, Autonomous Systems and Software Program (WASP) funded by the Knut and Alice Wallenberg Foundation. For more information contact Rui Oliveira (rui.oliveira@scania.com) from the KTH Royal Institute of Technology.

CoEXist is a European project (May 2017 – April 2020) which aims at preparing the transition phase during which automated and conventional vehicles will co-exist on cities’ roads. CoEXist aims at enabling mobility stakeholders to get “AV-ready” (Automated Vehicles-ready). To achieve its objective, CoEXist have developed an assessment framework including both microscopic and macroscopic traffic models that take the introduction of automated vehicles into account. The tools developed in the framework of CoEXist are tested by road authorities in the four project cities: Helmond (NL), Milton Keynes (UK), Gothenburg (SE) and Stuttgart (DE) in order to assess the “AV-readiness” of their local-designed use cases. Swedish partners in the CoEXist project is VTI and the City of Gothenburg. Preliminary results from the traffic modelling show decreases in traffic performance in an introductory stage with lower penetration rates and AVs with limited capabilities and cautious driving logics while higher penetration rates of more advanced AVs leads to a modal change from public transport to private cars. Final event will be held in Milton Keynes (UK) on 25-26 March 2020, Homepage: https://www.h2020-coexist.eu/. Contact Johan Olstam (johan.olstam@vti.se) for more information.

SMART. The aim of the SMART project (Simulation and Modelling of Automated Road Transport) is to enhance and further develop todays state-of-the-art traffic models in order to enable analysis of future traffic systems. The project consists of two PhD projects, one focusing on microscopic traffic simulation and the behaviour of and interaction between conventional and automated vehicles, and one focusing on mesoscopic simulation and fleets of automated vehicles for public transport operations. The licentiate thesis Simulation based evaluation of flexible transit was presented by the PhD student David Leffler on June 13th, 2019. The project is carried out by VTI, KTH and LiU and is funded by Trafikverket via Centre for Traffic Research (CTR). Contact Johan Olstam (johan.olstam@vti.se) or Wilco Burghout (wilco@kth.se) for more information.

PLATT – Policylab för Autonoma Transporttjänster. Inom ramen för DriveSweden (Vinnova) har PLATT har Volvo GTT, Einride, Combitech och RISE bedrivit policyutveckling tillsammans med offentliga och kommersiella aktörer inom transportnäringen. Därigenom har vi identifierat en rad utmaningar som de sökande står inför. Det handlar både om att kunna budgetera för ansökan i form av kostnad och ledtid men också hur man vet vad som ska ingå i en ansökan. Men vi har också sett en rad olika strategier för att hantera den osäkerheten. Dels beprövade strategier som använts både specifikt inom fordonsutvecklingen och generellt inom svensk myndighetsutövning, dels nya strategier som sätter fingret på hur man kan hantera säkerheten vid införande av ny teknologi utan att hämma innovationstakten. Genom att bjuda in brett till projektets aktiviteter har vi också samlat på oss många praktiska tips på hur man som sökande både kan påverka hur lång tid det tar att få igenom en ansökan men också mängden arbete man behöver lägga ner på en framgångsrik ansökan. Tipsen belyser också aspekter som inverkar gynnsamt på hur försöksverksamheten uppfattas av omvärlden, t.ex. räddningstjänsten och allmänheten. Här hittar ni slutrapporten och projektets hemsida. För mer information kontakta Håkan Burden på RISE (hakan.burden@ri.se). 

Driving automation state-of-mind: Using training to instigate rapid mental model development. I takt med att automatiserade funktioner blir alltmer avancerade och vanliga, ökar också kraven på användarens (förarens) förståelse för korrekt användning. Inte förrän den mänskliga föraren helt kan ersättas kommer förarens förståelse av systemen vara en kritiskt komponent i att fordonet (människan tillsammans med de automatiserade systemen) framförs säkert på vägen. Finns det då något sätt att snabb-träna förare i hur man ska använda sådana system? Den nyligen publicerade studien ämnade undersöka just detta. Tidigare forskning inom förarträning och inlärning kombinerades till en tränings-metodik som sedan inkorporerades i ett träningsprogram ämnad att träna noviser i användningen av ett hypotetiskt förarassistanssystem motsvarande SAE Level 2. Resultaten indikerade inte bara att automations-träning av förare är möjlig, utan kanske viktigast av allt att de tränade förarna i betydligt större utsträckning var benägna att ingripa i situationer som krävde det (baserat på systemets begränsningar) jämfört med deras otränade motparter. Studien gjordes inom ramen för FFI-projekt HATrick. För mer information kontakta Martin Krampell (krampell@gmail.com).

PRoPART finalized. After 24 months of work, H2020 project „PRoPART”, funded by the European Global Navigation Satellite System Agency (GSA), was successfully closed. The 7 consortium partners, coming from 4 European countries have developed an RTK (Real Time Kinematic) software solution by both exploiting the distinguished features of Galileo signals as well as combining it with other positioning and sensor technologies. RTK gives the possibility of cm-level accuracy using correction data from reference stations. The innovation developed during the project can be a game changer for the future mass market of autonomous transport. The final demonstration was done in November at AstaZero and here you can see a movie and presentation material. The project was coordinated by RISE with partners from across Europe, including Scania, AstaZero and Waysure. For more information contact Stefan Nord at RISE (stefan.nord@ri.se).  

PERCEPTRON är ett FFI-projekt är ett samarbete mellan Volvokoncernen, Semcon och Chalmers som avslutas nu vid årsskiftet. Målsättningen med PERCEPTRON har varit att ta fram ett koncept för kontinuerlig datadriven utveckling vilket inbegriper infrastruktur för att ta hand om loggad data, design av neurala nätverk, träning och validering. Ett resultat av projektet är tre neurala nätverk att exekvera i fordonet för objektdetektering, detektering av filmarkeringar och vägdetektering. Nätverken har tränats på insamlad och annoterad data för lastbil på svenska vägar. En översiktlig utvärdering av hårdvara och programvara för användande neurala nätverk har också gjorts för att ge vägledning åt utvecklare. För ytterligare information kontakta projektledare Carlos Camacho, Volvokoncernen.

PRELAT är ett FFI-projekt som slutar vid årsskiftet efter fem års samarbete mellan Volvokoncernen och Chalmers. Projektet har arbetat med fully convolutional neural network för fusion av kamera och lidar i syfte att uppnå robust vägdetektion och klassificering av vägmarkeringar för lateral filhållning. Ett tidigt resultat pekar på nyttan av använda lidar för snabb och noggrann vägdetektion. Ett annat resultat från PRELAT är på vilken detaljnivå fusion av kamera och lidar bör utföras. Slutligen är ett tredje resultat hur semi-supervised training kan utformas i syfte att minska mängden kostsam annotering. PRELAT och PERCEPTRON har varit en del av den snabbt expanderande utvecklingen och användningen av neurala nätverk inom fordonsindustrin. Resultaten har bidragit med ökad förståelse och kommer att användas i framtida projekt i Volvokoncernen. För ytterligare information hänvisas till projektledare Martin Sanfridson, Volvokoncernen

Universally designed mobility for increased accessibility to societal functions. A consortium of organisations in West Sweden (Västra Götalandsregion, Västtrafik, RISE, Norconsult Astando AB, with user organisations SRF and DHR) have collaborated on a number of projects with the vision of working towards autonomous and universally designed mobility for increased accessibility to societal functions. A series of projects performed by the consortium have explored the following subjects:

  • Samverkande system för sjukresor och sjukhus (eng. Cooperative systems for medical journeys and hospitals). How a System-of-systems approach can be utilised to bridge accessibility gaps when making service journeys between public transport and hospital departments. (funded by Vinnova FFI)
  • Autonoma skyttelbussar för ökad tillgänglighet till viktiga samhällsfunktioner (eng. Autonomous shuttle busses for increased accessibility to important societal functions). Pre-study for a trial of autonomous shuttle-busses at Sahlgrenska Hospital in Gothenburg. (funded by Västra Götalandsregion kollektivtrafiknämnden)
  • Guidning till autonoma fordon för blinda, döva och dövblinda (eng. Guidance to autonomous vehicles for persons with blindness, deafness and deaf-blindness) Guiding for journeys with autonomous vehicles for people with blindness, deafness and deaf-blindness. (funded by Drive Sweden – Vinnova, Energimyndigheten och Formas)

A combination of methods including design-thinking workshops, user-trials, field studies, service-design methods and innovation processes have been utilised to ensure that user needs have been clearly understood and taken into consideration in design of potential solutions. The studies have resulted in increased understanding of the needs of users with visual impairments in autonomous transport systems and how public authorities can contribute to designing services that reduce barriers to independent travel. A large number of service improvements and solutions have been identified. Methods for using vibro-tactile communication to guide users with visual impairments to public transport have been evaluated. A plan for a one year test of autonomous busses in a hospital environment is undergoing an approval process within the regional authority. The insights gained from these projects have already begun to create value. Many solutions can be applied to existing public transport solutions. However to create future transport solutions which are created with accessibility for all from the outset, the results require more communication for example to vehicle manufacturers, city and public transport planners and more. For more information contact Steve Cook at Norconsult (Steve.Cook@norconsult.com). 

What happens to self-driving cars if the weather turns bad? Current systems offer comfort and safety in good weather. However, they often fail to sense its surroundings in visibility conditions with heavy rain, snow or fog causing the automated systems to stop their support. The DENSE project, under the ECSEL joint undertaking and co-financed by EU and national funding bodies, addresses this key challenge of autonomous driving by developing an environment perception technology that extends the performance of sensors in adverse visibility conditions. The project designs, tests and validates a generic sensor suite that enables driver assistance systems and autonomous driving systems to operate also in adverse weather. The DENSE 24/7 all-weather sensor suite combines Radar, Short-Wave Infrared (SWIR), gated camera sensor, and LIDAR. In addition, a mobile Road State Sensor assesses the road surface conditions. For maximizing efficiency, DENSE implements a high-level fusion platform integration between the individual sensors. DENSE use artificial neural networks to fuse all sensor information at pixel level, leading to an enriched and enhanced multi-spectral image. The system has been integrated in a test vehicle and demonstrated under controlled conditions in a weather chamber and evaluated under real-life conditions in Central and Northern Europe. Project duration is between June 2016-February 2020. There are 15 project partners with Daimler as coordinator. For more information visit the project website or contact Jan-Erik Källhammer at Veoner (jan-erik.kallhammer@veoneer.com).

Projekt Automatiserad vägdrift med kortnamn ”Barmark” har som målsättning att genom automatisering av drift- och underhållsfordon bidra till förbättrad arbetsmiljö, ökad resiliens samt minskade säsongsvariationer vid val av transportslag. Projektet tar fram ett fordon som kör och navigerar självständigt längs en definierad rutt samtidigt som det utför ett arbetsuppdrag och interagerar med omgivningen. Inom projektet sker fordonsanpassning exv. av bromssystem, midja och EHI styrning, utveckling och anpassning av sensorsystem exv. drönarburna radarsystem, ultraljud, GPS/Video samt utveckling och anpassning av webbaserad front-end med loggning av fordon med förare i trafik. Vidare utförs analys av infrastruktur och testscenarier inför projektdemonstrationer som kommer utföras kommande vinter- och sommarsäsong. Projektgruppen utgörs av RISE, Semcon, CIT, Peab, Swevia, Skanska, Svensk Markservice, Trafikverket, Alkit, Teade, AstaZero och Lundberg Hymas, där RISE är koordinator. Projektet pågår 2018-05-01 till 2020-08-30 och finansieras av det strategiska innovationsprogrammet InfraSweden2030, en gemensam satsning av Vinnova, Formas och Energimyndigheten samt av projektpartners. For mer information kontakta Viveca Wallqvist på RISE (viveca.wallqvist@ri.se). 

Användargränssnitt för att upptäcka oskyddade trafikanter I syfte att förbättra tilltro och acceptans för SAE nivå 3. I EU-projektet BRAVE, Bridging gaps for the adoption of Automated VEhicles som koordineras av VTI, Statens väg- och transportforskningsinstitut, bedrivs forskning för att bidra till förbättrad säkerhet och acceptans av automatiserade fordon. I projektet har VTI under hösten genomfört en studie i körsimulatorn Sim IV på Lindholmen i Göteborg. Bakgrunden till studien är att implementering av automatiserade körsystem på SAE nivå 3 i urbana miljöer utgör en utmaning, i det att återkommande och svårförutsägbara interaktioner mellan fordon och oskyddade trafikanter behöver hanteras. För att adressera utmaningen har projektet utvecklat ett koncept för användargränssnittet som håller föraren informerad om närvaron av oskyddade trafikanter i den närliggande omgivningen. Genom att göra denna typ av information tillgänglig för föraren ges hen möjlighet att avsluta uppgifter av sekundär karaktär, såsom att se på film och liknande, och i samarbete med systemet övervaka körningen fram till dess att det är säkert att återgå till sekundära uppgifter. I körsimulatorstudien fick deltagare med och utan erfarenhet av supportfunktioner på SAE nivå 2 köra i en urban miljö samtidigt som dom kunde titta på film. Nivån av information angående oskyddade trafikanter varierades över fyra betingelser: (1.) ingen information, (2.) en varning för att förmå föraren att återta kontroll när en kollision var nära förestående, (3.) en förvarning som meddelade om närvaron av oskyddade trafikanter, samt (4.) kombination av varnings- och förvarningskoncepten. Studiens resultat visar att en strategi för användargränssnittet som integrerar förvarnings- och varningsmeddelandet är den lösning som är att föredra för att förbättra säkerheten, samtidigt som förarens tilltro till systemet förbättras. Vidare visade studien att tidigare erfarenhet av SAE nivå 2 är avgörande för om strategin fungerar eller inte. Resultaten stödjer design av användargränssnitt för automatiserade körfunktioner baserat på behov, preferenser och förmågor hos förare för att säkerställa bättre acceptans och säkerhet. För mer information om projektet kontakta Niklas Strand, Ignacio Solis Marcos eller Ingrid Skogsmo på VTI eller se www.brave-project-eu eller följ projektet på Twitter @BRAVE_H2020 

Konferenser, Samverkan människa - maskin, Trafiksäkerhet

Distraktion och ouppmärksamhet

Under veckan hölls International Conference on Driver Distraction and Inattention i Göteborg med SAFER Vehicle and Traffic Safety Centre vid Chalmers som värd. Konferensen hade runt 200 deltagare från olika delar av världen och uppmärksammades av bland andra SVT.

Här kan ni höra SAFERs föreståndare Magnus Granström berätta om konferensen och vikten av forskning kring distraktion och ouppmärksamhet i trafiken, och inte minst i automatiserade fordon (börjar vid 2:21).

Publikationer från konferensen är tillgängliga via konferensens hemsida. Här är titlar på några av studier utförda av svenska forskare:

  • Stress and sleepiness in city bus drivers — an explorative study on real roads within the ADAS&ME project. VTI.
  • What were they thinking? Subjective experiences associated with automation expectation mismatch. Volvo Cars.
  • Using counterfactual simulations to evaluate the impact of drivers’ glance behaviors on safety: A study of between-driver variability. Chalmers, Volvo Cars.
  • Texting while driving with Level 2 automation: A distraction or an opportunity? AB Volvo, Volvo Cars, Semcon, RISE.
  • Driving with kids: distracted and unsafe? Chalmers.
  • Smartphone logging – A new way to gain insight about smartphone usage in traffic. VTI.
  • Bicyclists’ adaptation strategies when receiving text messages in real traffic. VTI, Linköpings universitet.
  • Intra-individual difference in sleepiness and the effect on driving performance – a three-times repeated driving simulator study. VTI.
  • Speedometer monitoring before and after speed warnings and speed zone transitions. Chalmers.
  • What were they thinking? Subjective experiences associated with automation expectation mismatch. Volvo Cars.
  • Do individual differences explain crash involvement in highly-reliable Supervised Autonomous Driving? Volvo Cars.
Forskningsprojekt

Svensk forskning när den är som bäst

I fotbollsvärlden pratas det den här veckan mycket om ”the Swedish way” – uthållighet, fokus, målmedvetenhet, teamarbete. Här i nyhetsbrevet tänkte vi fortsätta i samma anda och lyfta fram några svenska forskningsprojekt och resultat som oftast uppkommit tack vare just dessa egenskaper hos våra forskare. Stort tack till er alla som tipsat oss om relevant forskning och skickat in era sammanfattningar!

ESPLANADE (esplanade-project.se) är ett FFI-projekt som löper från januari 2017 till december 2019. Målet är förbättrad metodik för att visa att automatiserade fordon är säkra. Projektet fokuserar på fordon med ADS-funktioner (Automated Driving System) på nivå 4 enligt SAE-skalan (ett fordon som kan köra helt utan förarinteraktion under begränsade förutsättningar). Vi vet att sådana funktioner har ett antal karakteristiska skillnader mot traditionella fordonsfunktioner där säkerhetsbevisning sker enligt standarden ISO 26262. En ADS-funktion har full kontroll över fordonet, och en viktig del av säkerheten ligger därför i att systemet kör på ett säkert sätt, dvs tar taktiska beslut som inte försätter fordonet i farliga situationer. Därför behöver vi metoder för att säkerställa att systemet tar taktiskt säkra beslut. Andra problem som projektet arbetar med rör hur man visar att sensorernas prestanda är tillräckliga för uppgiften i varje givet ögonblick, vilka arkitekturmönster som är användbara för en ADS, hur man hanterar säkerhetsbevisning för system med icke-deterministiska algoritmer (AI, machine learning), hur man gör hazardanalys för en ADS med en mycket komplex situationsanalys, säkerhetsbevisning för förarinteraktion, och hur man visar fullständigheten i kravnedbrytning för komplexa system. Projektet koordineras av RISE och övriga deltagare är Aptiv, Comentor, KTH, Qamcom, Semcon, Systemite, Veoneer, Volvo Cars, Volvo AB och Zenuity.

Rullande busskur. Detta är ett FFI-projekt som löper från maj 2018 till oktober 2018 och som syftar till att förstå möjligheter och begränsningar ur ett tekniskt perspektiv när det gäller självkörande småbussar på landsbygden, förstå möjligheter och begränsningarna ur ett beteendeperspektiv, dvs. acceptansen av den tekniska innovationen hos resenärer och allmänheten, hitta lämpliga geografiska områden inom Skellefteå kommun där upplägget skulle kunna testas, samt få en bild av kostnaderna och nyttorna. Målet med studien är att skapa förutsättningar för en framtida ansökan för ett demonstrationsprojekt.

HARMONISE är ett FFI finansierat projekt  med målet att undersöka olika sätt att harmonisera, förenkla, hantera och förbättra hur förare interagerar med tekniska system som automatiserar delar av eller hela den dynamiska körningen i fordonet. Projektet är ett samarbete mellan Volvo AB, Volvo Cars och RISE Viktoria. Projektet kommer att utveckla och testa olika koncept, som stödjer interaktionen mellan förare och fordon på ett multimodalt sätt och utveckla designriktlinjer. Projektet utforskar problematiken när en förare tror att hon/han har mer support (nivå 4) än vad som för tillfället erbjuds.  Nya rön från distribuerad kognition och kroppslig kognition (embodied cognition) utforskas som teoretisk grund. Mer information om projektet hittas här och kontaktperson är Emma Johansson (emma.johansson@volvo.com).

Människor och interaktiva autonoma system. Sam Thellmans forskarstudier i kognitionsvetenskap vid Linköpings universitet (huvudhandledare: Tom Ziemke) undersöker hur människor förstår interaktiva autonoma system, som sociala robotar och självkörande fordon. Avhandlingens syfte är att belysa hur, när och varför människor tillskriver autonoma system intentionella tillstånd, som mål (t.ex. “bilen vill till punkt X“) och övertygelser (t.ex. “bilen har sett fotgängaren”), och hur detta påverkar människors förmåga att interagera med autonoma system. I forskningsarbetets första etapp undersöktes människors tolkningar av beteende hos människolika robotar (Thellman, Silvervarg, & Ziemke, 2017) och självkörande bilar (Petrovych, Thellman, & Ziemke, in press), det senare i samarbete med VTI/Linköping. Relevanta publikationer:

  • Petrovych, V., Thellman, S., & Ziemke, T. (in press). Human Interpretation of Goal-Directed Autonomous Car Behavior. In CogSci 2018: Changing Minds. 40th Annual Meeting of the Cognitive Science Society, Madison, VA. Cognitive Science Society.
  • Thellman, S., Silvervarg, A., & Ziemke, T. (2017). Folk-psychological interpretation of human vs. humanoid robot behavior: exploring the intentional stance toward robots. Frontiers in psychology, 8, 1962.

Optimala manövrar. Victor Fors har i sin licavhandling vid Linköpings universitet tittat på vad som händer när bilen gör en manöver nära gränsen för vad den faktiskt klarar av för att undvika att krascha. Målet på kort sikt är att få en uppfattning om hur optimala manövrar ser ut, och på längre sikt att bygga in insikterna från avhandlingen i ett säkerhetssystem för förarlösa fordon. Avhandlingen går under titel Optimal Braking Patterns and Forces in Autonomous Safety-Critical Maneuvers och ingår i det stora WASP-programmet, Wallenberg Autonomous Systems and Software Program, finansierat av Knut och Alice Wallenbergs stiftelse.  Vid frågor kontakta Victor Fors (victor.fors@liu.se).

NPAD (Network-RTK Positioning for Automated Driving) är ett projekt finansierat av Vinnova FFI som skall utforma ett system för stora volymer automatiserade fordon eller andra mobila plattformar med behov av noggrann positionering. Projektet staratade i maj och kommer pågå till april 2020. Det kommer att genomföras i flera steg där en demonstrator kommer att utformas baserat på krav från både automatiserad körning och andra mobila plattformar. Projektet skall bland annat: a) definiera kraven för positionering för automatiserad körning, b) analysera kraven på ett distributionssystem för korrektionsdata, c) utforma ett referenssystem på AstaZero för utvärdering av mätosäkerhet hos positioneringssystem och d) utföra test och validering av systemet baserat på en automatiserad fordonsapplikation från Einride. Projektpartners är: RISE, AstaZero, Ericsson, Lantmäteriet, AB Volvo, Scania, Einride, Waysure och Caliterra. Kontaktperson är Stefan Nord (stefan.nord@ri.se).

Drivers quickly trust autonomous cars. Successful introduction of autonomous cars requires autonomous technology that users experienced as trustful and useful. The aim of this study conducted by Volvo Cars within the FFI-project Human Expectations and Experiences of Autonomous Driving (HEAD) was to explore if drivers trust a fully autonomous car and if they experience that in-vehicle tasks can be conveniently carried out when in full autonomous mode. The test was conducted on a test track and an autonomous research car was used. The car was capable of handling the test track driving environment with full autonomy. When in full autonomous mode the participants got to engage in individually selected tasks, such as use media display, read, eat, drink and carry out work tasks with their own portable device. The results show that participant trust the autonomous car and they find it convenient to conduct in-vehicle tasks while in full autonomous mode. The study will be presented at the AHFE-conference this summer:

  • Broström, R., Rydström, A., Kopp, C., (in press) Drivers quickly trust autonomous cars. In the 9th International Conference on Applied Human Factors and Ergonomics, July 2018, Orlando, Florida, USA.

Customer perspectives. Intermetra Business & Market Research Group AB conduct studies mainly for the public sector in Sweden, with a focus on passenger transport. Among our most recent studies is a cross industry study on the customer perspective on Mobility as a Service in collaboration with RISE. We are now in the process of finalizing the result on a study on customer perspective on autonomous vehicles. The study has been conducted by a web survey to a representative sample of the Swedish population, with 500+ completed surveys. The study covers questions such as the Swedes knowledge and attitudes towards autonomous vehicles, as well as alternative sources of fuel. The results are expected to be available by the end of July. For more info, contact Markus Lagerqvist (markus@intermetra.se).

CoEXist is a European project (May 2017 – April 2020) which aims at preparing the transition phase during which automated and conventional vehicles will co-exist on cities’ roads. CoEXist aims at enabling mobility stakeholders to get “AV-ready” (Automated Vehicles-ready). To achieve its objective, CoEXist develops a specific framework and both microscopic and macroscopic traffic models that take the introduction of automated vehicles into account. The tools developed in the framework of CoEXist are tested by road authorities in the four project cities: Helmond (NL), Milton Keynes (UK), Gothenburg (SE) and Stuttgart (DE) in order to assess the “AV-readiness” of their local-designed use cases. Swedish partners in the CoEXist project is VTI and the City of Gothenburg. Homepage: https://www.h2020-coexist.eu/. Contact Johan Olstam (johan.olstam@vti.se) for more information.

SMART. The aim of the SMART project is to enhance and further develop todays state-of-the-art traffic models in order to enable analysis of future traffic systems. The project consists of two PhD projects, one focusing on microscopic traffic simulation and the behaviour of and interaction between conventional and automated vehicles, and one focusing on mesoscopic simulation and fleets of automated vehicles. The project is carried out by VTI, KTH and LiU and is funded by Trafikverket via Centre for Traffic Research (CTR). Contact Johan Olstam (johan.olstam@vti.se) or Wilco Burghout (wilco@kth.se) for more information.

Predicting  driver actions.The largest factor in traffic accidents today are human errors. There are many ways, in which problematic behaviors such as inattention can be mitigated. One of the tools used for this purpose is warning systems. There are situations where a warning system based on information from only one given point in time can provide an insufficient time window for the driver to react. A prediction of future events could be used in order to increase the amount of time between the warning and the dangerous event. This study explores possibilities of using recurrent neural networks with long short-term memory for prediction of eight different driver actions inside of a vehicle, such as glancing and reaching inside of the vehicle among others. These predictions, in turn, could potentially be used to improve a warning system and give a driver more time to react to a given situation. The predictions are based on sequences of actions, which are generated from sequences of images with a convolutional neural network. A dataset, consisting of sequences of images, used in the study was gathered at RISE Viktoria AB. The hyperparameters of the recurrent neural network, such as the number of hidden units and amount of layers, was chosen with Bayesian optimization. An addition of a parallel input of optical flow created from the input images was found to improve the performance of the convolutional neural network. The complete network achieved an average prediction accuracy of 87% for the next frame predictions and 67% after 20 frames. A comparison where the predictions were set to the last element in the input achieved an accuracy of 80% for one frame ahead and 50% after 20 frames. The study is part of Martin Torstensson’s masters’ thesis that was conducted as a part of the research projects DRAMA– Driver and passenger activity mapping (funded by FFI) and AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Torstensson, M., (in press) Prediction of Driver Actions With Long Short-Term Memory Recurrent Neural Networks. Master Thesis. Chalmers University of Technology, 2018.

Predicting pedestrian behavior. Behavior of pedestrians who are moving or standing still sufficiently close to the street could be one of the most significant indicators about pedestrian’s instant future actions. Being able to recognize the activity of a pedestrian, can reveal significant information about pedestrian’s crossing intentions. Thus, the scope of this study is to investigate ways and methods in order to understand pedestrian´s activity and in particular their motion and head orientation to the traffic. Furthermore, different featuresand methods were examined, used and assessed according to their contribution on distinguishing between different actions. Those were Histogram of Oriented Gradients (HOG), Local Binary Patterns (LBP), Bag of Words and CNNs. All the aforementioned features (HOG, LBP…etc) were extracted by processing still images of pedestrians. In this project, still images extracted from video frames depicting pedestrians walking next to the road or crossing the road are used. The study focuses in three parts, one is to derive the pedestrians action regarding if they are walking or not. The second is to identify the pedestrian´s head orientation in terms of if he/she is looking at the vehicle or not. The final task is to combine these two measures in a classifier that is trained to predict the pedestrian´s crossing intention and action. In addition to the pedestrian’s behavior for estimating the crossing intention, additional features about the local environment were added as input signals for the classifier, for instance, information about the presence of zebra markings in the street, the location of the scene, the weather conditions etc.  Moreover, several Machine Learning techniques were used after extracting the features (HOG, LBP etc…)   both for understanding the behavior of the pedestrian and for predicting the final action. Those were Support Vector Machines, k-nearest neighbor, Decision Trees. The data used in this thesis come from the Joint Attention for Autonomous Driving (JAAD) dataset. This study is done as a part of Dimitris Varytimidis (dimvar16@student.hh.se) masters’ thesis within the research project AIR– Action Intention Recognition (funded by KK-stiftelsen):

  • Varytimidis, D., (in press). Detection and intention prediction of pedestrians in zebra crossing. Master thesis. Halmstad University, 2018.

PRoPART (www.propart-project.eu) is a H2020 project (December 2017-November 2019), funded by the European Global Navigation SatelliteSystem Agency (GSA), focusing on positioning of automated vehicles and advanced driver assistance systems. The main purpose of the project is to develop and enhance an RTK (Real Time Kinematic) software solution by both exploiting the distinguished features of Galileo signals as well as combining it with other positioning and sensor technologies. RTK gives the possibility of cm-level accuracy using correction data from reference stations. The PRoPART partners are RISE, AstaZero, Scania, Waysure, Fraunhofer IIS, Ceit-IK4, Baselabs and Commsignia. Contact person is Stefan Nord (stefan.nord@ri.se).

Forskningsprojekt, Funktioner, HMI, Kolonnkörning, Konferenser, Lagstiftning och regelverk, Lastbilar, Övriga fordon, Personbilar, Positionering, Samverkan människa - maskin

Automatiserade fordon på FFI-resultatkonferensen

Den 17 september hölls FFI-resultatkonferensen för forskningsprogrammet Trafiksäkerhet och automatiserade fordon. Jag deltog på 4 presentationer, varav en var min egen. Här är en sammanfattning av dessa presentationer.

Mikael Ljung Aust från Volvo Cars pratade på temat Människan och självkörande fordon och vilken förarens nya roll blir när bilen kör sig själv. Han berättade om en studie som Volvo Cars hade genomfört för att ta reda på varför deras kunder skulle vilja ha tillgång till en automatiserad bil. De skulle helt enkelt vilja köra mindre och ägna sig mer åt annat (telefon, ljudböcker, läsa e-post, jobba, prata med passagerarna etc.). Men det innebär också att man som förare kommer få en alltmer passiv roll. En enkel studie har visat att människor är dåliga på att vara passiva, på att övervaka. Det är därför rimligt att anta att det inte kommer finnas någon förarroll när bilen kör sig själv. Förarrollen kommer att upphöra att existera under mer eller mindre långa perioder. Man får helt enkelt ”börja om” (get into character) varje gång man ska köra igen.

Stas Krupenia från Scania berättade om det nyligen avslutade projektet Methods for Designing Future Autonomous Systems (MODAS) och dess resultat. Projektet har haft utgångspunkt i GMOC-designmetoden som vanligtvis används inom reglerteknik för dynamiskt beslutsfattande. Med hjälp av den har man bl.a. tagit fram ett antal multimodala gränssnitt för användning vid automatiserad körning som konvojkörning (platooning). För att kunna utvärdera dessa har man också tagit fram nya utvärderingsmetoder. Utvärderingen gjordes i en körsimulator och den visar att de nya gränssnitten bidrar till bättre situationsmedvetenhet, minskar mentalbelastning, och ökar tillförlitlighet.

Lars Hjort från Scania presenterade delresultat från ett pågående projekt som kallas iQMatic. Det är ett samarbetsprojekt mellan Scania, KTH, Linköpings universitet, Autoliv, Saab och Combitech som startade 2013 med syfte att utveckla en helt självkörande lastbil som kan utföra transportuppgifter i en typisk gruvanläggning. Arbetet i iQMatic är indelat i fem arbetspaket: Projektledning, Perception och fusion, Egenskapsskattning och fordonskontroll, Uppdragsplanering och kommunikation och Avancerade HMI. Perceptionssystemet omfattar flera sensorer som kameror, radarenheter och GPS. Applikationen för uppdragsplanering möjliggör för användaren att välja en lastbil i området och ge den ett uppdrag (t.ex. åka till en viss plats och lasta på grus). Den är ansvarig för att planera en rutt från den aktuella positionen för lastbilen till den positionen som valts av användaren. Lars visade också en film som illustrerar det utvecklade systemet.

Temat för min presentation var Vad händer med lagar och regler relaterade till automatiserade fordon. Jag gav en överblick av relevant arbete i Sverige och i andra länder. Sammanfattningsvis kan man säga att vissa regelverk har utvecklats/håller på att utvecklas för testning av automatiserade fordon på allmänna vägar, men inte för massimplementation. Just nu har olika länder olika regler vilket ökar kostnaderna, förvirring och kan på sikt hindra storskalig användning av den nya tekniken. Samtidigt kompliceras lagstiftningsarbetet av osäkerheten kring hur marknaden kommer att utvecklas. En sak är säker, om man lagstiftar för tidigt finns det risk att man lagstiftar i onödan eller att man lagstiftar fel saker.

Det hölls ytterligare två presentationer inom området, men jag kunde tyvärr inte delta på dem. Johan Tofeldt från AB Volvo pratade på temat Säker och robust arkitektur för automatiserade produkter. Anders Almevad och Joakim Lin-Sörstedt från Volvo Cars gav en presentation om Fordonspositionering och ruttprediktion.

Materialet till dessa och andra presentationer från konferensen finns på FFIs hemsida.