Note: Where available, the PDF/Word icon below is provided to view the complete and fully formatted document
Auditor-General Audit reports for 2012-13 No. 53 Performance audit Agencies' implementation of performance audit recommendations


Download PDF Download PDF

T h e A u d i t o r - G e n e r a l

Audit Report No.53 2012-13 Performance Audit

Agencies' Implementation of Performance Audit Recommendations

A u s t r a l i a n N a t i o n a l A u d i t O f f i c e

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

2

   

© Commonwealth of Australia 2013 

ISSN 1036-7632 ISBN 0 642  81378 7 (Print)  ISBN 0 642  81379 5 (On‐line) 

Except for the content in this document supplied by third parties, the Australian National Audit Office logo, the Commonwealth Coat of Arms, and any material protected by a trade mark, this document is licensed by the

Australian National Audit Office for use under the terms of a

Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Australia licence. To view a copy of this licence, visit http://creativecommons.org/licenses/by-nc-nd/3.0/au/

You are free to copy and communicate the document in its current form for non-commercial purposes, as long as you attribute the document to the Australian National Audit Office and abide by the other licence terms. You may not alter or adapt the work in any way.

Permission to use material for which the copyright is owned by a third party must be sought from the relevant copyright owner. As far as practicable, such material will be clearly labelled.

For terms of use of the Commonwealth Coat of Arms, visit It’s an Honour at http://www.itsanhonour.gov.au/coat-arms/index.cfm.

Requests and inquiries concerning reproduction and rights should be addressed to:

Executive Director Corporate Management Branch Australian National Audit Office 19 National Circuit BARTON ACT 2600

Or via email: webmaster@anao.gov.au

 

         

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

2

   

© Commonwealth of Australia 2013 

ISSN 1036-7632 ISBN 0 642  81378 7 (Print)  ISBN 0 642  81379 5 (On‐line) 

Except for the content in this document supplied by third parties, the Australian National Audit Office logo, the Commonwealth Coat of Arms, and any material protected by a trade mark, this document is licensed by the

Australian National Audit Office for use under the terms of a

Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Australia licence. To view a copy of this licence, visit http://creativecommons.org/licenses/by-nc-nd/3.0/au/

You are free to copy and communicate the document in its current form for non-commercial purposes, as long as you attribute the document to the Australian National Audit Office and abide by the other licence terms. You may not alter or adapt the work in any way.

Permission to use material for which the copyright is owned by a third party must be sought from the relevant copyright owner. As far as practicable, such material will be clearly labelled.

For terms of use of the Commonwealth Coat of Arms, visit It’s an Honour at http://www.itsanhonour.gov.au/coat-arms/index.cfm.

Requests and inquiries concerning reproduction and rights should be addressed to:

Executive Director Corporate Management Branch Australian National Audit Office 19 National Circuit BARTON ACT 2600

Or via email: webmaster@anao.gov.au

 

         

 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

3

Canberra ACT 25 June 2013

Dear Mr President Dear Madam Speaker

The Australian National Audit Office has undertaken an independent performance audit across agencies with the authority contained in the Auditor-General Act 1997. I present the report of this audit to the Parliament. The report is titled Agencies' Implementation of Performance Audit Recommendations.

Following its presentation and receipt, the report will be placed on the Australian National Audit Office’s Homepage—http://www.anao.gov.au.

Yours sincerely

Ian McPhee Auditor-General

The Honourable the President of the Senate The Honourable the Speaker of the House of Representatives Parliament House Canberra ACT

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

4

AUDITING FOR AUSTRALIA

The Auditor-General is head of the Australian National Audit Office (ANAO). The ANAO assists the Auditor-General to carry out his duties under the Auditor-General Act 1997 to undertake performance audits, financial statement audits and assurance reviews of Commonwealth public sector bodies and to provide independent reports and advice for the Parliament, the Australian Government and the community. The aim is to improve Commonwealth public sector administration and accountability.

For further information contact: The Publications Manager Australian National Audit Office GPO Box 707 Canberra ACT 2601

Telephone: (02) 6203 7505 Fax: (02) 6203 7519

Email: webmaster@anao.gov.au

ANAO audit reports and information about the ANAO are available at our internet address:

http://www.anao.gov.au

Audit Team Greg Watson Shona Batge Renee Hall Andrew Pope Stuart Turnbull

 

   

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

5

Contents Abbreviations .................................................................................................................. 7 

Summary and Recommendations .............................................................................. 9 

Summary ...................................................................................................................... 10 

Introduction ............................................................................................................. 10 

Audit objective, scope and criteria .......................................................................... 11 

Overall conclusion ................................................................................................... 12 

Key findings by chapter ........................................................................................... 14 

Summary of agencies’ responses ........................................................................... 17 

Recommendations ....................................................................................................... 19 

Audit Findings ............................................................................................................ 21 

1.  Introduction ............................................................................................................. 22 

ANAO performance audits ...................................................................................... 22 

Agencies’ implementation of recommendations ..................................................... 22 

Audit objective, scope and criteria .......................................................................... 24 

Report structure ...................................................................................................... 25 

2.  Governance Arrangements to Monitor Audit Recommendations ........................... 26  Introduction ............................................................................................................. 26 

Audit committees and internal audit ........................................................................ 26 

Program manager responsibilities .......................................................................... 27 

Systems for monitoring recommendations.............................................................. 28 

Information provided to audit committees ............................................................... 30 

Monitoring systems by agency ................................................................................ 33 

Conclusion .............................................................................................................. 40 

3.  Implementation of Performance Audit Recommendations ..................................... 43 

Introduction ............................................................................................................. 43 

ANAO assessment of implementation of recommendations .................................. 45  Timeliness of implementation ................................................................................. 47 

Conclusion .............................................................................................................. 53 

Appendices ................................................................................................................. 57 

Appendix 1:  Agencies’ Responses ......................................................................... 58 

Appendix 2:  DEEWR traffic light report information ............................................... 64 

Appendix 3:  FaHCSIA traffic light report information .............................................. 65 

Appendix 4:  DoFD implementation report information ........................................... 66 

Appendix 5:  DIT implementation report information ............................................... 67 

Index ............................................................................................................................. 68 

Series Titles .................................................................................................................. 69 

Current Better Practice Guides .................................................................................... 76 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

4

AUDITING FOR AUSTRALIA

The Auditor-General is head of the Australian National Audit Office (ANAO). The ANAO assists the Auditor-General to carry out his duties under the Auditor-General Act 1997 to undertake performance audits, financial statement audits and assurance reviews of Commonwealth public sector bodies and to provide independent reports and advice for the Parliament, the Australian Government and the community. The aim is to improve Commonwealth public sector administration and accountability.

For further information contact: The Publications Manager Australian National Audit Office GPO Box 707 Canberra ACT 2601

Telephone: (02) 6203 7505 Fax: (02) 6203 7519

Email: webmaster@anao.gov.au

ANAO audit reports and information about the ANAO are available at our internet address:

http://www.anao.gov.au

Audit Team Greg Watson Shona Batge Renee Hall Andrew Pope Stuart Turnbull

 

   

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

6

Tables

Table 1.1 Report structure .................................................................................. 25 

Table 2.1 Number of employees by agency at 30 June 2012 ............................ 28 

Table 2.2 Agency systems for monitoring the implementation of ANAO recommendations ............................................................................... 29 

Table 2.3 Level of authority required for closure of recommendations .............. 30  Table 2.4 Status of ANAO recommendations .................................................... 32 

Table 3.1 Overview of recommendations included in the audit by agency ........ 44  Table 3.2 Categorisation of implementation ....................................................... 44 

Table 3.3 Implementation overview by total number of recommendations ........ 45  Table 3.4 Implementation overview by recommendation type ........................... 46 

Figures

Figure 3.1 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - Overall .................... 48  Figure 3.2 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DEEWR .................. 49  Figure 3.3 Reported time to implement ANAO performance audit

recommendations, January 2009-March 2013 - FaHCSIA ................ 50  Figure 3.4 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DoFD ..................... 51  Figure 3.5 Reported time taken to implement ANAO performance audit

recommendations, January 2009-March 2013 - DIT ......................... 52 

 

   

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

6

Tables

Table 1.1 Report structure .................................................................................. 25 

Table 2.1 Number of employees by agency at 30 June 2012 ............................ 28 

Table 2.2 Agency systems for monitoring the implementation of ANAO recommendations ............................................................................... 29 

Table 2.3 Level of authority required for closure of recommendations .............. 30  Table 2.4 Status of ANAO recommendations .................................................... 32 

Table 3.1 Overview of recommendations included in the audit by agency ........ 44  Table 3.2 Categorisation of implementation ....................................................... 44 

Table 3.3 Implementation overview by total number of recommendations ........ 45  Table 3.4 Implementation overview by recommendation type ........................... 46 

Figures

Figure 3.1 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - Overall .................... 48  Figure 3.2 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DEEWR .................. 49  Figure 3.3 Reported time to implement ANAO performance audit

recommendations, January 2009-March 2013 - FaHCSIA ................ 50  Figure 3.4 Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DoFD ..................... 51  Figure 3.5 Reported time taken to implement ANAO performance audit

recommendations, January 2009-March 2013 - DIT ......................... 52 

 

   

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

7

Abbreviations

ANAO  Australian National Audit Office 

CEO  Chief Executive Officer 

CFO  Chief Financial Officer 

CIA  Chief Internal Auditor 

DAC  Departmental Audit Committee 

DEEWR  Department  of  Education,  Employment  and  Workplace  Relations 

DIT  Department of Infrastructure and Transport (DIT) 

DoFD  Department of Finance and Deregulation (DoFD) 

FaHCSIA  Department of Families, Housing, Community Services, and  Indigenous Affairs 

FMA Act  The Financial Management and Accountability Act 1997 

JCPAA  Joint Committee of Public Accounts and Audit 

 

 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

9

Summary and Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

9

Summary and Recommendations

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

10

Summary

Introduction 1. The  Australian  National  Audit  Office’s  (ANAO)  performance  audits  are  an  independent  and  objective  assessment  of  agency  programs,  policies  and/or systems designed to inform the Parliament and to provide a stimulus  for  improved  public  sector  performance  and  accountability.  A  performance  audit can be undertaken in a single agency or as a cross‐agency audit involving  multiple agencies and a commonly performed function, or where more than  one agency is involved in program delivery. Performance audits typically give  consideration to the efficiency and effectiveness of agency administration and  consistency  with  legislative  and  policy  settings.  In  this  way,  performance  audits can assist agency chief executives fulfil their responsibilities to promote  proper use of resources when managing the affairs of the agency.1 

2. In  its  performance  audits,  the  ANAO  identifies  areas  where  administrative improvements can be made and, in most cases, makes specific  recommendations to assist agencies improve their performance and to address  risks  to  the  delivery  of  outcomes.  Recommendations  made  in  cross‐agency  audits are often applicable to other agencies not subject to the specific audit. In  those  situations,  while  other  agencies  do  not  explicitly  agree  to  implement  relevant recommendations, there is an expectation that these agencies consider  the recommendations and implement them as appropriate. 

3. Once an agency has agreed to implement a recommendation, timely  implementation in line with the intended outcome of the recommendation is  important in achieving the full benefit of the recommendation. Implementation  of  recommendations  should  be  treated  by  agencies  in  the  same  way  as  implementation of other program and business improvement initiatives. This  would generally include having a clear process for assigning responsibilities,  and systematic monitoring, so that reporting on implementation can provide  sufficient assurance to agency management that the recommendation has been  satisfactorily  implemented.  In  general,  responsibility  for  implementing  recommendations will rest with the relevant business or program management 

                                                       1 Part 7 of the Financial Management and Accountability Act 1997 (FMA Act) sets out the ‘special responsibilities’ of agency chief executives, which include a requirement under section 44 to ‘manage the affairs of the Agency in a way

that promotes proper use of the Commonwealth resources for which the chief executive is responsible’.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

10

Summary

Introduction 1. The  Australian  National  Audit  Office’s  (ANAO)  performance  audits  are  an  independent  and  objective  assessment  of  agency  programs,  policies  and/or systems designed to inform the Parliament and to provide a stimulus  for  improved  public  sector  performance  and  accountability.  A  performance  audit can be undertaken in a single agency or as a cross‐agency audit involving  multiple agencies and a commonly performed function, or where more than  one agency is involved in program delivery. Performance audits typically give  consideration to the efficiency and effectiveness of agency administration and  consistency  with  legislative  and  policy  settings.  In  this  way,  performance  audits can assist agency chief executives fulfil their responsibilities to promote  proper use of resources when managing the affairs of the agency.1 

2. In  its  performance  audits,  the  ANAO  identifies  areas  where  administrative improvements can be made and, in most cases, makes specific  recommendations to assist agencies improve their performance and to address  risks  to  the  delivery  of  outcomes.  Recommendations  made  in  cross‐agency  audits are often applicable to other agencies not subject to the specific audit. In  those  situations,  while  other  agencies  do  not  explicitly  agree  to  implement  relevant recommendations, there is an expectation that these agencies consider  the recommendations and implement them as appropriate. 

3. Once an agency has agreed to implement a recommendation, timely  implementation in line with the intended outcome of the recommendation is  important in achieving the full benefit of the recommendation. Implementation  of  recommendations  should  be  treated  by  agencies  in  the  same  way  as  implementation of other program and business improvement initiatives. This  would generally include having a clear process for assigning responsibilities,  and systematic monitoring, so that reporting on implementation can provide  sufficient assurance to agency management that the recommendation has been  satisfactorily  implemented.  In  general,  responsibility  for  implementing  recommendations will rest with the relevant business or program management 

                                                       1 Part 7 of the Financial Management and Accountability Act 1997 (FMA Act) sets out the ‘special responsibilities’ of agency chief executives, which include a requirement under section 44 to ‘manage the affairs of the Agency in a way

that promotes proper use of the Commonwealth resources for which the chief executive is responsible’.

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

11

area2  of  an  agency.  Governance  and  oversight  of  agency  responses  to  recommendations  will  generally  involve  an  agency’s  audit  committee,  supported by the agency’s internal audit function.3  

4. The ANAO examined the governance arrangements established in four  Australian  Government  agencies  to  monitor  the  implementation  of  ANAO  audit  recommendations.  The  ANAO  also  examined  the  implementation  of  recommendations from seven ANAO performance audits. Due to the inclusion  of  cross‐agency  audits,  three  to  five  audits  from  the  sample  of  seven  were  applicable to each agency resulting in a total of 48 recommendations being  assessed. 

Audit objective, scope and criteria 5. The objective of the audit was to assess the effectiveness of agencies’  arrangements  for  monitoring  and  implementing  ANAO  performance  audit  recommendations. 

6. The agencies included in the audit were the Department of Education,  Employment and Workplace Relations (DEEWR); the Department of Families,  Housing,  Community  Services  and  Indigenous  Affairs  (FaHCSIA);  the  Department  of  Finance  and  Deregulation  (DoFD);  and  the  Department  of  Infrastructure and Transport (DIT).4 

7. To reach a conclusion against the audit objective, the ANAO assessed  whether the selected agencies had: 

 effective governance systems in place to monitor ANAO performance  audit  reports  and  provide  oversight  of  implementation  of  relevant  recommendations; 

 reporting  arrangements  that  were  accurate  and  timely,  with  appropriate intervention mechanisms if required; and 

                                                       2 Program management area is used to refer to ‘line’ areas of departments that are responsible for the administration of Government programs, and also where applicable, corporate support areas in agencies. 3

The functions of audit committees are set out in FMA Regulation 22C. They include: advising the chief executive about the audit plans of the agency; coordinating work programs relating to internal and external audits; reviewing the adequacy of the agency’s response to audit reports; and reviewing the content of audit reports with a view to advising the chief executive on good practice, significant matters of concern and opportunities for improvement. 4

The Department of Infrastructure and Transport (DIT) was included in the audit at the request of the Joint Committee of Public Accounts and Audit (JCPAA). In May 2012, the JCPAA conducted a review of ANAO reports. The Committee report (Report 430, Review of Auditor-General’s Reports Nos. 47 (2010-11) to 9 (2011-12) and Reports Nos. 10 to 23 (2011-12), Canberra, May 2012 p. xviii) recommended that the ANAO include DIT in the (then planned) performance audit ‘Agencies’ Implementation of ANAO Audit Recommendations.’

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

12

 adequately implemented agreed ANAO recommendations. 

Overall conclusion 8. Performance  audits  play  an  important  role  in  improving  the  administration and management of public sector agencies. During the course  of  an  audit,  the  ANAO  establishes  a  relationship  with  agencies  to  provide  opportunities for discussion of the audit findings, conclusions and potential  recommendations. The benefit of this approach is that it ensures reports are  accurate, evidence‐based, and balanced. In this process, recommendations are  developed to make improvements that are directed towards the efficient and  effective  implementation  of  government  programs.  Once  agreed,  audit  recommendations  become  a  management  responsibility,  and  an  effective  system to implement recommendations will feature strong ownership within  the  agency  and  an  outcome  orientation,  which  promotes  timely  implementation and a focus on results. In this respect, the implementation of  audit recommendations is similar to an agency’s successful delivery of its other  responsibilities, relying heavily on agency leadership and the active support of  those charged with oversight and implementation. 

9. Overall, the four agencies included in the audit had developed systems  to  capture  ANAO  recommendations  and  to  monitor  and  report  on  implementation where these recommendations were made in audits directly  involving the agency. ANAO recommendations were clearly identified by the  agencies’  internal  audit  functions  and  brought  to  the  attention  of  audit  committees  on  a  regular  basis.  Reports  to  audit  committees  included  information on the recommendation, the current status of implementation and  the expected timeframe for completion, although in some cases, the status of  ANAO  recommendations  was  inaccurately  recorded  in  agency  monitoring  systems. 

10. While the systems in place generally provided visibility over reported  actions  for  audits  directly  involving  the  agencies,  three  of  the  four  audited  agencies’  monitoring  and  reporting  systems  did  not  feature  a  systematic  approach to the capture of recommendations made in broader cross‐agency  audits, which may have relevance to the agency’s operations. At the same time,  the ANAO observed that agencies had implemented a number of cross‐agency  recommendations which were not recorded in agency monitoring systems. 

11. Monitoring  and  reporting  are  important  activities,  but  do  not  necessarily  guarantee  the  timely  and  adequate  implementation  of 

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

13

recommendations.  The  ANAO  examined  all  ANAO  performance  audit  recommendations  marked  as  complete  in  agency  monitoring  systems  from  January 2009 to March 2013—a total of 216 recommendations. Approximately  half (56 per cent) of these recommendations had been implemented within a  year of the recommendations being made, and 74 per cent within 18 months. A  relatively small proportion (seven per cent) of ANAO recommendations had  taken 18 to 24 months to implement. For 19 per cent of the recommendations,  however, implementation was still in progress after two years and in one case  implementation had been ongoing for six years.  

12. Each agency, regardless of its size or the number of recommendations it  has  been  required  to  manage,  has  experienced  difficulties  with  full  implementation  of  recommendations.  The  ANAO  undertook  a  detailed  assessment of 48 recommendations, 14 of which were directed to individual  agencies  while  34  were  cross‐agency  audit  recommendations.  Overall,  69 per cent of recommendations were assessed as having been implemented  adequately,  while  10 per cent  were  assessed  as  not  being  adequately  implemented.  Approximately  21 per cent  of  the  recommendations  examined  were assessed as being partially implemented reflecting that actions had been  taken in agencies, but these actions did not fully address the recommendation. 

13. In  general,  limited  supporting  information  was  provided  to  the  respective agencies’ internal audit function or audit committee in support of  the  closure  of  recommendations.  Audit  committees  generally  relied  on  assurances  from  program  management  areas  and/or  internal  audit  that  recommendations had been implemented and therefore no longer needed to be  monitored  by  the  audit  committee.  While  it  would  not  be  practical  to  undertake  detailed  assessments  of  implementation  of  all  recommendations,  there are benefits in agencies requiring senior management sign off prior to the  closure of ANAO recommendations in audit systems. In agencies where this  was a standard procedure, for example at Deputy Secretary level, the ANAO 

assessed  a  higher  number  of  recommendations  as  having  been  adequately  implemented, although this was also influenced by the relative complexity of  different recommendations. There would also be benefit in periodic internal  audit assessments of a sample of recommendations to provide strengthened  assurance to audit committees in relation to implementation. 

14. Other than DEEWR, none of the agencies included in this audit had  developed  structured  implementation  approaches  in  relation  to  implementation  of  ANAO  recommendations.  A  more  structured  approach  would support agencies to manage timeliness, completeness and adequacy of 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

12

 adequately implemented agreed ANAO recommendations. 

Overall conclusion 8. Performance  audits  play  an  important  role  in  improving  the  administration and management of public sector agencies. During the course  of  an  audit,  the  ANAO  establishes  a  relationship  with  agencies  to  provide  opportunities for discussion of the audit findings, conclusions and potential  recommendations. The benefit of this approach is that it ensures reports are  accurate, evidence‐based, and balanced. In this process, recommendations are  developed to make improvements that are directed towards the efficient and  effective  implementation  of  government  programs.  Once  agreed,  audit  recommendations  become  a  management  responsibility,  and  an  effective  system to implement recommendations will feature strong ownership within  the  agency  and  an  outcome  orientation,  which  promotes  timely  implementation and a focus on results. In this respect, the implementation of  audit recommendations is similar to an agency’s successful delivery of its other  responsibilities, relying heavily on agency leadership and the active support of  those charged with oversight and implementation. 

9. Overall, the four agencies included in the audit had developed systems  to  capture  ANAO  recommendations  and  to  monitor  and  report  on  implementation where these recommendations were made in audits directly  involving the agency. ANAO recommendations were clearly identified by the  agencies’  internal  audit  functions  and  brought  to  the  attention  of  audit  committees  on  a  regular  basis.  Reports  to  audit  committees  included  information on the recommendation, the current status of implementation and  the expected timeframe for completion, although in some cases, the status of  ANAO  recommendations  was  inaccurately  recorded  in  agency  monitoring  systems. 

10. While the systems in place generally provided visibility over reported  actions  for  audits  directly  involving  the  agencies,  three  of  the  four  audited  agencies’  monitoring  and  reporting  systems  did  not  feature  a  systematic  approach to the capture of recommendations made in broader cross‐agency  audits, which may have relevance to the agency’s operations. At the same time,  the ANAO observed that agencies had implemented a number of cross‐agency  recommendations which were not recorded in agency monitoring systems. 

11. Monitoring  and  reporting  are  important  activities,  but  do  not  necessarily  guarantee  the  timely  and  adequate  implementation  of 

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

13

recommendations.  The  ANAO  examined  all  ANAO  performance  audit  recommendations  marked  as  complete  in  agency  monitoring  systems  from  January 2009 to March 2013—a total of 216 recommendations. Approximately  half (56 per cent) of these recommendations had been implemented within a  year of the recommendations being made, and 74 per cent within 18 months. A  relatively small proportion (seven per cent) of ANAO recommendations had  taken 18 to 24 months to implement. For 19 per cent of the recommendations,  however, implementation was still in progress after two years and in one case  implementation had been ongoing for six years.  

12. Each agency, regardless of its size or the number of recommendations it  has  been  required  to  manage,  has  experienced  difficulties  with  full  implementation  of  recommendations.  The  ANAO  undertook  a  detailed  assessment of 48 recommendations, 14 of which were directed to individual  agencies  while  34  were  cross‐agency  audit  recommendations.  Overall,  69 per cent of recommendations were assessed as having been implemented  adequately,  while  10 per cent  were  assessed  as  not  being  adequately  implemented.  Approximately  21 per cent  of  the  recommendations  examined  were assessed as being partially implemented reflecting that actions had been  taken in agencies, but these actions did not fully address the recommendation. 

13. In  general,  limited  supporting  information  was  provided  to  the  respective agencies’ internal audit function or audit committee in support of  the  closure  of  recommendations.  Audit  committees  generally  relied  on  assurances  from  program  management  areas  and/or  internal  audit  that  recommendations had been implemented and therefore no longer needed to be  monitored  by  the  audit  committee.  While  it  would  not  be  practical  to  undertake  detailed  assessments  of  implementation  of  all  recommendations,  there are benefits in agencies requiring senior management sign off prior to the  closure of ANAO recommendations in audit systems. In agencies where this  was a standard procedure, for example at Deputy Secretary level, the ANAO  assessed  a  higher  number  of  recommendations  as  having  been  adequately  implemented, although this was also influenced by the relative complexity of  different recommendations. There would also be benefit in periodic internal  audit assessments of a sample of recommendations to provide strengthened  assurance to audit committees in relation to implementation. 

14. Other than DEEWR, none of the agencies included in this audit had  developed  structured  implementation  approaches  in  relation  to  implementation  of  ANAO  recommendations.  A  more  structured  approach  would support agencies to manage timeliness, completeness and adequacy of 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

14

implementation, and allow progress to be monitored and assessed. This would  also provide support for requests to senior management for sign‐off on final  implementation and closure. 

15. Effective  arrangements  for  the  implementation  of  audit  recommendations are an important part of realising the full benefit of an audit.  The  audit  recommendations  highlight  actions  that  are  expected  to  improve  agency  performance  when  implemented  and  assist  to  address  risks  to  an  agency’s delivery of its outcomes. In this context, ANAO performance audit  recommendations  are  important  opportunities,  that  have  generally  been  agreed to by agencies, to achieve long term benefits. The ANAO has made two  recommendations  to  support  improved  oversight  and  implementation  of  recommendations.  The  first  recommendation  relates  to  the  inclusion  of  all  relevant ANAO recommendations in agency internal monitoring systems. The  second recommendation is designed to assist agencies in the introduction of a  more  systematic  approach  to  better  manage  the  implementation  of  ANAO  recommendations. 

16. The  recommendations  are  based  on  findings  from  fieldwork  at  the  audited agencies, and are likely to be relevant to other agencies. Therefore, all  agencies  are  encouraged  to  assess  the  benefits  of  implementing  these  recommendations in light of their own circumstances. 

Key findings by chapter

Governance Arrangements (Chapter 2)

17. As  part  of  their  governance  arrangements,  each  of  the  four  audited  agencies had developed systems to capture external audit recommendations,  monitor  implementation  and  provide  support  to  audit  committees.  The  monitoring  systems  differed  amongst  agencies  and  this  also  influenced  the  style of reporting provided to the audit committees. Two agencies, DEEWR  and FaHCSIA have developed an electronic database that tracks progress and  records action taken in response to ANAO audit recommendations. The other  agencies, DoFD and DIT, employ a system based on spreadsheets and tables,  which are emailed to program areas for updating. While this latter approach  provides for direct communication with the relevant program managers, it can  limit  the  effectiveness  of  agency  oversight  and  make  it  difficult  to  track  continuity  of  actions  for  a  particular  recommendation  because  historical  information may be stored in discrete spreadsheets. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

14

implementation, and allow progress to be monitored and assessed. This would  also provide support for requests to senior management for sign‐off on final  implementation and closure. 

15. Effective  arrangements  for  the  implementation  of  audit  recommendations are an important part of realising the full benefit of an audit.  The  audit  recommendations  highlight  actions  that  are  expected  to  improve  agency  performance  when  implemented  and  assist  to  address  risks  to  an  agency’s delivery of its outcomes. In this context, ANAO performance audit  recommendations  are  important  opportunities,  that  have  generally  been  agreed to by agencies, to achieve long term benefits. The ANAO has made two  recommendations  to  support  improved  oversight  and  implementation  of  recommendations.  The  first  recommendation  relates  to  the  inclusion  of  all  relevant ANAO recommendations in agency internal monitoring systems. The  second recommendation is designed to assist agencies in the introduction of a  more  systematic  approach  to  better  manage  the  implementation  of  ANAO  recommendations. 

16. The  recommendations  are  based  on  findings  from  fieldwork  at  the  audited agencies, and are likely to be relevant to other agencies. Therefore, all  agencies  are  encouraged  to  assess  the  benefits  of  implementing  these  recommendations in light of their own circumstances. 

Key findings by chapter

Governance Arrangements (Chapter 2)

17. As  part  of  their  governance  arrangements,  each  of  the  four  audited  agencies had developed systems to capture external audit recommendations,  monitor  implementation  and  provide  support  to  audit  committees.  The  monitoring  systems  differed  amongst  agencies  and  this  also  influenced  the  style of reporting provided to the audit committees. Two agencies, DEEWR  and FaHCSIA have developed an electronic database that tracks progress and  records action taken in response to ANAO audit recommendations. The other  agencies, DoFD and DIT, employ a system based on spreadsheets and tables,  which are emailed to program areas for updating. While this latter approach  provides for direct communication with the relevant program managers, it can  limit  the  effectiveness  of  agency  oversight  and  make  it  difficult  to  track  continuity  of  actions  for  a  particular  recommendation  because  historical  information may be stored in discrete spreadsheets. 

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

15

18. The  ANAO  assessed  the  implementation  by  the  four  agencies  of  48 recommendations  made  in  seven  ANAO  audit  reports.  ANAO  analysis  shows  that  the  status  of  25  of  the  48  recommendations  was  not  accurately  recorded in agency systems. The four agencies subject to this audit have had  recommendations either marked as complete in their monitoring systems that  were  either  partially  implemented,  or  not  adequately  implemented  in  the  ANAO’s assessment. The analysis also shows that in some cases, applicable  recommendations  from  cross‐agency  audits  including  those  that  have  been  adequately implemented, were not being monitored in agency systems. 

19. Information  on  the  status  of  recommendations  and  their  completion  was in all cases provided to internal audit having first been cleared through  the  relevant  program  management  area  of  an  agency.  In  DEEWR,  ANAO  recommendations  are  considered  by  program  area  governance  committees,  which  are  chaired  at  the  Associate  or  Deputy  Secretary  level.  DEEWR  and  DoFD  both  require  finalised  status  reports  to  be  endorsed  at  the  Deputy  Secretary level, prior to consideration by the audit committee. In FaHCSIA and  DIT, updates are entered into monitoring and reporting systems having been  signed off at program manager (senior executive service) level. None of the  audited agencies’ audit committees required supporting documentation from  program  areas  to  support  the  closure  of  recommendations.  Most  of  the  recommendations (13 out of 15) that were assessed by the ANAO as partially  implemented  or  not  adequately  implemented,  had  been  either  marked  as  complete in the respective agency monitoring systems, or were not monitored  at all. This underlines the need for agencies to strengthen the controls over  implementation of ANAO recommendations to obtain sufficient assurance that  the risks initially identified by ANAO audits are appropriately controlled and  managed. 

20. The  most  significant  difference  in  the  governance  arrangements  observed  across  the  audited  agencies  was  in  the  approach  to  ANAO  cross‐agency  audits.  Cross‐agency  audits  offer  a  unique  perspective  on  government arrangements and processes, and recommendations are intended  to be useful for all agencies. Three of the four agencies, FaHCSIA, DoFD and  DIT,  did  not  have  a  systematic  way  of  capturing  the  recommendations  of  cross‐agency audits, although this did not necessarily mean that cross‐agency  recommendations  are  not  addressed  by  the  agencies.  For  example,  in  the  sample  of  recommendations  assessed  by  the  ANAO,  three  cross‐agency  recommendations have been adequately implemented in FaHCSIA  while in  DIT,  four  cross‐agency  recommendations  were  adequately  implemented. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

16

However, there is no record of whether the respective audit committees were  informed of the audit reports, their recommendations and the risks each was  intended to address. 

Implementation of ANAO Audit Recommendations (Chapter 3)

21. As noted in paragraph 18, the ANAO undertook detailed assessment of  48  recommendations,  of  which  14  were  directed  to  specific  agencies  and  34 were  cross‐agency  recommendations.  Agencies  had  demonstrably  taken  action  in  relation  to  57 per cent  (8  of  14)  of  direct  recommendations  and  74 per cent (25 of 34) of cross‐agency recommendations. While the ANAO has  assessed  these  actions  to  adequately  address  the  recommendations,  in  7 per cent (1 of 14) of direct recommendations and 12 per cent (4 of 34) of cross‐ agency recommendations, very limited action had been taken by agencies or  the action taken did not adequately address the recommendation. In a larger  number  of  cases,  36 per cent  (5  of  14)  of  direct  and  15 per cent  (5  of  34)  of  cross‐agency  recommendations  actions  by  agencies  had  generally  sought  to  address the recommendation but implementation was less than complete. 

22. Recommendations  vary  in  their  complexity,  and  the  time  taken  to  implement  ANAO  recommendations  is  expected  to  vary  across  and  within  agencies. However, if implementation is not progressed in a timely manner  and identified risks remain untreated, the full value of the audit is not being  achieved.  DEEWR  had  one  recommendation  that  had  been  outstanding  for  45 months and DIT had two (part) recommendations marked as ongoing in its  monitoring  system  for  six  years.  The  reasons  provided  by  the  relevant  program management areas for the length of time taken to implement these  recommendations do not set out a comprehensive explanation as to why this  was the case. It is important that internal audit and the audit committee keep  the  agency  chief  executive  informed  on  progress  with  implementing  recommendations that are complex, difficult or are overdue.  

23. Other than DEEWR, none of the agencies included in this audit had  developed  a  structured  approach  to  the  implementation  of  ANAO  recommendations, involving planned implementation dates, and the allocation  of responsibilities to guide the program management area and for reporting to  audit  committees.  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

16

However, there is no record of whether the respective audit committees were  informed of the audit reports, their recommendations and the risks each was  intended to address. 

Implementation of ANAO Audit Recommendations (Chapter 3)

21. As noted in paragraph 18, the ANAO undertook detailed assessment of  48  recommendations,  of  which  14  were  directed  to  specific  agencies  and  34 were  cross‐agency  recommendations.  Agencies  had  demonstrably  taken  action  in  relation  to  57 per cent  (8  of  14)  of  direct  recommendations  and  74 per cent (25 of 34) of cross‐agency recommendations. While the ANAO has  assessed  these  actions  to  adequately  address  the  recommendations,  in  7 per cent (1 of 14) of direct recommendations and 12 per cent (4 of 34) of cross‐ agency recommendations, very limited action had been taken by agencies or  the action taken did not adequately address the recommendation. In a larger  number  of  cases,  36 per cent  (5  of  14)  of  direct  and  15 per cent  (5  of  34)  of  cross‐agency  recommendations  actions  by  agencies  had  generally  sought  to  address the recommendation but implementation was less than complete. 

22. Recommendations  vary  in  their  complexity,  and  the  time  taken  to  implement  ANAO  recommendations  is  expected  to  vary  across  and  within  agencies. However, if implementation is not progressed in a timely manner  and identified risks remain untreated, the full value of the audit is not being  achieved.  DEEWR  had  one  recommendation  that  had  been  outstanding  for  45 months and DIT had two (part) recommendations marked as ongoing in its  monitoring  system  for  six  years.  The  reasons  provided  by  the  relevant  program management areas for the length of time taken to implement these  recommendations do not set out a comprehensive explanation as to why this  was the case. It is important that internal audit and the audit committee keep  the  agency  chief  executive  informed  on  progress  with  implementing  recommendations that are complex, difficult or are overdue.  

23. Other than DEEWR, none of the agencies included in this audit had  developed  a  structured  approach  to  the  implementation  of  ANAO  recommendations, involving planned implementation dates, and the allocation  of responsibilities to guide the program management area and for reporting to  audit  committees.  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at 

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

17

regular intervals. Implementation of recommendations by agencies would be  improved  by  a  broader  adoption  of  structured  implementation  approaches.  This would generally include identifying a clear process and timelines, clear  allocation  of  roles  and  responsibilities  at  each  stage  and  appropriate  senior  management sign‐off arrangements. 

Summary of agencies’ responses 24. The  proposed  audit  report  was  provided  to  the  Departments  of  Education,  Employment  and  Workplace  Relations;  Families,  Community  Services and Indigenous Affairs; Finance and Deregulation; and Infrastructure  and Transport. All agencies provided a formal response to the proposed report  and to the recommendations. The audited agencies’ summary responses to the  audit are provided below. The agencies’ responses to the recommendations are  contained in the body of the report following the relevant recommendation.  Formal responses from the agencies are included at Appendix 1. 

DEEWR

25. DEEWR  acknowledges  that  there  are  benefits  and  efficiencies  to  be  gained  across  the  department  in  leveraging  from  evidenced  based  recommendations and lessons learnt contained in ANAO performance audits.  DEEWR  has  made  decisions,  in  line  with  better  practice,  to  engage  the  Executive in monitoring audit recommendations to ensure the implementation  of audit recommendations is timely and there is cross cluster transparency of  these recommendations.  

26. It is pleasing to see after audit scrutiny, the ANAO has concluded that  overall, DEEWR’s governance arrangements for the implementation of ANAO  recommendations are effective and appropriately targeted. Furthermore, the  use of the Audit Recommendations dnet site (ARds) was considered by the  ANAO  as  an  appropriate  initiative  to  gain  efficiencies  in  managing  the  implementation of ANAO performance audit recommendations. The ANAO  also  highlighted  that  DEEWR  had  developed  a  structured  approach  to  the  implementation  of  ANAO  recommendations,  involving  planned  implementation  dates,  and  the  allocation  of  responsibilities  to  guide  the  program management area and for reporting to audit committees. 

FaHCSIA

27. FaHCSIA agrees with the two recommendations in the report. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

18

DoFD

28. The  Department  of  Finance  and  Deregulation  agrees  with  both  recommendations. 

DIT

29. The Department of Infrastructure and Transport (DIT) welcomes the  assurance  provided  by  the  ANAO  that  in  relation  to  the  governance  arrangements  over  the  implementation  of  ANAO  performance  audit  recommendations, the underlying processes employed by DIT are sound. DIT  acknowledges  a  higher  level  of  support  could  be  provided  to  the  Audit  Committee with some improvement in process and documentation. DIT agrees  to both recommendations. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

18

DoFD

28. The  Department  of  Finance  and  Deregulation  agrees  with  both  recommendations. 

DIT

29. The Department of Infrastructure and Transport (DIT) welcomes the  assurance  provided  by  the  ANAO  that  in  relation  to  the  governance  arrangements  over  the  implementation  of  ANAO  performance  audit  recommendations, the underlying processes employed by DIT are sound. DIT  acknowledges  a  higher  level  of  support  could  be  provided  to  the  Audit  Committee with some improvement in process and documentation. DIT agrees  to both recommendations. 

Summary

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

19

Recommendations

The recommendations are based on findings from fieldwork at the audited agencies, and  are likely to be relevant to other agencies. Therefore, all agencies are encouraged to  assess  the  benefits  of  implementing  these  recommendations  in  light  of  their  own  circumstances, including the extent to which each recommendation, or part thereof, is  addressed by practices already in place. 

Recommendation No.1

Paragraph 2.47

To  better  support  the  application  of  relevant  recommendations, the ANAO recommends that agencies  establish, or review existing procedures for assessing the  relevance  of  recommendations  from  ANAO  cross‐ agency audits, and subsequent monitoring. 

DEEWR’s Response: Noted. 

FaHCSIA’s Response: Agreed. 

DoFD’s Response: Agreed. 

DIT’s Response: Agreed. 

Recommendation No.2

Paragraph 3.30

In order to support timely and complete implementation  of  ANAO  performance  audit  recommendations,  the  ANAO  recommends  that  agencies  establish,  or  strengthen  implementation  approaches,  including  documenting intended actions, timelines and setting out  clear responsibilities for the outcome. 

DEEWR’s Response: Agreed. 

FaHCSIA’s Response: Agreed. 

DoFD’s Response: Agreed. 

DIT’s Response: Agreed. 

 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

21

Audit Findings

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

22

1. Introduction

This chapter summarises the role of program management areas, audit committees and  internal audit in relation to implementing and monitoring ANAO performance audit  recommendations. It sets out the ANAO audits that were selected for follow‐up of  recommendations, as well as the audit objective, scope and criteria. 

ANAO performance audits 1.1 The  Australian  National  Audit  Office’s  (ANAO)  performance  audits  are  an  independent  and  objective  assessment  of  agency  programs,  policies  and/or systems designed to inform the Parliament, and to provide a stimulus  for  improved  public  sector  performance  and  accountability.  A  performance  audit can be undertaken in a single agency or as a cross‐agency audit involving  multiple agencies and a commonly performed function, or where more than  one agency is involved in program delivery. Performance audits typically give  consideration to the efficiency and effectiveness of agency administration and  consistency with legislative and policy settings. 

1.2 In  its  performance  audits,  the  ANAO  identifies  areas  where  administrative improvements can be made and, in most cases, makes specific  recommendations to assist agencies improve their performance and to address  risks to the delivery of outcomes. Audit reports may also encourage the agency  to  address  opportunities  for  improvement  even  though  the  issue  may  not  warrant  a  recommendation.  Recommendations  made  in  cross‐agency  audits  are often applicable to other agencies not subject to the specific audit. In those  situations, while other agencies do not explicitly agree to implement relevant  recommendations,  there  is  an  expectation  that  these  agencies  consider  the  recommendations and implement them as appropriate. 

Agencies’ implementation of recommendations 1.3 Evaluation,  review  and  audit  activities  enable  an  organisation  to  identify  strengths,  learn  lessons,  and  maintain  and  improve  its  capacity  to  serve government and the community over time. Such review activities may be  internally or externally driven. In both cases, a key area of focus is to assess the  impact  and  effectiveness  of  programs,  so  as  to  contribute  to  improved  accountability  for  results.  Implementation  of  the  recommendations  from  evaluation and audit review activity can assist chief executives in promoting 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

22

1. Introduction

This chapter summarises the role of program management areas, audit committees and  internal audit in relation to implementing and monitoring ANAO performance audit  recommendations. It sets out the ANAO audits that were selected for follow‐up of  recommendations, as well as the audit objective, scope and criteria. 

ANAO performance audits 1.1 The  Australian  National  Audit  Office’s  (ANAO)  performance  audits  are  an  independent  and  objective  assessment  of  agency  programs,  policies  and/or systems designed to inform the Parliament, and to provide a stimulus  for  improved  public  sector  performance  and  accountability.  A  performance  audit can be undertaken in a single agency or as a cross‐agency audit involving  multiple agencies and a commonly performed function, or where more than  one agency is involved in program delivery. Performance audits typically give  consideration to the efficiency and effectiveness of agency administration and  consistency with legislative and policy settings. 

1.2 In  its  performance  audits,  the  ANAO  identifies  areas  where  administrative improvements can be made and, in most cases, makes specific  recommendations to assist agencies improve their performance and to address  risks to the delivery of outcomes. Audit reports may also encourage the agency  to  address  opportunities  for  improvement  even  though  the  issue  may  not  warrant  a  recommendation.  Recommendations  made  in  cross‐agency  audits  are often applicable to other agencies not subject to the specific audit. In those  situations, while other agencies do not explicitly agree to implement relevant  recommendations,  there  is  an  expectation  that  these  agencies  consider  the  recommendations and implement them as appropriate. 

Agencies’ implementation of recommendations 1.3 Evaluation,  review  and  audit  activities  enable  an  organisation  to  identify  strengths,  learn  lessons,  and  maintain  and  improve  its  capacity  to  serve government and the community over time. Such review activities may be  internally or externally driven. In both cases, a key area of focus is to assess the  impact  and  effectiveness  of  programs,  so  as  to  contribute  to  improved  accountability  for  results.  Implementation  of  the  recommendations  from  evaluation and audit review activity can assist chief executives in promoting 

Introduction

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

23

efficient  and  effective  program  management,  and  in  adopting  continuous  improvement approaches. 

1.4 Once an agency has agreed to implement a recommendation, timely  implementation in line with the intended outcome of the recommendation is  important in achieving the full benefit of the recommendation. Implementation  of  recommendations  should  be  treated  by  agencies  in  the  same  way  as  implementation  of  other  program  and  business  improvement  initiatives.  Responsibility for implementing recommendations should be clearly assigned  to  the  relevant  business  or  program  management  area  of  an  agency.  Governance and oversight of agency responses to audit recommendations will  generally  involve  an  agency’s  audit  committee,  supported  by  the  agency’s  internal audit function. 

1.5 Under  section  46  of  the  Financial  Management  and  Accountability  Act  1997  (FMA)  and  sections  32  and  44  of  the  Commonwealth  Authorities  and  Companies Act 1997 (CAC) the chief executive or directors of an entity must  establish  and  maintain  an  audit  committee.  The  functions  of  an  audit  committee  include  providing  a  forum  for  communication  between  senior  managers and the internal and external auditors of the entity.5 

1.6 Internal  audit  is  an  integral  part  of  the  corporate  governance  framework  that  agencies  establish  to  manage  their  risks  and  achieve  their  objectives.  Internal  audit  provides  a  service  to  management,  through  the  conduct of an internal audit program and consultation with external audit. 

1.7 A  key  role  of  internal  audit  is  to  support  the  audit  committee  by  monitoring  and  providing  advice  on  the  implementation  of  audit  recommendations. When an agency is not the direct subject of an ANAO audit,  such as in some cross‐agency audits, internal audit has a role in engaging with  the appropriate program management area to share applicable key messages  from the audit, following publication of the report. When it is relevant for a  program management area to implement recommendations from such audits,  internal audit should include these in the monitoring process. 

1.8 The specificity of ANAO recommendations may vary, depending on  the issues identified in an audit. Specific recommendations propose particular 

                                                       5 In addition, FMA Regulation 22C sets out the functions of audit committees. They include: advising the chief executive about the audit plans of the agency; coordinating work programs relating to internal and external audits; reviewing the

adequacy of the agency’s response to audit reports; and reviewing the content of audit reports with a view to advising the chief executive on good practice, significant matters of concern and opportunities for improvement.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

24

action for the agency to undertake, while broad recommendations generally  provide  greater  flexibility  in  addressing  the  issue  for  improvement.  ANAO  performance  audit  recommendations  generally  have  an  outcome  focus.  The  action  management  takes  should  accord  with  the  responses  and  any  timeframes  documented  in  the  audit  reports  that  have  been  agreed  by  the  entity and reviewed by the audit committee. 

Audit objective, scope and criteria

Audit objective

1.9 The objective of the audit was to assess the effectiveness of agencies’  governance  arrangements  for  monitoring  and  implementing  agreed  ANAO  performance audit recommendations. 

Audit scope

1.10 The agencies included in the audit were all subject to the FMA Act and  included the Department of Education, Employment and Workplace Relations  (DEEWR);  the  Department  of  Families,  Housing,  Community  Services  and  Indigenous Affairs (FaHCSIA); the Department of Finance and Deregulation  (DoFD); and the Department of Infrastructure and Transport (DIT).6 

1.11 The  ANAO  examined  the  agencies’  implementation  of  applicable  recommendations made in the following reports: 

 ANAO  Audit  Report  No.20  2008-09,  Approval  of  Funding  for  Public  Works, tabled in February 2009; 

 ANAO Audit Report No.31 2009-10, Management of the AusLink Roads to  Recovery Program, tabled in April 2010; 

 ANAO Audit Report No.11 2010-11, Direct Source Procurement, tabled  in September 2010; 

 ANAO Audit Report No.25 2010‐11, Administration of the Trade Training  Centres in Schools Program, tabled in February 2011; 

                                                       6 The Department of Infrastructure and Transport (DIT) was included in the audit at the request of the Joint Committee of Public Accounts and Audit (JCPAA). In May 2012, the JCPAA conducted a review of ANAO reports. The Committee

report (Report 430, Review of Auditor-General’s Reports Nos. 47 (2010-11) to 9 (2011-12) and Reports Nos. 10 to 23 (2011-12), Canberra, May 2012 p.xviii) recommended that the ANAO include DIT in the performance audit ‘Agencies’ Implementation of ANAO Audit Recommendations.’

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

24

action for the agency to undertake, while broad recommendations generally  provide  greater  flexibility  in  addressing  the  issue  for  improvement.  ANAO  performance  audit  recommendations  generally  have  an  outcome  focus.  The  action  management  takes  should  accord  with  the  responses  and  any  timeframes  documented  in  the  audit  reports  that  have  been  agreed  by  the  entity and reviewed by the audit committee. 

Audit objective, scope and criteria

Audit objective

1.9 The objective of the audit was to assess the effectiveness of agencies’  governance  arrangements  for  monitoring  and  implementing  agreed  ANAO  performance audit recommendations. 

Audit scope

1.10 The agencies included in the audit were all subject to the FMA Act and  included the Department of Education, Employment and Workplace Relations  (DEEWR);  the  Department  of  Families,  Housing,  Community  Services  and  Indigenous Affairs (FaHCSIA); the Department of Finance and Deregulation  (DoFD); and the Department of Infrastructure and Transport (DIT).6 

1.11 The  ANAO  examined  the  agencies’  implementation  of  applicable  recommendations made in the following reports: 

 ANAO  Audit  Report  No.20  2008-09,  Approval  of  Funding  for  Public  Works, tabled in February 2009; 

 ANAO Audit Report No.31 2009-10, Management of the AusLink Roads to  Recovery Program, tabled in April 2010; 

 ANAO Audit Report No.11 2010-11, Direct Source Procurement, tabled  in September 2010; 

 ANAO Audit Report No.25 2010‐11, Administration of the Trade Training  Centres in Schools Program, tabled in February 2011; 

                                                       6 The Department of Infrastructure and Transport (DIT) was included in the audit at the request of the Joint Committee of Public Accounts and Audit (JCPAA). In May 2012, the JCPAA conducted a review of ANAO reports. The Committee

report (Report 430, Review of Auditor-General’s Reports Nos. 47 (2010-11) to 9 (2011-12) and Reports Nos. 10 to 23 (2011-12), Canberra, May 2012 p.xviii) recommended that the ANAO include DIT in the performance audit ‘Agencies’ Implementation of ANAO Audit Recommendations.’

Introduction

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

25

 ANAO  Audit  Report  No.30  2010-11,  The  Digital  Education  Revolution  Program  -  National  Secondary  Schools  Computer  Fund,  tabled  in  February 2011; 

 ANAO  Audit  Report  No.33  2010-11,  The  Protection  and  Security  of  Electronic Information Held by Australian Government Agencies, tabled in  March 2011; and 

 ANAO  Audit  Report  No.38  2010-11,  Management  of  the  Certificate  of  Compliance Process in FMA Act Agencies, tabled in April 2011. 

Audit criteria

1.12 To reach a conclusion against the audit objective, the ANAO assessed  whether the selected agencies had: 

 effective governance systems in place to monitor ANAO performance  audit  reports  and  provide  oversight  of  implementation  of  relevant  recommendations; 

 reporting  arrangements  that  were  accurate  and  timely,  with  appropriate intervention mechanisms if required; and 

 adequately implemented agreed ANAO recommendations. 

1.13 The  audit  was  conducted  in  accordance  with  ANAO  auditing  standards at a cost to the ANAO of $494 814. 

Report structure 1.14 The structure of the report is outlined in Table 1.1. 

Table 1.1

Report structure

Chapter Chapter overview

2. Governance Arrangements to Monitor Audit Recommendations

Considers agencies’ internal governance arrangements for monitoring the implementation of performance audit recommendations.

3. Implementation of Performance Audit Recommendations

Examines a selection of ANAO recommendations and assesses the implementation of these recommendations by the four agencies.

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

26

2. Governance Arrangements to Monitor Audit Recommendations

This chapter considers agencies’ internal governance arrangements for monitoring the  implementation of performance audit recommendations. 

Introduction 2.1 Governance refers broadly to the processes by which organisations are  directed, controlled and held to account.7 In relation to implementing audit  recommendations  the  main  elements  of  governance  are  the  oversight  and  review of agency responses to external audits by an agency’s audit committee  and  monitoring  and  reporting  by  an  agency’s  internal  audit  function.  The  oversight provided through these two arrangements can assist an agency in  managing delivery risks, where these have been identified through ANAO’s  audits, and to hold agency management accountable for the appropriateness of  management responses to external audit. 

2.2 For these governance arrangements to be effective, agencies need to put  in  place  effective  systems  for  identifying  relevant  recommendations  and  tracking  associated  implementation.  Agencies  also  need  to  ensure  that  the  program management areas responsible for implementing recommendations  provide  timely  and  accurate  information  on  implementation  approaches,  status and achievements so that the agency’s audit committee can effectively  fulfil its oversight role. 

Audit committees and internal audit 2.3 The important role audit committees play in the governance framework  of  public  sector  entities  flows  from  the  legislative  base  established  by  government.8 Audit committees do not displace or change the management  accountability  arrangements  within  entities,  but  enhance  the  existing  governance framework, risk management practices, and control environment,  by providing independent assurance and advice on key elements of an entity’s 

                                                       7 ANAO Better Practice Guide—Public Sector Governance: Framework, Processes and Practices, July 2003, Canberra, p. 6. 8

Section 46 of the Financial Management and Accountability Act 1997 provides that (1). A chief executive must establish and maintain an audit committee.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

26

2. Governance Arrangements to Monitor Audit Recommendations

This chapter considers agencies’ internal governance arrangements for monitoring the  implementation of performance audit recommendations. 

Introduction 2.1 Governance refers broadly to the processes by which organisations are  directed, controlled and held to account.7 In relation to implementing audit  recommendations  the  main  elements  of  governance  are  the  oversight  and  review of agency responses to external audits by an agency’s audit committee  and  monitoring  and  reporting  by  an  agency’s  internal  audit  function.  The  oversight provided through these two arrangements can assist an agency in  managing delivery risks, where these have been identified through ANAO’s  audits, and to hold agency management accountable for the appropriateness of  management responses to external audit. 

2.2 For these governance arrangements to be effective, agencies need to put  in  place  effective  systems  for  identifying  relevant  recommendations  and  tracking  associated  implementation.  Agencies  also  need  to  ensure  that  the  program management areas responsible for implementing recommendations  provide  timely  and  accurate  information  on  implementation  approaches,  status and achievements so that the agency’s audit committee can effectively  fulfil its oversight role. 

Audit committees and internal audit 2.3 The important role audit committees play in the governance framework  of  public  sector  entities  flows  from  the  legislative  base  established  by  government.8 Audit committees do not displace or change the management  accountability  arrangements  within  entities,  but  enhance  the  existing  governance framework, risk management practices, and control environment,  by providing independent assurance and advice on key elements of an entity’s 

                                                       7 ANAO Better Practice Guide—Public Sector Governance: Framework, Processes and Practices, July 2003, Canberra, p. 6. 8

Section 46 of the Financial Management and Accountability Act 1997 provides that (1). A chief executive must establish and maintain an audit committee.

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

27

operations.9 The precise role each agency audit committee undertakes should  be determined by the chief executive in consultation with the audit committee,  within the context of each entity’s governance framework and other assurance  mechanisms.  

2.4 As noted in paragraph 1.10, the focus of this audit was on four agencies  subject  to  the  FMA  Act  and  their  arrangements  for  the  monitoring  and  implementation of agreed ANAO performance audit recommendations. FMA  Regulations specifically provide for the audit committee to review the content  of reports of internal and external audit, to assess the adequacy of management  responses and for the purpose of identifying material that is relevant to the  agency, and advising the chief executive about good practices. Internal audit  supports the audit committee in meeting these responsibilities and carrying  out  its  functions10  through  among  other  things,  monitoring  and  providing  advice on the implementation of audit recommendations.11 

Program manager responsibilities 2.5 During  the  final  stages  of  an  ANAO  audit,  recommendations  are  discussed with the program management area that was subject to audit. When  audit recommendations are agreed by the department, this signifies that all  parties are satisfied with the content of the report and that the program area  agrees,  where  applicable,  to  implement  the  recommendations.  The  implementation of ANAO recommendations then becomes the responsibility  of program managers and the action management takes should accord with  the  formal  responses  provided  by  agencies  and  documented  in  the  audit  reports.  Approval  of  proposed  actions  in  relation  to  the  implementation  of  recommendations should be through the established lines of responsibility and  accountability  found  in  normal  departmental  reporting  structures.  In  this  context, progress reports through routine departmental structures are likely to  be more frequent than reports to the audit committee, which tend to meet on a  less frequent basis.  

                                                       9 ANAO Better Practice Guide Public Sector Audit Committees, 2011, Part 1. 10

ibid., p. 12.

11 For further information on better practice for internal audit and audit committees, see the following ANAO Better Practice Guides: Public Sector Internal Audit: An Investment in Assurance and Business Improvement, September 2012; and Public Sector Audit Committees: Independent assurance and advice for Chief Executives and Boards,

August 2011.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

28

Consultation with internal audit

2.6 As  discussed  above,  there  is  an  active  role  for  internal  audit  in  maintaining an appropriate process for monitoring the status of agreed audit  recommendations.  On  occasions  where  internal  audit  is  not  satisfied  with  progress in implementing a recommendation, the matter should be escalated to  senior  program  management  in  the  first  instance,  and  if  not  effectively  resolved, reported to the audit committee. 

2.7 When an agency is not the direct subject of an audit, such as in some  cross‐agency  audits,  internal  audit  also  has  a  role  in  engaging  with  the  appropriate program area to share applicable key messages from the audit,  following publication of the report. When it is relevant for a program area to  implement recommendations from such audits, internal audit should include  these in the monitoring process. 

Differences in agency size and approach

2.8 ANAO  performance  audits  involve  the  independent  and  objective  assessment  of  the  administration  of  agency  programs.  The  number  of  performance audits that are conducted in any given agency is a function of  agency size, the number of programs it is responsible for, and an assessment of  risk. As a result, the number of performance audit recommendations extant at  a  point  in  time  is  subject  to  a  wide  range  of  variables.  Governance  arrangements for monitoring the implementation of ANAO recommendations  will therefore vary depending on an entity’s size, complexity and nature, and  the number of recommendations that are agreed. A measure of the relative  sizes of the agencies included in this audit is shown in Table 2.1. 

Table 2.1

Number of employees by agency at 30 June 2012

DEEWR FaHCSIA DoFD DIT

Number of employees1 4 199 3 167 2 023 1 019

Source: ANAO from departmental Annual Reports.

Note 1: Figures in the table represent a head count of total staff, (including ongoing and non-ongoing employees, and those engaged on a full time and part time basis) at 30 June 2012.

Systems for monitoring recommendations 2.9 Agency  systems  for  monitoring  ANAO  audit  recommendations  generally  involve  a  process  managed  by  internal  audit,  where  details  of  recommendations  are  entered  into  databases  and  responsibilities  for 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

28

Consultation with internal audit

2.6 As  discussed  above,  there  is  an  active  role  for  internal  audit  in  maintaining an appropriate process for monitoring the status of agreed audit  recommendations.  On  occasions  where  internal  audit  is  not  satisfied  with  progress in implementing a recommendation, the matter should be escalated to  senior  program  management  in  the  first  instance,  and  if  not  effectively  resolved, reported to the audit committee. 

2.7 When an agency is not the direct subject of an audit, such as in some  cross‐agency  audits,  internal  audit  also  has  a  role  in  engaging  with  the  appropriate program area to share applicable key messages from the audit,  following publication of the report. When it is relevant for a program area to  implement recommendations from such audits, internal audit should include  these in the monitoring process. 

Differences in agency size and approach

2.8 ANAO  performance  audits  involve  the  independent  and  objective  assessment  of  the  administration  of  agency  programs.  The  number  of  performance audits that are conducted in any given agency is a function of  agency size, the number of programs it is responsible for, and an assessment of  risk. As a result, the number of performance audit recommendations extant at  a  point  in  time  is  subject  to  a  wide  range  of  variables.  Governance  arrangements for monitoring the implementation of ANAO recommendations  will therefore vary depending on an entity’s size, complexity and nature, and  the number of recommendations that are agreed. A measure of the relative  sizes of the agencies included in this audit is shown in Table 2.1. 

Table 2.1

Number of employees by agency at 30 June 2012

DEEWR FaHCSIA DoFD DIT

Number of employees1 4 199 3 167 2 023 1 019

Source: ANAO from departmental Annual Reports.

Note 1: Figures in the table represent a head count of total staff, (including ongoing and non-ongoing employees, and those engaged on a full time and part time basis) at 30 June 2012.

Systems for monitoring recommendations 2.9 Agency  systems  for  monitoring  ANAO  audit  recommendations  generally  involve  a  process  managed  by  internal  audit,  where  details  of  recommendations  are  entered  into  databases  and  responsibilities  for 

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

29

implementation  are  assigned.  Records  are  periodically  updated  from  information  supplied  by  the  responsible  program  management  areas  for  reporting to, and consideration by, the audit committee. The approaches of  each of the agencies are shown in Table 2.2. 

Table 2.2

Agency systems for monitoring the implementation of ANAO recommendations

DEEWR FaHCSIA DoFD DIT

System for tracking recommendations SharePoint

1

application with ongoing updates from program areas

SharePoint1 application with six monthly updates from program areas

Electronic spreadsheets Electronic tables

Presentation of recommendation information to the audit committee

Tables with ‘traffic lights’ 2

extracted from SharePoint

Tables with ‘traffic lights’2 extracted from SharePoint

Table presentation Table with ‘traffic

lights’2

Source: ANAO from departmental records.

Note 1: Microsoft SharePoint is a web-based application used for intranet content and document management.

Note 2: ‘Traffic light’ indicators are used in status reports to summarise progress with implementation.

2.10 The summary in Table 2.2 shows that all agencies have developed a  system  to  capture  external  audit  recommendations,  and  monitor  their  implementation. The monitoring systems differ amongst agencies and this also  influences  the  style  of  reporting  provided  to  the  audit  committees.  Two  agencies  have  developed  an  electronic  database  that  tracks  progress  and  records  action  taken  in  response  to  ANAO  audit  recommendations.  Other  agencies employ a system based on spreadsheets and tables, which are emailed  to program management areas for update. While this approach provides for  direct  communication  with the relevant program managers, it can  limit the  effectiveness of agency oversight and make it difficult to track continuity of  actions for a particular recommendation because historical information may be  stored in discrete spreadsheets. Manual system processes and controls need to  recognise and address the inherent risks of emailing important documents for  updating throughout a widely dispersed organisation, noting that reports to  the audit committee drawn from the updates, form an important part of an  agency meeting its accountability obligations.  

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

30

Information provided to audit committees 2.11 To  assist  audit  committees  in  assessing  the  appropriateness  and  timeliness  of  actions  taken  in  response  to  recommendations,  reporting  by  program  management  areas  to  internal  audit  should  include  the  necessary  information  and  be  an  accurate  representation  of  implementation  status  in  program management areas.  

2.12 Program management areas in the four agencies generally responded  to  the  respective  internal  audit  areas  with  clear  actions  against  the  recommendations  in  order  that  a  preliminary  assessment  on  the  appropriateness  of  proposed  actions  could  be  made.  Senior  management  sign‐off  for  the  closure  of  recommendations  was  required  in  two  agencies,  however  following  up  on  the  implementation  status  provided  by  program  management  areas  was  not  emphasised  in  all  cases.  A  summary  of  the  different approaches employed by agencies is at Table 2.3. 

Table 2.3

Level of authority required for closure of recommendations

Agency Level of authority

DEEWR Associate and Deputy Secretaries

FaHCSIA

Closure must be agreed by Chief Internal Auditor or the Audit Committee depending on level of risk.1

DoFD Deputy Secretary

DIT Program Manager (Senior Executive Service Band 1 or 2)

Source: ANAO.

Note 1: FaHCSIA internal audit guidance indicates that a copy of the finalised traffic light report is sent to relevant Group Managers a week prior to the audit committee meeting. FaHCSIA risk ratings are discussed in more detail at paragraph 2.15 below.

2.13 Generally,  updates  were  included  into  monitoring  and  reporting  systems,  having  been  cleared  through  the  program  management  area  and  extracted for the audit committee as required. None of the audited agencies  audit  committees  required  supporting  documentation  from  program  management  areas  to  support  the  closure  of  recommendations.  In  DEEWR,  ANAO  recommendations  are  considered  by  program  management  area  governance  committees,  which  are  chaired  at  the  Associate  or  Deputy  Secretary level. DEEWR and DoFD both require finalised status reports to be  endorsed by (at least) the Deputy Secretary level, prior to consideration by the  audit committee. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

30

Information provided to audit committees 2.11 To  assist  audit  committees  in  assessing  the  appropriateness  and  timeliness  of  actions  taken  in  response  to  recommendations,  reporting  by  program  management  areas  to  internal  audit  should  include  the  necessary  information  and  be  an  accurate  representation  of  implementation  status  in  program management areas.  

2.12 Program management areas in the four agencies generally responded  to  the  respective  internal  audit  areas  with  clear  actions  against  the  recommendations  in  order  that  a  preliminary  assessment  on  the  appropriateness  of  proposed  actions  could  be  made.  Senior  management  sign‐off  for  the  closure  of  recommendations  was  required  in  two  agencies,  however  following  up  on  the  implementation  status  provided  by  program  management  areas  was  not  emphasised  in  all  cases.  A  summary  of  the  different approaches employed by agencies is at Table 2.3. 

Table 2.3

Level of authority required for closure of recommendations

Agency Level of authority

DEEWR Associate and Deputy Secretaries

FaHCSIA

Closure must be agreed by Chief Internal Auditor or the Audit Committee depending on level of risk.1

DoFD Deputy Secretary

DIT Program Manager (Senior Executive Service Band 1 or 2)

Source: ANAO.

Note 1: FaHCSIA internal audit guidance indicates that a copy of the finalised traffic light report is sent to relevant Group Managers a week prior to the audit committee meeting. FaHCSIA risk ratings are discussed in more detail at paragraph 2.15 below.

2.13 Generally,  updates  were  included  into  monitoring  and  reporting  systems,  having  been  cleared  through  the  program  management  area  and  extracted for the audit committee as required. None of the audited agencies 

audit  committees  required  supporting  documentation  from  program  management  areas  to  support  the  closure  of  recommendations.  In  DEEWR,  ANAO  recommendations  are  considered  by  program  management  area  governance  committees,  which  are  chaired  at  the  Associate  or  Deputy  Secretary level. DEEWR and DoFD both require finalised status reports to be  endorsed by (at least) the Deputy Secretary level, prior to consideration by the  audit committee. 

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

31

2.14 There were a number of instances where the process for the closure of  ANAO recommendations set out in Table 2.3 was not followed. In some cases  the  recommendations  were  not  being  monitored  in  agency  systems,  which  indicates that internal audit was not well placed to advise audit committees of  the extent of implementation. This is discussed in more detail at paragraph  2.16.  However,  there  were  other  examples  in  the  sample  of  ANAO  recommendations, where the available record in all four agencies suggests that  program managers at branch manager or group manager level were signing off  implementation  of  ANAO  recommendations,  rather  than  as  indicated  in   Table 2.3. 

2.15 Only one of the agencies (FaHCSIA) assigned a differential risk rating  to the implementation of ANAO recommendations. For example, in FaHCSIA,  when  entering  recommendations  into  its  monitoring  system,  internal  audit  allocates  a  risk  rating  in  consultation  with  the  program  area.  Most  ANAO  recommendations are allocated a medium risk rating which generally means  FaHCSIA’s  program  area  has  18  months  to  complete  the  implementation  before its status will be brought to the attention of the audit committee. Where  audit recommendations are assigned a high risk rating, 12 months is allowed  for implementation before an extension is required. None of the other agencies  consistently  allocated  timeframes  for  the  implementation  of  ANAO  recommendations. This is discussed further in Chapter 3. 

Status of ANAO recommendations in agency systems

2.16 The  ANAO  assessed  the  implementation  by  the  four  agencies  of  48  recommendations  made  in  seven  ANAO  audit  reports.  ANAO  analysis  (at  Table 2.4 below) shows that the status of 25 of the 48 recommendations was  not accurately recorded in agency systems. The four agencies subject to this  audit  have  had  recommendations  either  marked  as  complete  in  their  monitoring systems that were either partially implemented, or not adequately  implemented in the ANAO’s assessment. The analysis also shows that in some  cases, applicable recommendations from cross‐agency audits including those  that have been adequately implemented, were not being monitored in agency  systems. 

2.17 Agencies  are  required  to  make  judgements  about  how  to  address  recommendations,  especially  when  circumstances  change  and  the  recommendations  may  no  longer  be  appropriate  or  are  overtaken  by  other  events.  In  some  cases,  recommendations  are  ongoing  in  nature  and  can  influence the point at which closure is recorded. For example, recommendation 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

32

four  from  ANAO  Audit  Report  No.11  2010-11  Direct  Source  Procurement  requires  agencies  to  regularly  analyse  their  procurement  activities.  Each  agency has marked this recommendation as complete in the monitoring system  although the intent of the recommendation is for analysis at periodic intervals.  This is an example of a recommendation designed to achieve an outcome over  the longer term. Full implementation of the recommendation requires agencies  to demonstrate adequate changes to processes and/or systems. DEEWR has  advised  that  it  established  processes  to  ensure  procurement  activities  are  regularly  analysed  and  on  that  basis,  removed  the  recommendation  from  further monitoring.  

Table 2.4

Status of ANAO recommendations

Agency DEEWR FaHCSIA DoFD DIT Total

Partially implemented recommendations recorded as complete in agency systems 1 1 1 3 6

Not adequately implemented recommendations recorded as complete in agency systems 1 - 1 1 3

Adequately implemented recommendations not monitored in agency systems 2 2 1 7 12

Partially implemented recommendations not monitored in agency systems - 2 - - 2

Not adequately implemented recommendations not monitored in agency systems - 1 - 1 2

Total 4 6 3 12 25

Source: ANAO.

2.18 Table  2.4  also  shows  that  all  agencies  had  adequately  implemented  ANAO recommendations which were not recorded in the respective agency  monitoring systems. As a result, there is no record of whether the respective  audit committees were informed of the audit reports, their recommendations  and the risks each were intended to address.  

2.19 The analysis above suggests there is a need for agencies to strengthen  the controls over implementation of ANAO recommendations. The existence  of recommendations that were only partially complete, or recommendations 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

32

four  from  ANAO  Audit  Report  No.11  2010-11  Direct  Source  Procurement  requires  agencies  to  regularly  analyse  their  procurement  activities.  Each  agency has marked this recommendation as complete in the monitoring system  although the intent of the recommendation is for analysis at periodic intervals.  This is an example of a recommendation designed to achieve an outcome over  the longer term. Full implementation of the recommendation requires agencies  to demonstrate adequate changes to processes and/or systems. DEEWR has  advised  that  it  established  processes  to  ensure  procurement  activities  are  regularly  analysed  and  on  that  basis,  removed  the  recommendation  from  further monitoring.  

Table 2.4

Status of ANAO recommendations

Agency DEEWR FaHCSIA DoFD DIT Total

Partially implemented recommendations recorded as complete in agency systems 1 1 1 3 6

Not adequately implemented recommendations recorded as complete in agency systems 1 - 1 1 3

Adequately implemented recommendations not monitored in agency systems 2 2 1 7 12

Partially implemented recommendations not monitored in agency systems - 2 - - 2

Not adequately implemented recommendations not monitored in agency systems - 1 - 1 2

Total 4 6 3 12 25

Source: ANAO.

2.18 Table  2.4  also  shows  that  all  agencies  had  adequately  implemented  ANAO recommendations which were not recorded in the respective agency  monitoring systems. As a result, there is no record of whether the respective  audit committees were informed of the audit reports, their recommendations  and the risks each were intended to address.  

2.19 The analysis above suggests there is a need for agencies to strengthen  the controls over implementation of ANAO recommendations. The existence  of recommendations that were only partially complete, or recommendations 

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

33

that are being implemented but not monitored, and are not visible to internal  audit and the audit committee, underline the need for agencies to strengthen  the  controls  over  implementation  of  ANAO  recommendations  to  obtain  sufficient  assurance  that  the  risks  initially  identified  by  ANAO  audits  are  appropriately controlled and managed. 

Monitoring systems by agency

DEEWR

2.20 DEEWR’s Internal Audit Group (IAG) employs a database application,  the Audit Recommendation dnet12 site (ARds) to monitor internal and external  audit recommendations and other parliamentary reports.  

2.21 Recommendations from ANAO audits specific to DEEWR are initially  included  in  ARds  for  monitoring  when  the  audit  report  is  tabled.  The  department  advised  its  practice  is  to  assess  all  ANAO  reports,  including  cross‐agency  audits,  and  then  pass  relevant  information  to  the  DEEWR  Executive in formal correspondence. Copies of the correspondence are tabled  at audit committee meetings and as a result, all appropriate recommendations  relating to DEEWR can be included in the ARds either at the request of the  Chief Internal Auditor (CIA), the Executive, or the audit committee. Table 2.4  shows that DEEWR had two cross‐agency recommendations examined as part  of this audit that were finalised under the department’s previous monitoring  arrangements and were not included in the ARds. 

2.22 DEEWR  has  configured  the  ARds  system  so  that  the  status  of  implementation  of  audit  recommendations  can  be  updated  at  any  time.  Nominated co‐ordinators throughout the department are authorised to update  implementation  details  as  required.13  The  Audit  Manual  for  Business  Areas  provides  guidance  to  the  nominated  co‐ordinators  to  ensure  a  consistent  approach is taken across the department. The ARds automatically logs data  input changes and IAG, as the system administrator, performs quality control  checks and monitors any modifications to system data. As well, in preparation  for the audit committee meeting every four months, IAG prompts program  areas to ensure ARds has been updated, including the traffic light summary of 

                                                       12 DNET is the name of the department’s intranet site. 13

The Audit Manual for Business Areas (February 2012) advises that the frequency of review of audit recommendations is a decision for each Cluster (section of the department under a Deputy Secretary), however it suggests two monthly reviews.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

34

progress  status.14  The  traffic  light  summary  includes  all  open  audit  recommendations, including cross‐agency ANAO audit recommendations.  

2.23 The status report is required to be endorsed at the Deputy Secretary  level  in  the  program  management  area.  Similarly,  the  process  for  closing  ANAO recommendations and archiving completed recommendations in ARds  requires the agreement of the relevant Deputy Secretary that this is accurate. In  order  to  ensure  that  audit  recommendations  are  implemented  in  a  timely  manner,  the  audit  committee  examines  the  implementation  of  audit  recommendations three times per year,15 and notes any delays or extensions to  the original implementation date. Supporting documentation is considered by  program area governance committees, which are chaired at the Associate or  Deputy Secretary level. 

2.24 When  reporting  against  the  implementation  of  ANAO  recommendations,  priorities  or  risk  ratings  are  not  assigned,  however,  as  indicated  above,  DEEWR  IAG  records  a  planned  implementation  date.  Timeliness of implementation is discussed in more detail in Chapter 3. 

DEEWR Conclusion

2.25 DEEWR is the largest agency included in the audit and the introduction  of ARds early in 2012 has been an appropriate initiative to gain efficiencies in  managing the implementation of ANAO performance audit recommendations.  DEEWR’s practice of requiring Deputy Secretary level agreement before audit  recommendations are removed from the monitoring system encourages sound  practices  throughout  the  department.  The  ARds  also  improves  department  wide visibility of agency performance in the monitoring and implementation  of  ANAO  recommendations  and  provides  a  platform  for  continuous  improvement,  particularly  in  regard  to  managing  the  timeliness  of  implementation.  Overall,  DEEWR’s  governance  arrangements  for  the  implementation of ANAO recommendations are effective and appropriately  targeted. 

FaHCSIA

2.26 FaHCSIA’s Audit Assurance and Risk Branch (AARB) also utilises an  intranet database application, the Audit Management Database (AMD), to record 

                                                       14 Information included in DEEWR’s traffic light report can be found at Appendix 2. 15

Four meetings are held each year, one of which focuses on matters in relation to the agency’s financial statements.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

34

progress  status.14  The  traffic  light  summary  includes  all  open  audit  recommendations, including cross‐agency ANAO audit recommendations.  

2.23 The status report is required to be endorsed at the Deputy Secretary  level  in  the  program  management  area.  Similarly,  the  process  for  closing  ANAO recommendations and archiving completed recommendations in ARds  requires the agreement of the relevant Deputy Secretary that this is accurate. In  order  to  ensure  that  audit  recommendations  are  implemented  in  a  timely  manner,  the  audit  committee  examines  the  implementation  of  audit  recommendations three times per year,15 and notes any delays or extensions to  the original implementation date. Supporting documentation is considered by  program area governance committees, which are chaired at the Associate or  Deputy Secretary level. 

2.24 When  reporting  against  the  implementation  of  ANAO  recommendations,  priorities  or  risk  ratings  are  not  assigned,  however,  as  indicated  above,  DEEWR  IAG  records  a  planned  implementation  date.  Timeliness of implementation is discussed in more detail in Chapter 3. 

DEEWR Conclusion

2.25 DEEWR is the largest agency included in the audit and the introduction  of ARds early in 2012 has been an appropriate initiative to gain efficiencies in  managing the implementation of ANAO performance audit recommendations.  DEEWR’s practice of requiring Deputy Secretary level agreement before audit  recommendations are removed from the monitoring system encourages sound  practices  throughout  the  department.  The  ARds  also  improves  department  wide visibility of agency performance in the monitoring and implementation  of  ANAO  recommendations  and  provides  a  platform  for  continuous  improvement,  particularly  in  regard  to  managing  the  timeliness  of  implementation.  Overall,  DEEWR’s  governance  arrangements  for  the  implementation of ANAO recommendations are effective and appropriately  targeted. 

FaHCSIA

2.26 FaHCSIA’s Audit Assurance and Risk Branch (AARB) also utilises an  intranet database application, the Audit Management Database (AMD), to record 

                                                       14 Information included in DEEWR’s traffic light report can be found at Appendix 2. 15

Four meetings are held each year, one of which focuses on matters in relation to the agency’s financial statements.

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

35

and  monitor  (external  and  internal)  audit  recommendations.  The  AMD  has  been in place since 2009 and has incorporated data from a range of previous  systems  to  ensure  continuity  of  records.  FaHCSIA  enters  into  the  AMD  monitoring  system  only  those  ANAO  performance  audit  recommendations  that  are  specifically  directed  to  the  department.  Cross‐agency  audit  recommendations  where  FaHCSIA  is  not  included  are  not  entered  into  the  AMD. AARB forwards details of relevant cross‐agency audits to appropriate  program managers after the report is tabled, however no further action is taken  by AARB regarding the recommendations of cross‐agency audits. 

2.27 The audit committee meets five times per year, however updates to the  status of ANAO recommendations are undertaken on a six monthly cycle. The  AMD system automatically generates messages for the responsible managers  to  update  relevant  records  every  six  months.  When  the  update  process  is  finalised,  recommendation  information  is  extracted  from  AMD  as  a  ‘traffic  light’  report  and  included  in  the  audit  committee  papers.16  As  discussed  at  paragraph  2.15,  a  due  date  and  a  risk  rating  is  allocated  to  all  ANAO  recommendations  by  AARB  in  consultation  with  the  program  management  area. Low to medium risk recommendations are generally allowed 18 months  for  implementation,  while  high  risk  recommendations  are  expected  to  be  implemented  within  12  months.  If  a  recommendation  has  not  been  implemented  within  these  time‐frames,  extensions  may  be  granted  with  appropriate justification from the relevant program manager. 

2.28 Low or moderate risk recommendations that are ready to be closed are  assessed by the Chief Internal Auditor (CIA), based on recommendations from  program managers. FaHCSIA has a process for further discussions with the  CIA if program management area actions in response to the recommendation  are considered inappropriate. High risk recommendations are assessed by the  audit committee prior to closure. Once the CIA or audit committee accepts that  a recommendation is appropriately implemented, it is finalised in the AMD  system. 

2.29 Although  not  directly  related  to  the  implementation  of  ANAO  recommendations,  FaHCSIA  has  introduced  a  process  of  follow  up  audits  covering  the  implementation  of  high  risk  internal  audit  recommendations.  These  additional  audits  were  conducted  to  satisfy  the  requirements  of  the 

                                                       16 Information included in FaHCSIA’s traffic light report can be found at Appendix 3.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

36

Institute of Internal Auditors (IIA) Standard 2500-Monitoring Progress,17 which  requires a chief audit executive to establish a follow‐up process to ensure that  management  actions  have  been  effectively  implemented,  or  that  senior  management has accepted the risk of not taking action. The resultant internal  audit  report  is  considered  by  the  audit  committee  and  aims  to  support  a  culture of compliance with audit recommendations in the department. 

2.30 As  noted  in  paragraph  2.26,  cross‐agency  recommendations  are  not  included in FaHCSIA’s monitoring system. ANAO Audit Report No.33 2010- 11,  the  Protection  and  Security  of  Electronic  Information  Held  by  Australian  Government  Agencies  was  not  included  in  FaHCSIA’s  system.  Recommendations  from  this  report  have  been  implemented  by  FaHCSIA,  although there is no record held by internal audit or in the audit committee  papers  that  shows  when  implementation  commenced  and  was  completed.  Further, there is no record of whether the audit committee was informed of the  report, its recommendations and the risks it was intended to address. 

FaHCSIA Conclusion

2.31 FaHCSIA’s governance arrangements for the implementation of ANAO  performance audit recommendations provide a reasonable balance of control  and  flexibility  for  the  department’s  executive.  The  categorisation  of  recommendations  according  to  risk  and  expectations  of  timeliness  in  implementation  provide  a  basis  to  assess  the  extent  and  efficiency  of  implementation. The AMD system is a sound platform for internal audit to  produce ‘traffic light’ reports and a point of focus for the audit committee to  scrutinise areas of high risk. The lack of focus on broader ANAO cross‐agency  audit  recommendations  and  their  exclusion  from  the  AMD  system  is  an  important aspect of the governance arrangements that should be addressed.  The  ANAO  suggests  that  FaHCSIA  includes  relevant  cross‐agency  audit  recommendations to ensure it effectively capitalises on the investments it has  made  in  the  AMD  system,  and  draws  maximum  benefit  from  ANAO  recommendations. 

DoFD

2.32 The Office of the Chief Audit Executive (OCAE) performs the internal  audit  function  in  the  Department  of  Finance  and  Deregulation  (DoFD).  As 

                                                       17 Available at: http://www.iia.org.au/technicalResources/standards.aspx

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

36

Institute of Internal Auditors (IIA) Standard 2500-Monitoring Progress,17 which  requires a chief audit executive to establish a follow‐up process to ensure that  management  actions  have  been  effectively  implemented,  or  that  senior  management has accepted the risk of not taking action. The resultant internal  audit  report  is  considered  by  the  audit  committee  and  aims  to  support  a  culture of compliance with audit recommendations in the department. 

2.30 As  noted  in  paragraph  2.26,  cross‐agency  recommendations  are  not  included in FaHCSIA’s monitoring system. ANAO Audit Report No.33 2010- 11,  the  Protection  and  Security  of  Electronic  Information  Held  by  Australian  Government  Agencies  was  not  included  in  FaHCSIA’s  system.  Recommendations  from  this  report  have  been  implemented  by  FaHCSIA,  although there is no record held by internal audit or in the audit committee  papers  that  shows  when  implementation  commenced  and  was  completed.  Further, there is no record of whether the audit committee was informed of the  report, its recommendations and the risks it was intended to address. 

FaHCSIA Conclusion

2.31 FaHCSIA’s governance arrangements for the implementation of ANAO  performance audit recommendations provide a reasonable balance of control  and  flexibility  for  the  department’s  executive.  The  categorisation  of  recommendations  according  to  risk  and  expectations  of  timeliness  in  implementation  provide  a  basis  to  assess  the  extent  and  efficiency  of  implementation. The AMD system is a sound platform for internal audit to  produce ‘traffic light’ reports and a point of focus for the audit committee to  scrutinise areas of high risk. The lack of focus on broader ANAO cross‐agency  audit  recommendations  and  their  exclusion  from  the  AMD  system  is  an  important aspect of the governance arrangements that should be addressed.  The  ANAO  suggests  that  FaHCSIA  includes  relevant  cross‐agency  audit  recommendations to ensure it effectively capitalises on the investments it has  made  in  the  AMD  system,  and  draws  maximum  benefit  from  ANAO  recommendations. 

DoFD

2.32 The Office of the Chief Audit Executive (OCAE) performs the internal  audit  function  in  the  Department  of  Finance  and  Deregulation  (DoFD).  As 

                                                       17 Available at: http://www.iia.org.au/technicalResources/standards.aspx

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

37

indicated  in  Table  2.2,  OCAE  uses  a  system  of  electronic  spreadsheets  and  workbooks  to  record  and  monitor  the  implementation  of  (internal  and  external) audit recommendations. DoFD monitors all agency‐specific ANAO  audits  (where  DoFD  is  directly  audited),  however  follow  up  of  ANAO  cross‐agency audit recommendations is considered by OCAE on a case by case  basis. 

2.33 Implementation  due  dates  are  assigned  to  internal  audit  recommendations only and ANAO recommendations are not given a due date  for implementation. The audit committee meets five times per year, and the  department  requires  that  program  management  areas  update  the  implementation18 status of ANAO audit recommendations before each audit  committee  meeting  through  spreadsheets  emailed  to  relevant  areas  of  the  department. The update process can result in the program management area  providing  to  OCAE  a  due  date  for  implementation  of  ANAO  recommendations, although this is at the discretion of the program manager. 

2.34 The  update  process  results  in  a  new  consolidated  workbook  approximately  every  three  months,  which  includes  a  spreadsheet  for  recommendations still in progress, and a spreadsheet for the history of closed  recommendations.  Over  time,  the  iterative  data  manipulation  involved  in  updating multiple spreadsheets is susceptible to error and omissions. While  DoFD’s  approach  provides  for  direct  communication  with  the  relevant  program managers, it can limit the effectiveness of agency oversight and make  it  difficult  to  track  continuity  of  actions  for  a  particular  recommendation  because historical information may be stored in discrete spreadsheets. 

2.35 The spreadsheets are used to compile two tables of information that are  reported  to  the  audit  committee  on  the  status  of  implementation  of  recommendations. One table shows recommendations that are closed, and the  other table shows open recommendations that have exceeded the due date (if it  has been provided) by more than six months.19 In the absence of an initial due  date,  the  operation  of  the  system  described  above  means  that  neither  the  OCAE  nor  the  audit  committee  has  full  visibility  of  the  status  of  ANAO  recommendations that have not yet been implemented. 

                                                       18 DoFD advised that responses to all recommendations provided by program areas are endorsed at Deputy Secretary level. 19

The information included in the tables can be found at Appendix 4.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

38

2.36 The tables provided to the audit committee are a summarised version  of information drawn from the consolidated workbook. The summary tables  do not identify the manager responsible for implementation, or a history of  responses  from  the  program  area,  although  this  information  is  available  if  required. The original tabling date of ANAO reports is also not included in  either  table.  Completion  dates  are  also  not  included  in  the  table  of  closed  recommendations. DoFD indicated that the audit committee prefers to focus  on whether the program area response is reasonable and appropriate, rather  than  the  timeliness  of  implementation.  Timeliness  of  implementation  is  discussed in more detail in Chapter 3. 

DoFD Conclusion

2.37 DoFD  is  responsible  for  the  implementation  of  recommendations  to  which  DoFD  has  agreed  and  to  monitor  its  own  processes  and  systems  to  ensure successful implementation. As well, DoFD is required to provide advice  to  other  FMA  Agencies  on  the  appropriate  actions  to  be  undertaken  to  implement ANAO recommendations where these relate to the government’s  financial  framework.  The  governance  arrangements  for  monitoring  the  implementation  of  ANAO  recommendations  within  DoFD  are  designed  to  support internal processes but provide limited support and oversight to those  responsibilities that arise from its function as a central agency. 

2.38 DoFD’s  audit  committee  advised  the  ANAO  that  it  considers  that  monitoring the timeliness of implementation is of lower importance than the  appropriateness  of  responses  to  ANAO  recommendations.  Nevertheless,  timeliness  and  appropriateness  are  both  important  if  the  benefits  of  the  recommendation  are  to  be  maximised.  A  more  systematic  approach  to  recording  due  dates  and  actions  completed  in  relation  to  ANAO  recommendations  would  provide  opportunities  to  improve  the  clarity  of  reporting for the audit committee. 

DIT

2.39 DIT’s Audit and Risk Section (ARS) uses a system of tables to record  and  monitor  the  implementation  of  agreed  (internal  and  external)  audit  recommendations. There is no formal process for the management of ANAO  cross‐agency  audit  recommendations,  however  where  the  ARS  considers  a 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

38

2.36 The tables provided to the audit committee are a summarised version  of information drawn from the consolidated workbook. The summary tables  do not identify the manager responsible for implementation, or a history of  responses  from  the  program  area,  although  this  information  is  available  if  required. The original tabling date of ANAO reports is also not included in  either  table.  Completion  dates  are  also  not  included  in  the  table  of  closed  recommendations. DoFD indicated that the audit committee prefers to focus  on whether the program area response is reasonable and appropriate, rather  than  the  timeliness  of  implementation.  Timeliness  of  implementation  is  discussed in more detail in Chapter 3. 

DoFD Conclusion

2.37 DoFD  is  responsible  for  the  implementation  of  recommendations  to  which  DoFD  has  agreed  and  to  monitor  its  own  processes  and  systems  to  ensure successful implementation. As well, DoFD is required to provide advice  to  other  FMA  Agencies  on  the  appropriate  actions  to  be  undertaken  to  implement ANAO recommendations where these relate to the government’s  financial  framework.  The  governance  arrangements  for  monitoring  the  implementation  of  ANAO  recommendations  within  DoFD  are  designed  to  support internal processes but provide limited support and oversight to those  responsibilities that arise from its function as a central agency. 

2.38 DoFD’s  audit  committee  advised  the  ANAO  that  it  considers  that  monitoring the timeliness of implementation is of lower importance than the  appropriateness  of  responses  to  ANAO  recommendations.  Nevertheless,  timeliness  and  appropriateness  are  both  important  if  the  benefits  of  the  recommendation  are  to  be  maximised.  A  more  systematic  approach  to  recording  due  dates  and  actions  completed  in  relation  to  ANAO  recommendations  would  provide  opportunities  to  improve  the  clarity  of  reporting for the audit committee. 

DIT

2.39 DIT’s Audit and Risk Section (ARS) uses a system of tables to record  and  monitor  the  implementation  of  agreed  (internal  and  external)  audit  recommendations. There is no formal process for the management of ANAO  cross‐agency  audit  recommendations,  however  where  the  ARS  considers  a 

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

39

cross‐agency  report  or  recommendation  to  be  relevant  or  of  interest  to  the  department, these are discussed with relevant program management areas.20 

2.40 The DIT audit committee meets four times per year and the status of  implementation  of  ANAO  audit  recommendations  is  provided  by  program  management areas prior to audit committee meetings, to allow the information  to  be  included  in  the  committee  papers.  The  updates  are  automatically  included  in  the  ARS  manual  system,  and  there  is  no  requirement  for  supporting  documentation.  When  reporting  against  the  implementation  of  internal audit recommendations, priorities are assigned according to control  risk  together  with  a  planned  implementation  date.  The  reporting  system  would be enhanced if the risk and implementation date parameters were used  to  provide  a  basis  for  accountability  for  achieving  the  implementation  of  ANAO recommendations. 

2.41 In reports21 to the audit committee, the department employs a ‘traffic  light’  colour  coding  system  in  green,  yellow  and  red  format  to  focus  audit  committee attention on the status of recommendations.22 The report also shows  individual  recommendations  that  are  active  or  completed  and  the  date  of  completion. Audit  committee  papers  reviewed  by  the  ANAO  show  that no  recommendations had been highlighted red in the last three years, although  some  recommendations  had  been  outstanding  for  72  months.  Timeliness  is  discussed in more detail in Chapter 3. The ANAO suggests that there would be  benefit in DIT considering the introduction of follow up procedures to provide  a higher level of assurance over the status of ANAO recommendations. As  well,  DIT  should  consider  a  more  systematic  approach  to  tracking  the  recommendations of ANAO cross‐agency audits. 

DIT Conclusion

2.42 The  governance  arrangements  over  the  implementation  of  ANAO  performance audit recommendations in DIT reflect both the relatively small  size  of  the  agency  and  fewer  recommendations  to  be  managed.  While  the  underlying  processes  employed  by  DIT  are  sound,  the  department  could  improve its processes and documentation to provide a higher level of support 

                                                       20 DIT advised the ANAO that audits on programs have been discussed with program managers in a general and informal sense. 21

A full listing of the information presented to the audit committee is shown at Appendix 5. 22 Green indicates that implementation is progressing; red indicates there is cause for concern and requires further review, whilst yellow indicated that the recommendation has been implemented and will be removed from the next report.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

40

to the audit committee. Provision of supporting documentation, prior to audit  committee  acceptance  of  implementation  of  recommendations  would  disseminate  a  strong  message  throughout  the  department  of  the  standard  required.  A  more  systematic  approach  to  the  monitoring  of  ANAO  cross‐agency  audit  recommendations  would  also  assist  the  department  in  capturing key messages that may be applicable more broadly throughout the  department. 

Conclusion 2.43 As  part  of  their  governance  arrangements,  each  of  the  four  audited  agencies had developed systems to capture external audit recommendations,  monitor  implementation  and  provide  support  to  audit  committees.  The  monitoring  systems  differed  amongst  agencies  and  this  also  influenced  the  style of reporting provided to the audit committees. Two agencies, DEEWR  and FaHCSIA have developed an electronic database that tracks progress and  records action taken in response to ANAO audit recommendations. The other  agencies, DoFD and DIT, employ a system based on spreadsheets and tables,  which are emailed to program areas for updating. While this latter approach  provides for direct communication with the relevant program managers, it can  limit  the  effectiveness  of  agency  oversight  and  make  it  difficult  to  track  continuity  of  actions  for  a  particular  recommendation  because  historical  information may be stored in discrete spreadsheets.  

2.44 The  ANAO  assessed  the  implementation  by  the  four  agencies  of  48 recommendations  made  in  seven  ANAO  audit  reports.  ANAO  analysis  shows  that  the  status  of  25  of  the  48  recommendations  was  not  accurately  recorded in agency systems. The four agencies subject to this audit have had  recommendations either marked as complete in their monitoring systems that  were  either  partially  implemented,  or  not  adequately  implemented  in  the  ANAO’s assessment. The analysis also shows that in some cases, applicable  recommendations  from  cross‐agency  audits  including  those  that  have  been  adequately implemented, were not being monitored in agency systems. 

2.45 Information  on  the  status  of  recommendations  and  their  completion  was in all cases provided to internal audit having first been cleared through  the  relevant  program  management  area  of  an  agency.  In  DEEWR,  ANAO  recommendations  are  considered  by  program  area  governance  committees,  which  are  chaired  at  the  Associate  or  Deputy  Secretary  level.  DEEWR  and  DoFD  both  require  finalised  status  reports  to  be  endorsed  at  the  Deputy  Secretary level, prior to consideration by the audit committee. In FaHCSIA and 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

40

to the audit committee. Provision of supporting documentation, prior to audit  committee  acceptance  of  implementation  of  recommendations  would  disseminate  a  strong  message  throughout  the  department  of  the  standard  required.  A  more  systematic  approach  to  the  monitoring  of  ANAO  cross‐agency  audit  recommendations  would  also  assist  the  department  in  capturing key messages that may be applicable more broadly throughout the  department. 

Conclusion 2.43 As  part  of  their  governance  arrangements,  each  of  the  four  audited  agencies had developed systems to capture external audit recommendations,  monitor  implementation  and  provide  support  to  audit  committees.  The  monitoring  systems  differed  amongst  agencies  and  this  also  influenced  the  style of reporting provided to the audit committees. Two agencies, DEEWR  and FaHCSIA have developed an electronic database that tracks progress and  records action taken in response to ANAO audit recommendations. The other  agencies, DoFD and DIT, employ a system based on spreadsheets and tables,  which are emailed to program areas for updating. While this latter approach  provides for direct communication with the relevant program managers, it can  limit  the  effectiveness  of  agency  oversight  and  make  it  difficult  to  track  continuity  of  actions  for  a  particular  recommendation  because  historical  information may be stored in discrete spreadsheets.  

2.44 The  ANAO  assessed  the  implementation  by  the  four  agencies  of  48 recommendations  made  in  seven  ANAO  audit  reports.  ANAO  analysis  shows  that  the  status  of  25  of  the  48  recommendations  was  not  accurately  recorded in agency systems. The four agencies subject to this audit have had  recommendations either marked as complete in their monitoring systems that  were  either  partially  implemented,  or  not  adequately  implemented  in  the  ANAO’s assessment. The analysis also shows that in some cases, applicable  recommendations  from  cross‐agency  audits  including  those  that  have  been  adequately implemented, were not being monitored in agency systems. 

2.45 Information  on  the  status  of  recommendations  and  their  completion  was in all cases provided to internal audit having first been cleared through  the  relevant  program  management  area  of  an  agency.  In  DEEWR,  ANAO  recommendations  are  considered  by  program  area  governance  committees,  which  are  chaired  at  the  Associate  or  Deputy  Secretary  level.  DEEWR  and  DoFD  both  require  finalised  status  reports  to  be  endorsed  at  the  Deputy  Secretary level, prior to consideration by the audit committee. In FaHCSIA and 

Governance Arrangements to Monitor Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

41

DIT, updates are entered into monitoring and reporting systems having been  signed off at program manager (senior executive service) level. None of the  audited agencies’ audit committees required supporting documentation from  program  areas  to  support  the  closure  of  recommendations.  Most  of  the  recommendations (13 out of 15) that were assessed by the ANAO as partially  implemented  or  not  adequately  implemented,  had  been  either  marked  as  complete in the respective agency monitoring systems, or were not monitored  at all. This underlines the need for agencies to strengthen the controls over  implementation of ANAO recommendations to obtain sufficient assurance that  the risks initially identified by ANAO audits are appropriately controlled and  managed. 

2.46 The  most  significant  difference  in  the  governance  arrangements  observed  across  the  audited  agencies  was  in  the  approach  to  ANAO  cross‐agency  audits.  Cross‐agency  audits  offer  a  unique  perspective  on  government arrangements and processes, and recommendations are intended  to be useful for all agencies. Three of the four agencies, FaHCSIA, DoFD and  DIT,  did  not  have  a  systematic  way  of  capturing  the  recommendations  of  cross‐agency audits, although this did not necessarily mean that cross‐agency  recommendations  are  not  addressed  by  the  agencies.  For  example,  in  the  sample  of  recommendations  assessed  by  the  ANAO,  three  cross‐agency  recommendations have been adequately implemented in FaHCSIA  while in  DIT,  four  cross‐agency  recommendations  were  adequately  implemented.  However, there is no record of whether the respective audit committees were  informed of the audit reports, their recommendations and the risks each was  intended to address. 

Recommendation No.1 2.47 To  better  support  the  application  of  relevant  recommendations,  the  ANAO recommends that agencies establish, or review existing procedures for  assessing the relevance of recommendations from ANAO cross‐agency audits,  and subsequent monitoring. 

DEEWR Response: 

2.48 Noted. DEEWR considers it is in a very strong position with respect to having  implemented this recommendation. The proposed report confirms this view concluding  that overall, DEEWR’s governance arrangements for the implementation of ANAO  recommendations are effective and appropriately targeted. As outlined throughout the  proposed report DEEWR has in place a comprehensive and structured approach to the 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

42

assessment of recommendations for all tabled ANAO reports, including examination of  cross‐agency  reports.  This  involves  analysing  each  report,  formally  informing  the  DEEWR Executive regarding the relevant information and providing copies of this  correspondence to the audit committee. At audit committee meetings the committee  reviews progress of all audit recommendations. ANAO recommendations relevant to  DEEWR, including cross agency recommendations, are recorded in the department’s  electronic monitoring system—the Audit Recommendations dnet system (ARds)—and  are subject to ongoing monitoring at cluster governance forums as well as by the audit  committee. 

FaHCSIA Response: 

2.49 Agreed.  FaHCSIA’s  Internal  Audit  Practice  ascertains  the  relevance  to  FaHCSIA’s functional responsibilities of each ANAO report as they are tabled. This  includes  directing  the  relevant  Group  Managers  and  Branch  Managers  to  the  recommendations they should consider and/or act upon.  

2.50 Current reporting arrangements to FaHCSIA’s Assurance, Audit and Risk  Committee  include  reporting  and  monitoring  the  progress  towards  completion  of  internal  audit  report  recommendations  and  ANAO  specific  recommendations  to  FaHCSIA.  This  will  be  extended  to  include  reporting  and  monitoring  of  progress  towards completion of ANAO cross‐agency audit report recommendations. 

DoFD Response: 

2.51 Agreed. 

DIT Response: 

2.52 Agreed. 

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

42

assessment of recommendations for all tabled ANAO reports, including examination of  cross‐agency  reports.  This  involves  analysing  each  report,  formally  informing  the  DEEWR Executive regarding the relevant information and providing copies of this  correspondence to the audit committee. At audit committee meetings the committee  reviews progress of all audit recommendations. ANAO recommendations relevant to  DEEWR, including cross agency recommendations, are recorded in the department’s  electronic monitoring system—the Audit Recommendations dnet system (ARds)—and  are subject to ongoing monitoring at cluster governance forums as well as by the audit  committee. 

FaHCSIA Response: 

2.49 Agreed.  FaHCSIA’s  Internal  Audit  Practice  ascertains  the  relevance  to  FaHCSIA’s functional responsibilities of each ANAO report as they are tabled. This  includes  directing  the  relevant  Group  Managers  and  Branch  Managers  to  the  recommendations they should consider and/or act upon.  

2.50 Current reporting arrangements to FaHCSIA’s Assurance, Audit and Risk  Committee  include  reporting  and  monitoring  the  progress  towards  completion  of  internal  audit  report  recommendations  and  ANAO  specific  recommendations  to  FaHCSIA.  This  will  be  extended  to  include  reporting  and  monitoring  of  progress  towards completion of ANAO cross‐agency audit report recommendations. 

DoFD Response: 

2.51 Agreed. 

DIT Response: 

2.52 Agreed. 

 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

43

3. Implementation of Performance Audit Recommendations

This chapter examines a selection of performance audit recommendations and assesses  the implementation of these recommendations by the four agencies.  

Introduction 3.1 ANAO audit recommendations highlight actions arising from an audit  that,  when  implemented  by  the  agency,  are  expected  to  improve  agency  performance.  Recommendations  also  generally  address  risks  to  an  agency’s  successful delivery of its outcomes. This chapter considers the implementation  of  ANAO  recommendations  directed  specifically  to  agencies,  as  well  as  recommendations from cross‐agency audits, where selected agencies may not  have been included in the audit. 

3.2 As discussed in Chapter 2, when audit recommendations are agreed by  the agency, it indicates that the agency management is satisfied with the audit  report  content  and  has  committed  to  responding  appropriately.  Implementation of cross‐agency recommendations should be managed in the  same  way  as  direct  audit  recommendations,  subject  to  an  assessment  in  individual agencies of applicability of the recommendations to its operations. 

Audit approach

3.3 Seven  completed  ANAO  audits  were  selected  to  assess  the  implementation of recommendations. These audits had been completed during  the period February 2009 to April 2011 and include audits specific to agencies  as well as cross‐agency audits.23 Due to the inclusion of cross‐agency reports,  three  to  five  audits  were  applicable  to  each  agency  resulting  in  a  total  of  48 recommendations  for  assessment.  An  overview  of  the  number  of  recommendations that applied to each agency is provided in Table 3.1. 

                                                       23 Details of the audits can be found at paragraph 1.11. For FaHCSIA, all applicable recommendations were from cross-agency audits.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

44

Table 3.1

Overview of recommendations included in the audit by agency

Agency DEEWR FaHCSIA DoFD DIT Total

Total recommendations for assessment 14 9 13 12 48

Source: ANAO.

3.4 The  ANAO  reviewed  agency  documentation,  interviewed  key  staff,  and  extracted  data  from  agency  monitoring  systems  to  assess  the  implementation  of  the  recommendations.  Documentation  was  also  assessed  against better practice guidance when appropriate. Action taken to implement  the recommendations was compared to the advice provided to internal audit  and the audit committee for the period January 2009 to March 2013 inclusive. 

3.5 The extent to which implementation has been achieved was considered  in  the  context  of  the  program  management  area’s  progress  towards  the  intended outcome of the recommendation. The method used in assessing the  extent of the implementation of the recommendations is provided in Table 3.2. 

Table 3.2

Categorisation of implementation

Category Explanation

Implementation adequate The action taken met the intent of the recommendation, and sufficient evidence was provided to demonstrate action taken.

Partial implementation This category encompasses two considerations:

 Action taken was less extensive than recommended by ANAO. Action either fell short of the intent of the recommendation, or only addressed some of the identified risks.

 The agency may have established a process or procedure to address an issue, however, the specific action noted in the recommendation was not complete at the time of this assessment.

Not adequate implementation This category encompasses two considerations:

 There is no supporting evidence that action has been undertaken.

 The action taken does not address the

recommendation.

Source: ANAO.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

44

Table 3.1

Overview of recommendations included in the audit by agency

Agency DEEWR FaHCSIA DoFD DIT Total

Total recommendations for assessment 14 9 13 12 48

Source: ANAO.

3.4 The  ANAO  reviewed  agency  documentation,  interviewed  key  staff,  and  extracted  data  from  agency  monitoring  systems  to  assess  the  implementation  of  the  recommendations.  Documentation  was  also  assessed  against better practice guidance when appropriate. Action taken to implement  the recommendations was compared to the advice provided to internal audit  and the audit committee for the period January 2009 to March 2013 inclusive. 

3.5 The extent to which implementation has been achieved was considered  in  the  context  of  the  program  management  area’s  progress  towards  the  intended outcome of the recommendation. The method used in assessing the  extent of the implementation of the recommendations is provided in Table 3.2. 

Table 3.2

Categorisation of implementation

Category Explanation

Implementation adequate The action taken met the intent of the recommendation, and sufficient evidence was provided to demonstrate action taken.

Partial implementation This category encompasses two considerations:

 Action taken was less extensive than recommended by ANAO. Action either fell short of the intent of the recommendation, or only addressed some of the identified risks.

 The agency may have established a process or procedure to address an issue, however, the specific action noted in the recommendation was not complete at the time of this assessment.

Not adequate implementation This category encompasses two considerations:

 There is no supporting evidence that action has been undertaken.

 The action taken does not address the

recommendation.

Source: ANAO.

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

45

ANAO assessment of implementation of recommendations 3.6 The  agencies  included  in  this  audit  and  the  applicable  recommendations both vary according to a number of factors, including scale,  complexity and financial materiality. As a result, the implementation of any  particular ANAO recommendation will be influenced by its priority relative to  other  business  priorities  and  the  internal  processes  involved  in  implementation. The ANAO’s assessment of the agencies’ implementation of  the recommendations is summarised in Table 3.3. 

Table 3.3

Implementation overview by total number of recommendations

Agency DEEWR FaHCSIA DoFD DIT Total

% of Total

Implementation adequate 10 5 11 7 33 69%

Partial implementation 3 3 1 3 10 21%

Not adequate implementation 1 1 1 2 5 10%

Total 14 9 13 12 48

Source: ANAO.

3.7 The  agencies  had  adequately  implemented  69 per cent  of  the  recommendations, with a further 21 per cent partially implemented. Based on  the  ANAO’s  examination,  10 per cent  of  the  recommendations  were  not  adequately implemented. 

3.8 The  48  ANAO  recommendations  that  were  included  in  the  audit  sample can be divided into two categories:  

 those recommendations that were specifically directed to the agency;  and  

 applicable recommendations from cross‐agency audits.24  

3.9 The number of ANAO recommendations in the two categories, and the  extent of their implementation, is shown for each agency in Table 3.4. 

                                                       24 It is necessary to make a distinction in this classification for the Department of Finance and Deregulation (DoFD), which as a central agency, has responsibilities for the Australian Government’s financial framework. Of the seven audits

included for follow up in this audit, DoFD programs were not directly audited. However, a number of the recommendations from cross-agency audits specified a particular role for that department. Where this was the case, the recommendations were classified as specifically directed to DoFD

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

46

Table 3.4

Implementation overview by recommendation type

DEEWR FaHCSIA DoFD DIT Total

Recommendation type Direct Cross

Agency Direct Cross Agency

Direct

Cross Agency Direct Cross

Agency Direct Cross Agency

Adequate 3 7 0 5 5 6 0 7 8 25

Partial 2 1 0 3 0 1 3 0 5 5

Not Adequate

0 1 0 1 0 1 1 1 1 4

Total 5 9 0 9 5 8 4 8 14 34

Source: ANAO.

3.10 A total of 33 ANAO recommendations were assessed as having been  implemented adequately, of which eight were directed to specific agencies and  25 were cross‐agency recommendations. 

3.11 For recommendations assessed as adequately implemented, there was  generally an appropriate level of involvement of senior program management,  including  by  setting  clear  expectations  for  implementation  and  endorsing  implementation status. In addition, the implementation of recommendations  from cross‐agency audits was given close attention within the agency. Regular  and  accurate  reporting  on  implementation  of  recommendations  within  program management areas and to internal audit featured commonly amongst  recommendations that had been adequately implemented. 

3.12 In general, for recommendations assessed as partially implemented at  the lower end of the assessment range, and for recommendations assessed as  not adequately implemented, the agencies had not applied a strong outcomes  focus to the implementation of the recommendation. As a result, the actions  taken  did  not  satisfy  the  underlying  intent  of  the  recommendation.  For  example,  two  of  the  recommendations  that  were  less  than  adequately  implemented related to published performance information. In both cases, the  recommendations  were  directed  towards  enhancements  of  Portfolio  Budget  Statements  measures  through  the  development  of  a  balanced  set  of  deliverables and key performance indicators. The relevant agencies made some  changes  in  response  to  the  recommendations  to  external  reporting  arrangements.  However,  neither  agency  established  a  measure  or  set  of  measures that met the intent of the recommendation, which was to report to  external stakeholders on the effectiveness of the program.  

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

46

Table 3.4

Implementation overview by recommendation type

DEEWR FaHCSIA DoFD DIT Total

Recommendation type Direct Cross

Agency Direct Cross Agency

Direct

Cross Agency Direct Cross

Agency Direct Cross Agency

Adequate 3 7 0 5 5 6 0 7 8 25

Partial 2 1 0 3 0 1 3 0 5 5

Not Adequate

0 1 0 1 0 1 1 1 1 4

Total 5 9 0 9 5 8 4 8 14 34

Source: ANAO.

3.10 A total of 33 ANAO recommendations were assessed as having been  implemented adequately, of which eight were directed to specific agencies and  25 were cross‐agency recommendations. 

3.11 For recommendations assessed as adequately implemented, there was  generally an appropriate level of involvement of senior program management,  including  by  setting  clear  expectations  for  implementation  and  endorsing  implementation status. In addition, the implementation of recommendations  from cross‐agency audits was given close attention within the agency. Regular  and  accurate  reporting  on  implementation  of  recommendations  within  program management areas and to internal audit featured commonly amongst  recommendations that had been adequately implemented. 

3.12 In general, for recommendations assessed as partially implemented at  the lower end of the assessment range, and for recommendations assessed as  not adequately implemented, the agencies had not applied a strong outcomes  focus to the implementation of the recommendation. As a result, the actions  taken  did  not  satisfy  the  underlying  intent  of  the  recommendation.  For  example,  two  of  the  recommendations  that  were  less  than  adequately  implemented related to published performance information. In both cases, the  recommendations  were  directed  towards  enhancements  of  Portfolio  Budget  Statements  measures  through  the  development  of  a  balanced  set  of  deliverables and key performance indicators. The relevant agencies made some  changes  in  response  to  the  recommendations  to  external  reporting  arrangements.  However,  neither  agency  established  a  measure  or  set  of  measures that met the intent of the recommendation, which was to report to  external stakeholders on the effectiveness of the program.  

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

47

Timeliness of implementation 3.13 ANAO recommendations can vary in scope and complexity, and as a  consequence, the implementation task can involve coordination among a range  of  program  delivery  and  support  functions  within  an  agency.  The  risks  involved and the time taken to implement ANAO recommendations will vary  across and within agencies. However, if implementation is not progressed as  quickly as possible, and identified risks remain untreated, the full value of the  audit is not being achieved. In this context, it is important that internal audit  and the audit committee keep the agency chief executive informed on progress  with  implementing  recommendations  that  are  complex,  difficult  or  are  overdue. 

3.14 The ANAO examined all performance audit recommendations marked  as complete in agency monitoring systems from January 2009 to March 2013— a total of 216 recommendations. Because of the differences between systems  and  processes  used  by  the  different  agencies  (outlined  in  Table  2.2),  the  information required to report against planned implementation dates was not  consistently  collected  and  recorded,  particularly  where  planned  implementation dates were later extended. The data that was available relates  only to implementation (see Figure 3.1) and shows that in overall terms, about  half (56 per cent) of all recommendations are recorded as implemented within  a  year  and  75 per cent  within  18  months.  A  relatively  small  proportion  (seven per cent)  of  ANAO  recommendations  are  recorded  as  implemented  between  18  and  24  months,  and  the  remaining  19 per cent  have  been  outstanding for more than two years. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

48

Figure 3.1

Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - Overall

 

Source: ANAO from agencies data.

Note: Percentages do not add to 100 per cent due to rounding.

3.15 The timeliness of individual agencies in the implementation of ANAO  recommendations is discussed in more detail below. 

Timeliness of implementation - DEEWR

3.16 The  timeliness  of  implementation  of  ANAO  recommendations  in  DEEWR is shown in Figure 3.2. 

(27%)

(29%)

(19%)

(7%)

(19%)

0

10

20

30

40

50

60

70

6 or Less 7-12 13-18 19-24 More than 24

Number of ANAO Recommendations (% of Total)

Months to Implement

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

48

Figure 3.1

Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - Overall

 

Source: ANAO from agencies data.

Note: Percentages do not add to 100 per cent due to rounding.

3.15 The timeliness of individual agencies in the implementation of ANAO  recommendations is discussed in more detail below. 

Timeliness of implementation - DEEWR

3.16 The  timeliness  of  implementation  of  ANAO  recommendations  in  DEEWR is shown in Figure 3.2. 

(27%)

(29%)

(19%)

(7%)

(19%)

0

10

20

30

40

50

60

70

6 or Less 7-12 13-18 19-24 More than 24

Number of ANAO Recommendations (% of Total)

Months to Implement

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

49

Figure 3.2

Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DEEWR1

 

Source: ANAO from DEEWR data.

Note 1: The data in Figure 3.2 does not include 9 ANAO Recommendations that remain ‘open’ in the DEEWR system. Six of these are less than 18 months old, while 3 have been ongoing for two years or more.

Note 2: Percentages do not add to 100 per cent due to rounding.

3.17 DEEWR  recorded  as  completed  67 per cent  of  ANAO  performance  audit recommendations within 18 months, while 24 per cent were recorded as  taking more than 2 years to implement. There were three recommendations  that had been marked as ongoing for two years or more by DEEWR. At the end  of  March  2013,  one  of  the  recommendations  had  been  outstanding  for 

45 months.  The  reasons  for  the  length  of  time  taken  to  implement  this  recommendation are not readily available from DEEWR’s monitoring system  or the records of internal audit. Unnecessary delays in implementation mean  that the full benefit of a recommendation may not be achieved. As discussed in  Chapter 2, the DEEWR’s monitoring and reporting system (ARds) requires the  program management areas to provide target dates for implementation. 

Timeliness of implementation - FaHCSIA

3.18 The  timeliness  of  implementation  of  ANAO  performance  audit  recommendations in FaHCSIA is shown in Figure 3.3. 

(12%)

(25%)

(31%)

(9%)

(24%)

0

5

10

15

20

25

30

Less than 6 7-12 13-18 19-24 More than 24

Number of recommendations (% of DEEWR total)

Months to implement

Recommendations selected as part of this audit

All recommendations

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

50

Figure 3.3

Reported time to implement ANAO performance audit recommendations, January 2009-March 20131 - FaHCSIA2

 

Source: ANAO from FaHCSIA data.

Note 1: As discussed at paragraph 2.26, the data in Figure 3.3 does not include ANAO cross-agency audit recommendations unless FaHCSIA was included in the audit, as these are not entered into the FaHCSIA monitoring system.

Note 2: The data in Figure 3.3 does not include 9 ANAO recommendations that remain ‘open’ in the FaHCSIA system. Eight of these are less than 18 months old, while one has been ongoing for more than two years.

Note 3: Percentages do not add to 100 per cent due to rounding.

3.19 The  data  shows  that  70 per cent  of  ANAO  performance  audit  recommendations  were  recorded  as  completed  within  18  months,  and  66 per cent  within  12 months.  In  addition,  25 per cent  of  recommendations  were recorded as taking more than 2 years to implement. Within this context,  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at  regular intervals. 

Timeliness of implementation - DoFD

3.20 The  timeliness  of  implementation  of  ANAO  performance  audit  recommendations in DoFD is shown in Figure 3.4. 

(11%)

(55%)

(5%) (5%)

(25%)

0

5

10

15

20

25

30

6 or Less 7-12 13-18 19-24 More than 24

Number of recommendations (% of FaHCSIA total)

Months to implement

Recommendations selected for this audit All recommendations

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

50

Figure 3.3

Reported time to implement ANAO performance audit recommendations, January 2009-March 20131 - FaHCSIA2

 

Source: ANAO from FaHCSIA data.

Note 1: As discussed at paragraph 2.26, the data in Figure 3.3 does not include ANAO cross-agency audit recommendations unless FaHCSIA was included in the audit, as these are not entered into the FaHCSIA monitoring system.

Note 2: The data in Figure 3.3 does not include 9 ANAO recommendations that remain ‘open’ in the FaHCSIA system. Eight of these are less than 18 months old, while one has been ongoing for more than two years.

Note 3: Percentages do not add to 100 per cent due to rounding.

3.19 The  data  shows  that  70 per cent  of  ANAO  performance  audit  recommendations  were  recorded  as  completed  within  18  months,  and  66 per cent  within  12 months.  In  addition,  25 per cent  of  recommendations  were recorded as taking more than 2 years to implement. Within this context,  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at  regular intervals. 

Timeliness of implementation - DoFD

3.20 The  timeliness  of  implementation  of  ANAO  performance  audit  recommendations in DoFD is shown in Figure 3.4. 

(11%)

(55%)

(5%) (5%)

(25%)

0

5

10

15

20

25

30

6 or Less 7-12 13-18 19-24 More than 24

Number of recommendations (% of FaHCSIA total)

Months to implement

Recommendations selected for this audit All recommendations

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

51

Figure 3.4

Reported time to implement ANAO performance audit recommendations, January 2009-March 2013 - DoFD1

 

Source: ANAO from DoFD data.

Note 1: The data in Figure 3.4 does not include 12 ANAO recommendations that remain ‘open’ in the DoFD system. Eight of these are 18 months old or less, while two have been ongoing for more than two years, and two others for more than three years.

3.21 DoFD  recorded  that  it  had  implemented  65 per cent  of  all  recommendations within six months of the ANAO report. This compares with  the average for the same measure for all the agencies of 28 per cent. In this  context, the ANAO observed that some recommendations were reported to the  DoFD audit committee as closed without any comments regarding the action  taken, when the recommendation had not yet been implemented. For example,  recommendation one from ANAO Report No.38, 2010-11, Management of the  Certificate of Compliance Process in FMA Act Agencies was reported to the audit  committee  as  closed  in  February  2012,  however  implementation  was  not  completed until September 2012. 

Timeliness of implementation - DIT

3.22 The timeliness of implementation of ANAO recommendations in DIT is  shown in Figure 3.5. 

(65%)

(17%)

(9%)

(7%)

(2%)

0

5

10

15

20

25

30

35

6 or Less 7-12 13-18 19-24 More than 24

Number of ANAO recommendations (% of DoFD total)

Months to implement

Recommendations selected for this audit All recommendations

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

52

Figure 3.5

Reported time taken to implement ANAO performance audit recommendations, January 2009-March 2013 - DIT1

 

Source: ANAO from DIT data.

Note 1: The data in Figure 3.5 does not include 5 ANAO recommendations that remain ‘open’ in the DIT system. Three of these are less than two years old, while two (part recommendations related to ANAO report No.29 of 2006-07, Implementation of the Sydney Airport Demand Management Act 1997), had been ongoing for six years. These were scheduled to be completed on 31 March 2013.

3.23 The  data  shows  that  78 per cent  of  ANAO  performance  audit  recommendations  were  recorded  as  implemented  within  18  months.  The  remaining  22 per cent  were  recorded  as  taking  more  than  two  years  to  implement. 

3.24 The implementation of two of the part recommendations from ANAO  Audit  Report  No.29,  2006-07,  Implementation  of  the  Sydney  Airport  Demand  Management  Act  1997  had  been  ongoing  for  six  years.  The  other  four  recommendations from that audit were reported as implemented after 26, 27,  49 and 67 months respectively. However, as discussed at paragraph 2.41, none  of these recommendations were noted for consideration in the reports to the  audit  committee.  At  the  same  time,  there  were  occasions  where  DIT  has  commenced  action  to  implement  ANAO  recommendations  before  the  audit  was finalised, allowing a high proportion of recommendations to be finalised  within the first six months.  

(31%)

(28%)

(19%)

(22%)

0

2

4

6

8

10

12

6 or Less 7-12 13-18 19-24 More than 24

Number of ANAO recommendations (% of DIT total)

Months to implement

Recommendations selected for this audit All recommendations

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

52

Figure 3.5

Reported time taken to implement ANAO performance audit recommendations, January 2009-March 2013 - DIT1

 

Source: ANAO from DIT data.

Note 1: The data in Figure 3.5 does not include 5 ANAO recommendations that remain ‘open’ in the DIT system. Three of these are less than two years old, while two (part recommendations related to ANAO report No.29 of 2006-07, Implementation of the Sydney Airport Demand Management Act 1997), had been ongoing for six years. These were scheduled to be completed on 31 March 2013.

3.23 The  data  shows  that  78 per cent  of  ANAO  performance  audit  recommendations  were  recorded  as  implemented  within  18  months.  The  remaining  22 per cent  were  recorded  as  taking  more  than  two  years  to  implement. 

3.24 The implementation of two of the part recommendations from ANAO  Audit  Report  No.29,  2006-07,  Implementation  of  the  Sydney  Airport  Demand  Management  Act  1997  had  been  ongoing  for  six  years.  The  other  four  recommendations from that audit were reported as implemented after 26, 27,  49 and 67 months respectively. However, as discussed at paragraph 2.41, none  of these recommendations were noted for consideration in the reports to the  audit  committee.  At  the  same  time,  there  were  occasions  where  DIT  has  commenced  action  to  implement  ANAO  recommendations  before  the  audit  was finalised, allowing a high proportion of recommendations to be finalised  within the first six months.  

(31%)

(28%)

(19%)

(22%)

0

2

4

6

8

10

12

6 or Less 7-12 13-18 19-24 More than 24

Number of ANAO recommendations (% of DIT total)

Months to implement

Recommendations selected for this audit All recommendations

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

53

Structured implementation approaches

3.25 ANAO Audit Report No.25 2012-13 Defence’s Implementation of Audit  Recommendations25  discusses  the  value  of  developing  an  implementation  management  plan  (IMP)  in  combination  with other  measures  to  assist  with  appropriate closure of ANAO recommendations. IMP’s can be a useful tool for  program  management  areas  in  responding  to  recommendations.  The  development  of  an  IMP  need  not  be  onerous.  An  IMP  may  set  out  straightforward  planning  arrangements  such  as  the  objective  of  the  recommendation, actions and milestones needed to achieve the objective, and  responsible staff.  

3.26 With the exception of DEEWR, none of the other agencies included in  this  audit  applied  a  structured  approach  to  the  implementation  of  ANAO  recommendations.  A  more  structured  approach  would  assist  agencies  to  manage  timeliness,  completeness  and  adequacy  of  implementation,  by  allowing progress to be clearly targeted and monitored within the program  management area. The information could form the basis of reports to internal  audit  for  monitoring  purposes,  especially  in  support  of  program  manager  recommendations to the executive requesting sign‐off on final implementation  and closure. 

Conclusion 3.27 As noted in Chapter 2, the ANAO undertook detailed assessment of  48 recommendations,  of  which  14  were  directed  to  specific  agencies  and  34 were  cross‐agency  recommendations.  Agencies  had  demonstrably  taken  action  in  relation  to  57  per  cent  (8  of  14)  of  direct  recommendations  and  74 per cent (25 of 34) of cross‐agency recommendations. While the ANAO has  assessed  these  actions  to  adequately  address  the  recommendations,  in  7 per cent (1 of 14) of direct recommendations and 12 per cent (4 of 34) of cross‐ agency recommendations, very limited action had been taken by agencies or  the action taken did not adequately address the recommendation. In a larger  number of cases, 36 per cent (5 of 14) of direct and 15 per cent (5 of 34) of  cross‐agency  recommendations  actions  by  agencies  had  generally  sought  to  address the recommendation but implementation was less than complete. 

                                                       25 ANAO Audit Report No.25 2012-13, Defence’s Implementation of Audit Recommendations, 27 February 2013, p. 35, paragraph 1.19.

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

54

3.28 Recommendations  vary  in  their  complexity,  and  the  time  taken  to  implement  ANAO  recommendations  is  expected  to  vary  across  and  within  agencies. However, if implementation is not progressed in a timely manner  and identified risks remain untreated, the full value of the audit is not being  achieved.  DEEWR  had  one  recommendation  that  had  been  outstanding  for  45 months and DIT had two (part) recommendations marked as ongoing in its  monitoring  system  for  six  years.  The  reasons  provided  by  the  relevant  program management area for the length of time taken to implement these  recommendations do not set out a comprehensive explanation as to why this  was the case. It is important that internal audit and the audit committee keep  the  agency  chief  executive  informed  on  progress  with  implementing  recommendations that are complex, difficult or are overdue.  

3.29 Other than DEEWR, none of the agencies included in this audit had  developed  a  structured  approach  to  the  implementation  of  ANAO  recommendations, involving planned implementation dates, and the allocation  of responsibilities to guide the program management area and for reporting to  audit  committees.  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at  regular intervals. Implementation of recommendations by agencies would be  improved  by  a  broader  adoption  of  structured  implementation  approaches.  This would generally include identifying a clear process and timelines, clear  allocation  of  roles  and  responsibilities  at  each  stage  and  appropriate  senior  management sign‐off arrangements. 

Recommendation No.2 3.30 In  order  to  support  timely  and  complete  implementation  of  ANAO  performance audit recommendations, the ANAO recommends that agencies  establish,  or  strengthen  implementation  approaches,  including documenting  intended  actions,  timelines  and  setting  out  clear  responsibilities  for  the  outcome. 

DEEWR Response: 

3.31 Agreed. As evidenced in the proposed report, DEEWR has in place a robust  implementation  framework.  This  framework  incorporates  the  Associate  and  Deputy  Secretary  level  governance  focus  on  ANAO  recommendations,  the  Audit 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

54

3.28 Recommendations  vary  in  their  complexity,  and  the  time  taken  to  implement  ANAO  recommendations  is  expected  to  vary  across  and  within  agencies. However, if implementation is not progressed in a timely manner  and identified risks remain untreated, the full value of the audit is not being  achieved.  DEEWR  had  one  recommendation  that  had  been  outstanding  for  45 months and DIT had two (part) recommendations marked as ongoing in its  monitoring  system  for  six  years.  The  reasons  provided  by  the  relevant  program management area for the length of time taken to implement these  recommendations do not set out a comprehensive explanation as to why this  was the case. It is important that internal audit and the audit committee keep  the  agency  chief  executive  informed  on  progress  with  implementing  recommendations that are complex, difficult or are overdue.  

3.29 Other than DEEWR, none of the agencies included in this audit had  developed  a  structured  approach  to  the  implementation  of  ANAO  recommendations, involving planned implementation dates, and the allocation  of responsibilities to guide the program management area and for reporting to  audit  committees.  FaHCSIA  assigns  a  risk  rating  to  the  implementation  of  ANAO  recommendations.  FaHCSIA’s  risk  rating  system  links  to  planned  implementation dates, which is a systematic way of taking into account the  complexities involved and ensuring the time being taken to implement ANAO  recommendations is reviewed by internal audit and the audit committee at  regular intervals. Implementation of recommendations by agencies would be  improved  by  a  broader  adoption  of  structured  implementation  approaches.  This would generally include identifying a clear process and timelines, clear  allocation  of  roles  and  responsibilities  at  each  stage  and  appropriate  senior  management sign‐off arrangements. 

Recommendation No.2 3.30 In  order  to  support  timely  and  complete  implementation  of  ANAO  performance audit recommendations, the ANAO recommends that agencies  establish,  or  strengthen  implementation  approaches,  including documenting  intended  actions,  timelines  and  setting  out  clear  responsibilities  for  the  outcome. 

DEEWR Response: 

3.31 Agreed. As evidenced in the proposed report, DEEWR has in place a robust  implementation  framework.  This  framework  incorporates  the  Associate  and  Deputy  Secretary  level  governance  focus  on  ANAO  recommendations,  the  Audit 

Implementation of Performance Audit Recommendations

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

55

Recommendations dnet site (ARds) and supporting guidance in the form of an Audit  Manual for Business Areas. As stated in Appendix 2, the traffic light report which is  included in the ARds contains information in relation to recommendations made by  DEEWR internal audit, the ANAO and Parliamentary Committees where relevant.  Specific information includes: audit name, the original recommendation, management  response/update  (includes  a  history  of  comments),  group  manager  and  responsible  officer,  implementation  date  (used  for  ANAO  and  internal  reports),  traffic  light  symbol, and traffic light status. The ANAO has stated that the introduction of ARds  early in 2012 has been an appropriate initiative to gain efficiencies in managing the  implementation  of  ANAO  performance  audit  recommendations.  In  line  with  DEEWR’s  commitment  to  continuous  improvement  as  new  opportunities  arise  DEEWR will review and seek to further enhance current arrangements. 

FaHCSIA Response: 

3.32 Agreed. FaHCSIA has an Audit Monitoring Database (AMD) that is used to  generate reports on the progress against internal audit report recommendations and  ANAO  specific  recommendations  to  FaHCSIA.  The  reports  are  provided  to  the  Assurance, Audit and Risk Committee twice yearly so that the committee can monitor  progress  of  associated  management  actions  and  assist  to  resolve  any  obstacles  to  completion as necessary. 

3.33 The current process requires each recommendation to have a clear statement of  the  intended  management  actions,  a  target  date  for  completion  and  allocation  of  a  responsible senior executive who is required to manage the recommendation and report  on progress. In future, cross agency audit recommendations will be included in this  process for monitoring and review on an ongoing basis. 

DoFD Response: 

3.34 Agreed. 

DIT Response: 

3.35 Agreed. 

 

Ian McPhee 

Auditor‐General 

Canberra ACT 

25 June 2013 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

57

Appendices

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

58

Appendix 1: Agencies’ Responses

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

58

Appendix 1: Agencies’ Responses

 

Appendix 1: Agencies’ Responses

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

59

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

60

 

   

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

60

 

   

Appendix 1: Agencies’ Responses

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

61

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

62

 

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

62

 

 

Appendix 1: Agencies’ Responses

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

63

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

64

Appendix 2: DEEWR traffic light report information

DEEWR’s traffic light report is presented to the DEEWR Audit Committee and  includes the following information in relation to recommendations made by  DEEWR  internal  audit,  the  ANAO  and  Parliamentary  Committees  where  relevant. 

 Audit  Name  (including  year  of  tabling  and  whether  the  audit  is  an  internal, ANAO or JCPAA report); 

 The original recommendation; 

 Management Response/Update (includes a history of comments); 

 Group Manager and Responsible Officer; 

 Planned Implementation date (used for ANAO reports); 

 Agreed Implementation date (used for internal reports); 

 Traffic light symbol; and 

 Traffic light status (one word description related to the symbol). 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

64

Appendix 2: DEEWR traffic light report information

DEEWR’s traffic light report is presented to the DEEWR Audit Committee and  includes the following information in relation to recommendations made by  DEEWR  internal  audit,  the  ANAO  and  Parliamentary  Committees  where  relevant. 

 Audit  Name  (including  year  of  tabling  and  whether  the  audit  is  an  internal, ANAO or JCPAA report); 

 The original recommendation; 

 Management Response/Update (includes a history of comments); 

 Group Manager and Responsible Officer; 

 Planned Implementation date (used for ANAO reports); 

 Agreed Implementation date (used for internal reports); 

 Traffic light symbol; and 

 Traffic light status (one word description related to the symbol). 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

65

Appendix 3: FaHCSIA traffic light report information

FaHCSIA’s traffic light report was presented to the FaHCSIA audit committee  in the form of a spreadsheet and included the following information headings  on the implementation of internal and external recommendations: 

 Assessment indicator (traffic light coding, including a unique colour to  identify ANAO reports); 

 Audit report title; 

 Relevant Branch and Group; 

 Audit recommendation number; 

 Issue date; 

 Initial completion target date; 

 Last target date; 

 New target completion date; 

 Risk rating; 

 Recommendation description; 

 Response description; and 

 Internal audit comments (including details of any granted extensions). 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

66

Appendix 4: DoFD implementation report information

DoFD’s tables are presented to the DoFD audit committee with the following  information  headings  on  the  implementation  of  internal  and  external  recommendations: 

 Group (responsible line area); 

 Report Type (Internal audit, ANAO or other); 

 Review Name (Report title); 

 Issue (Recommendation number); 

 Issue Rating (only applicable to Financial audits and not the subject of  this audit); 

 Recommendation/Management Action; 

 Original Due Date (Only included  in the table for  recommendations  that exceed their original due date by more than six months and not  applicable to ANAO audits); 

 Revised  Due  Date  (Only  included  in  the  table  for  recommendations  that exceed their original due date by more than six months); and 

 Comments to Audit Committee. 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

66

Appendix 4: DoFD implementation report information

DoFD’s tables are presented to the DoFD audit committee with the following  information  headings  on  the  implementation  of  internal  and  external  recommendations: 

 Group (responsible line area); 

 Report Type (Internal audit, ANAO or other); 

 Review Name (Report title); 

 Issue (Recommendation number); 

 Issue Rating (only applicable to Financial audits and not the subject of  this audit); 

 Recommendation/Management Action; 

 Original Due Date (Only included  in the table for  recommendations  that exceed their original due date by more than six months and not  applicable to ANAO audits); 

 Revised  Due  Date  (Only  included  in  the  table  for  recommendations  that exceed their original due date by more than six months); and 

 Comments to Audit Committee. 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

67

Appendix 5: DIT implementation report information

DIT’s implementation report is presented to the Audit Committee as a table  and included the following information headings on the internal and external  recommendations: 

 Audit Name (includes tabling date); 

 Category (ANAO recommendations or internal audits with the Control  and Risk Category 1 or 2)26; 

 Recommendation number; 

 Short recommendation (summary of a recommendation); 

 Officer (responsible contact details); 

 Original Target date; 

 New Target date; 

 Actual Completion date; 

 Comments  (This  was  also  used  to  describe  the  outcome  for  implemented recommendations ready to be removed from the table);  and 

 Audit Manager’s Recommendation.27 

 

                                                       26 Internal audit recommendations at DIT were classified under the one of the following categories: Control and Risk Category 1(CR1) - representing that one of the organisation’s extreme or high business risks has not been adequately

controlled. These recommendations require immediate management attention and would be considered an urgent priority. Control and Risk Category 2 (CR2) - representing that one of the organisation’s moderate business risks has not been suitably controlled. These recommendations require timely management consideration. The Audit Committee requested that only ANAO recommendations, CR1 and CR2 recommendations were included in the Active Audit

Recommendations table for Committee papers. 27 A column allowing for comments from Audit and Risk was added to the table in 2010.

Index A 

AMD, 34, 35, 36 

ARds, 33, 34, 49 

ARS, 38 

assurance, 10, 13, 15, 26, 33, 39, 41 

audit committee, 11, 12, 13, 15, 23, 26,  28, 30, 34, 36, 38, 39, 40, 47, 50, 51 

audit committees, 11, 23, 26, 27, 29, 30,  32, 40, 41, 54 

chief executive, 10, 16, 22, 27, 47, 54 

Commonwealth Authorities and  Companies Act 1997, 23 

cross‐agency, 23, 28, 33, 35, 36, 37, 38,  39, 40, 43, 46, 53 

DEEWR, 11, 13, 14, 15, 16, 24, 30, 32, 33,  34, 40, 48, 49, 53, 54, 64 

DIT, 11, 14, 15, 24, 38, 39, 41, 51, 52, 54,  67 

DoFD, 11, 14, 15, 24, 30, 36, 37, 38, 40,  50, 51, 66 

FaHCSIA, 11, 14, 15, 16, 24, 31, 34, 35,  36, 40, 41, 49, 50, 54, 65 

Financial Management and Accountability  Act 1997, 23 

FMA, 24, 27, 38, 51 

FMA Act, 10 

governance, 11, 14, 15, 24, 25, 30, 36, 38,  39 

Governance, 11, 23, 26, 28 

Institute of Internal Auditors, 36 

internal audit, 23, 26, 27, 28, 30, 31, 33,  35, 36, 37, 39, 40, 44, 46, 47, 49, 54 

monitor, 11, 12, 14, 29, 33, 35, 37, 38, 40 

partially implemented, 13, 15, 31, 40,  45, 46 

program management area, 11, 13, 16,  23, 26, 27, 29, 30, 34, 37, 39, 40, 44, 46,  49, 53 

recommendations, 23, 24, 25, 26, 27, 28,  29, 30, 31, 32, 33, 34, 35, 36 

reporting, 10, 12, 14, 15, 16, 26, 27, 29,  30, 34, 38, 39, 41, 46, 49, 54 

risks, 10, 14, 15, 16, 22, 23, 26, 29, 33, 36,  41, 43, 47, 54 

status, 26, 28, 30, 33, 35, 37, 39, 40, 46 

systems, 25, 26, 28, 29, 30, 31, 32, 35, 38,  40, 41, 44, 47 

 

Index A 

AMD, 34, 35, 36 

ARds, 33, 34, 49 

ARS, 38 

assurance, 10, 13, 15, 26, 33, 39, 41 

audit committee, 11, 12, 13, 15, 23, 26,  28, 30, 34, 36, 38, 39, 40, 47, 50, 51 

audit committees, 11, 23, 26, 27, 29, 30,  32, 40, 41, 54 

chief executive, 10, 16, 22, 27, 47, 54 

Commonwealth Authorities and  Companies Act 1997, 23 

cross‐agency, 23, 28, 33, 35, 36, 37, 38,  39, 40, 43, 46, 53 

DEEWR, 11, 13, 14, 15, 16, 24, 30, 32, 33,  34, 40, 48, 49, 53, 54, 64 

DIT, 11, 14, 15, 24, 38, 39, 41, 51, 52, 54,  67 

DoFD, 11, 14, 15, 24, 30, 36, 37, 38, 40,  50, 51, 66 

FaHCSIA, 11, 14, 15, 16, 24, 31, 34, 35,  36, 40, 41, 49, 50, 54, 65 

Financial Management and Accountability  Act 1997, 23 

FMA, 24, 27, 38, 51 

FMA Act, 10 

governance, 11, 14, 15, 24, 25, 30, 36, 38,  39 

Governance, 11, 23, 26, 28 

Institute of Internal Auditors, 36 

internal audit, 23, 26, 27, 28, 30, 31, 33,  35, 36, 37, 39, 40, 44, 46, 47, 49, 54 

monitor, 11, 12, 14, 29, 33, 35, 37, 38, 40 

partially implemented, 13, 15, 31, 40,  45, 46 

program management area, 11, 13, 16,  23, 26, 27, 29, 30, 34, 37, 39, 40, 44, 46,  49, 53 

recommendations, 23, 24, 25, 26, 27, 28,  29, 30, 31, 32, 33, 34, 35, 36 

reporting, 10, 12, 14, 15, 16, 26, 27, 29,  30, 34, 38, 39, 41, 46, 49, 54 

risks, 10, 14, 15, 16, 22, 23, 26, 29, 33, 36,  41, 43, 47, 54 

status, 26, 28, 30, 33, 35, 37, 39, 40, 46 

systems, 25, 26, 28, 29, 30, 31, 32, 35, 38,  40, 41, 44, 47 

 

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

69

Series Titles

ANAO Audit Report No.1 2012-13  Administration of the Renewable Energy Demonstration Program  Department of Resources, Energy and Tourism 

ANAO Audit Report No.2 2012-13  Administration of the Regional Backbone Blackspots Program  Department of Broadband, Communications and the Digital Economy 

ANAO Audit Report No.3 2012-13  The Design and Conduct of the First Application Round for the Regional Development  Australia Fund  Department of Regional Australia, Local Government, Arts and Sport 

ANAO Audit Report No.4 2012-13  Confidentiality in Government Contracts: Senate Order for Departmental and Agency  Contracts (Calendar Year 2011 Compliance)  Across Agencies 

ANAO Audit Report No.5 2012-13  Management of Australia’s Air Combat Capability—F/A‐18 Hornet and Super  Hornet Fleet Upgrades and Sustainment  Department of Defence  Defence Materiel Organisation 

ANAO Audit Report No.6 2012-13  Management of Australia’s Air Combat Capability—F‐35A Joint Strike Fighter  Acquisition   Department of Defence  Defence Materiel Organisation 

ANAO Audit Report No.7 2012-13  Improving Access to Child Care—the Community Support Program  Department of Education, Employment and Workplace Relations 

ANAO Audit Report No.8 2012-13  Australian Government Coordination Arrangements for Indigenous Programs  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

70

ANAO Audit Report No.9 2012-13  Delivery of Bereavement and Family Support Services through the Defence  Community Organisation  Department of Defence  Department of Veterans’ Affairs 

ANAO Audit Report No.10 2012-13  Managing Aged Care Complaints  Department of Health and Ageing 

ANAO Audit Report No.11 2012-13  Establishment, Implementation and Administration of the Quarantined Heritage  Component of the Local Jobs Stream of the Jobs Fund  Department of Sustainability, Environment, Water, Population and  Communities 

ANAO Audit Report No.12 2012-13  Administration of Commonwealth Responsibilities under the National Partnership  Agreement on Preventive Health  Australian National Preventive Health Agency  Department of Health and Ageing 

ANAO Audit Report No.13 2012-13  The Provision of Policing Services to the Australian Capital Territory  Australian Federal Police 

ANAO Audit Report No.14 2012-13  Delivery of Workplace Relations Services by the Office of the Fair Work Ombudsman  Department of Education, Employment and Workplace Relations  Office of the Fair Work Ombudsman 

ANAO Audit Report No.15 2012-13  2011-12 Major Projects Report   Defence Materiel Organisation 

ANAO Audit Report No.16 2012-13  Audits of the Financial Statements of Australian Government Entities for the Period  Ended 30 June 2011  Across Agencies 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

70

ANAO Audit Report No.9 2012-13  Delivery of Bereavement and Family Support Services through the Defence  Community Organisation  Department of Defence  Department of Veterans’ Affairs 

ANAO Audit Report No.10 2012-13  Managing Aged Care Complaints  Department of Health and Ageing 

ANAO Audit Report No.11 2012-13  Establishment, Implementation and Administration of the Quarantined Heritage  Component of the Local Jobs Stream of the Jobs Fund  Department of Sustainability, Environment, Water, Population and  Communities 

ANAO Audit Report No.12 2012-13  Administration of Commonwealth Responsibilities under the National Partnership  Agreement on Preventive Health  Australian National Preventive Health Agency  Department of Health and Ageing 

ANAO Audit Report No.13 2012-13  The Provision of Policing Services to the Australian Capital Territory  Australian Federal Police 

ANAO Audit Report No.14 2012-13  Delivery of Workplace Relations Services by the Office of the Fair Work Ombudsman  Department of Education, Employment and Workplace Relations  Office of the Fair Work Ombudsman 

ANAO Audit Report No.15 2012-13  2011-12 Major Projects Report   Defence Materiel Organisation 

ANAO Audit Report No.16 2012-13  Audits of the Financial Statements of Australian Government Entities for the Period  Ended 30 June 2011  Across Agencies 

Series Titles

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

71

ANAO Audit Report No.17 2012-13  Design and Implementation of the Energy Efficiency Information Grants Program  Department of Climate Change and Energy Efficiency 

ANAO Audit Report No.18 2012-13  Family Support Program: Communities for Children  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.19 2012-13  Administration of New Income Management in the Northern Territory  Department of Human Services 

ANAO Audit Report No.20 2012-13  Administration of the Domestic Fishing Compliance Program  Australian Fisheries Management Authority 

ANAO Audit Report No.21 2012-13  Individual Management Services Provided to People in Immigration Detention  Department of Immigration and Citizenship 

ANAO Audit Report No.22 2012-13  Administration of the Tasmanian Forests Intergovernmental Contractors Voluntary  Exit Grants Program  Department of Agriculture, Fisheries and Forestry 

ANAO Audit Report No.23 2012-13  The Australian Government Reconstruction Inspectorate’s Conduct of Value for  Money Reviews of Flood Reconstruction Projects in Victoria  Department of Regional Australia, Local Government, Arts and Sport 

ANAO Audit Report No.24 2012-13  The Preparation and Delivery of the Natural Disaster Recovery Work Plans for  Queensland and Victoria  Department of Regional Australia, Local Government, Arts and Sport 

ANAO Audit Report No.25 2012-13  Defence’s Implementation of Audit Recommendations  Department of Defence 

   

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

72

ANAO Audit Report No.26 2012-13  Remediation of the Lightweight Torpedo Replacement Project  Department of Defence; Defence Material Organisation 

ANAO Audit Report No.27 2012-13  Administration of the Research Block Grants Program  Department of Industry, Innovation, Climate Change, Science, Research and  Tertiary Education 

ANAO Report No.28 2012-13  The Australian Government Performance Measurement and Reporting Framework:  Pilot Project to Audit Key Performance Indicators  Across Agencies 

ANAO Audit Report No.29 2012-13  Administration of the Veterans’ Children Education Schemes  Department of Veterans’ Affairs 

ANAO Audit Report No.30 2012-13  Management of Detained Goods  Australian Customs and Border Protection Service 

ANAO Audit Report No.31 2012-13  Implementation of the National Partnership Agreement on Homelessness  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.32 2012-13  Grants for the Construction of the Adelaide Desalination Plant  Department of Sustainability, Environment, Water, Population and  Communities  Department of Finance and Deregulation  Department of the Prime Minister and Cabinet 

ANAO Audit Report No.33 2012-13  The Regulation of Tax Practitioners by the Tax Practitioners Board  Tax Practitioners Board  Australian Taxation Office 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

72

ANAO Audit Report No.26 2012-13  Remediation of the Lightweight Torpedo Replacement Project  Department of Defence; Defence Material Organisation 

ANAO Audit Report No.27 2012-13  Administration of the Research Block Grants Program  Department of Industry, Innovation, Climate Change, Science, Research and  Tertiary Education 

ANAO Report No.28 2012-13  The Australian Government Performance Measurement and Reporting Framework:  Pilot Project to Audit Key Performance Indicators  Across Agencies 

ANAO Audit Report No.29 2012-13  Administration of the Veterans’ Children Education Schemes  Department of Veterans’ Affairs 

ANAO Audit Report No.30 2012-13  Management of Detained Goods  Australian Customs and Border Protection Service 

ANAO Audit Report No.31 2012-13  Implementation of the National Partnership Agreement on Homelessness  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.32 2012-13  Grants for the Construction of the Adelaide Desalination Plant  Department of Sustainability, Environment, Water, Population and  Communities  Department of Finance and Deregulation  Department of the Prime Minister and Cabinet 

ANAO Audit Report No.33 2012-13  The Regulation of Tax Practitioners by the Tax Practitioners Board  Tax Practitioners Board  Australian Taxation Office 

Series Titles

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

73

ANAO Audit Report No.34 2012-13  Preparation of the Tax Expenditures Statement  Department of the Treasury  Australian Taxation Office 

ANAO Audit Report No.35 2012-13  Control of Credit Card Use  Australian Trade Commission  Department of the Prime Minister and Cabinet  Geoscience Australia 

ANAO Audit Report No.36 2012-13  Commonwealth Environmental Water Activities  Department of Sustainability, Environment, Water, Population and  Communities 

ANAO Audit Report No.37 2012-13  Administration of Grants from the Education Investment Fund  Department of Industry, Innovation, Climate Change, Science, Research and  Tertiary Education 

ANAO Audit Report No.38 2012-13  Indigenous Early Childhood Development: Children and Family Centres  Department of Education, Employment and Workplace Relations 

ANAO Audit Report No.39 2012-13  AusAID’s Management of Infrastructure Aid to Indonesia  Australian Agency for International Development (AusAID) 

ANAO Audit Report No. 40 2012-13  Recovery of Centrelink Payment Debts by External Collection Agencies  Department of Human Services 

ANAO Audit Report No.41 2012-13  The Award of Grants Under the Supported Accommodation Innovation Fund  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.42 2012-13  Co‐location of the Department of Human Services’ Shopfronts  Department of Human Services 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

74

ANAO Audit Report No.43 2012-13  Establishment, Implementation and Administration of the General Component of the  Local Jobs Stream of the Jobs Fund  Department of Education, Employment and Workplace Relations 

ANAO Audit Report No. 44 2012-13  Management and Reporting of Goods and Services Tax and Fringe Benefits Tax  Information  Australian Taxation Office 

ANAO Audit Report No. 45 2012-13  Cross‐Agency Coordination of Employment Programs  Department of Education, Employment and Workplace Relations  Department of Human Services 

ANAO Audit Report No. 46 2012-13  Compensating F‐111 Fuel Tank Workers  Department of Veterans’ Affairs  Department of Defence 

ANAO Audit Report No. 47 2012-13  AUSTRAC’s Administration of its Financial Intelligence Function  Australian Transaction Reports and Analysis Centre 

ANAO Audit Report No.48 2012-13  Management of the Targeted Community Care (Mental Health) Program  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.49 2012-13  Interim Phase of the Audits of the Financial Statements of Major General Government  Sector Agencies for the year ending 30 June 2013  Across Agencies 

ANAO Audit Report No.50 2012-13  Administration of the GP Super Clinics Program  Department of Health and Ageing 

ANAO Audit Report No.51 2012-13  Management of the Australian Taxation Office’s Property Portfolio  Australian Taxation Office 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

74

ANAO Audit Report No.43 2012-13  Establishment, Implementation and Administration of the General Component of the  Local Jobs Stream of the Jobs Fund  Department of Education, Employment and Workplace Relations 

ANAO Audit Report No. 44 2012-13  Management and Reporting of Goods and Services Tax and Fringe Benefits Tax  Information  Australian Taxation Office 

ANAO Audit Report No. 45 2012-13  Cross‐Agency Coordination of Employment Programs  Department of Education, Employment and Workplace Relations  Department of Human Services 

ANAO Audit Report No. 46 2012-13  Compensating F‐111 Fuel Tank Workers  Department of Veterans’ Affairs  Department of Defence 

ANAO Audit Report No. 47 2012-13  AUSTRAC’s Administration of its Financial Intelligence Function  Australian Transaction Reports and Analysis Centre 

ANAO Audit Report No.48 2012-13  Management of the Targeted Community Care (Mental Health) Program  Department of Families, Housing, Community Services and Indigenous Affairs 

ANAO Audit Report No.49 2012-13  Interim Phase of the Audits of the Financial Statements of Major General Government  Sector Agencies for the year ending 30 June 2013  Across Agencies 

ANAO Audit Report No.50 2012-13  Administration of the GP Super Clinics Program  Department of Health and Ageing 

ANAO Audit Report No.51 2012-13  Management of the Australian Taxation Office’s Property Portfolio  Australian Taxation Office 

Series Titles

ANAO Audit Report No.53 2012-13

Agencies' Implementation of Performance Audit Recommendations

75

ANAO Audit Report No.52 2012-13  Management of Debt Relief Arrangements  Australian Taxation Office 

 

ANAO Audit Report No.53 2012-13 Agencies' Implementation of Performance Audit Recommendations

76

Current Better Practice Guides

The following Better Practice Guides are available on the ANAO website. 

 

Preparation of Financial Statements by Public Sector Entities  Jun 2013 

Human  Resource  Management  Information  Systems  -  Risks  and Controls  Jun 2013 

Public Sector Internal Audit  Sept 2012 

Public Sector Environmental Management  Apr 2012 

Developing  and  Managing  Contracts  -  Getting  the  right  outcome, achieving value for money  Feb 2012 

Public Sector Audit Committees  Aug 2011 

Fraud Control in Australian Government Entities  Mar 2011 

Strategic  and  Operational  Management  of  Assets  by  Public  Sector  Entities  -  Delivering  agreed  outcomes  through  an  efficient and optimal asset base 

Sept 2010 

Implementing Better Practice Grants Administration  Jun 2010 

Planning and Approving Projects - an Executive Perspective  Jun 2010 

Innovation in the Public Sector - Enabling Better Performance,  Driving New Directions  Dec 2009 

SAP ECC 6.0 - Security and Control  Jun 2009 

Business Continuity Management - Building resilience in public  sector entities  Jun 2009 

Developing and Managing Internal Budgets  Jun 2008 

Agency Management of Parliamentary Workflow  May 2008 

Fairness and Transparency in Purchasing Decisions - Probity in  Australian Government Procurement  Aug 2007 

Administering Regulation  Mar 2007 

Implementation  of  Program  and  Policy  Initiatives  -  Making  implementation matter  Oct 2006