<div dir="ltr">Thanks John,<div><br></div><div>Since you decided to work on the version you started from integration, I repeat my request to secure the document and only allow editing by permission from you.</div><div><br></div><div>This means that people will have to use their accounts to view the content of comments and make edits and you will need to to approve each and every person in the list to edit by sharing the document with them, yet it also means that you will be able to trace back edits to source - also it will prevent malicious acts - remember that 

all the links to the document are public so anyone can potentially edit without restriction and google docs does not allow removal of a version. So I ask you to secure this. Not that there is a high chance of anything bad happening, yet I witnessed malicious changes in the past and securing the document is relatively easy - only a few clicks for you in the share options. </div><div><br></div><div>Also, should people add themselves to the sections they want? You missed some of the communications in the email list - for example I wanted to be added in sections 2,.9, 10. I have some text that I want to be kept and I do want to contribute new text following new developments to one of the sections. I looked at what Eric did to section 10 and it seems the content I am interested in being kept is still there, so I have no issues there I see now, yet this section was reduced in size and I have not traced back to original contributions, so I am not sure about what else was eliminated and still want to keep an eye on it in the future - this is why it is important that people declare the sections they have interest in - to help you trace back their contributions and those were not necessarily made in a way that is easily detected by the original author - there was a lot of moving around of text from original contribution. </div><div><br></div><div>You mentioned section 3.8 - You merged 3 sub sections into this new section when you changed the order. Those were written by many people - it is hard to trace back all contributions, yet this section has many important ideas. I can recognize contributions by 

John Rice, Jonathan Karr, and myself at the first part before subsections yet I am not sure about text under the "Evaluating Model Credibility" and "Model Validation Barriers" subtitles. If I recall correctly, and I may be mistaken, a lot of  the text under "Evaluating Model Credibility" is from Jonathan Karr with some text from James Glazier. Yet I am pretty sure there were several other contributors and to my regret I am not sure who they were without going through revisions of the original versions. Perhaps since we did not suggest a solution to 

"Model Validation Barriers"   this section should be moved  to an open questions section or an appendix at the end - yet I really do not recall who originally wrote the text there so I cannot verify with that person what they prefer. Note that those contributions can be traced back in time to see who added what text - yet this process is time consuming - I did this once when I assembled the combined version and it was a time sink. I understand your desire to compress the section, yet I also know it will be difficult to be honest to all contributors unless they identify themselves - one possible way is that contributors identify themselves through references they recognize adding. 

Please let me know what you think should be done in that section the way you assembled it - I am reluctant to make edits unless contributors help trace back their contributions.  Yet it is important do keep the first part of this section intact as much as possible - it has important concepts. I personally am interested keeping the paragraph about ensemble models - I think this is an important glimpse to the future.</div><div><br></div><div>So John, do you want us to write our own names at the top of each section we have interest in, or do you intend to trace back contributions and manage those?</div><div><br></div><div>Yet please do secure the document. I know it seems harmless, yet I will personally feel much easier if you do.</div><div><br></div><div>                  Jacob</div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 24, 2021 at 1:14 AM John Gennari <<a href="mailto:gennari@uw.edu">gennari@uw.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
All:<br>
<br>
We've all now had a week to work on (or at least think about) the paper <br>
and the emails that have been sent around. As I listed on Monday, we're <br>
suggesting a re-ordering of the 12 (or 13?) challenges, and for each <br>
challenge, we are trying to assign a point person. That person doesn't <br>
need to be solely responsible for the content in the subsection (other <br>
authors can certainly chime in), but the point person(s) can act as a <br>
gatekeeper for consistency, length considerations, inclusion of ideas, etc.<br>
<br>
The challenge (as usual) is to actually get some writing done. (Of <br>
course, I'm just as guilty as others, having done not much of this either.)<br>
<br>
Over the last week, I saw some nice contributions by Alexander Kulesza <br>
(thank you!), so I've added his name to the author list. Otherwise, all <br>
I saw was some editing and some additions by Hana D and a few thoughts <br>
by James G.<br>
<br>
I also wanted to highlight that we have one section (the 12th <br>
challenge,  on model applications and real-world use) without a point <br>
person.<br>
<br>
I did go ahead and re-order the sections in the order listed in my email <br>
of May 17. This means that I also re-ordered (and numbered) the rows in <br>
Table 1. Because there were comments attached to some of these table <br>
rows, I also left the old table in the document. Obviously, we'll delete <br>
this table once folk are satisfied that their ideas have been <br>
incorporated or at least discussed by the group.<br>
<br>
Similarly, there are now two copies of the 12 sections -- once in the <br>
new order and with numbers, and then again in the old order.<br>
<br>
In the new ordering, I've listed the point person (or persons) at the <br>
beginning, and I also have a few notes about the sections. Since there <br>
are a couple of sections that I am the point person for, these will be <br>
my "homework". I did want to highlight that section 3.8 (on model <br>
validity and credibility) needs to be significantly reduced. One way to <br>
do this might be to move some of this content earlier, into the <br>
introduction, or perhaps into "reproducibility crisis" section.<br>
<br>
Hoping this email inspires some folk to do some writing. I'll keep <br>
plugging away at "my" sections. The document is in the same location: <br>
<a href="https://docs.google.com/document/d/1VvyP3YZQdQYjj8DFKOpQ4pn_0pdDGgiT/edit?ts=60a294c2" rel="noreferrer" target="_blank">https://docs.google.com/document/d/1VvyP3YZQdQYjj8DFKOpQ4pn_0pdDGgiT/edit?ts=60a294c2</a><br>
<br>
-John G.<br>
<br>
<br>
<br>
</blockquote></div>